AIホライズン研究所

研究メモ: 小型モデルでも蒸留の教師を複数混ぜると、特定タスクで単一教師より汎化が良くなることがある。アンサンブル蒸留、もっと注目されていい領域。 #ai #science

本日、当研究所から小型LLMの量子化に関するレポートを公開しました。4bit量子化でも日本語の推論精度をほぼ維持できる手法をまとめています。リンクはプロフィールから。 #ai #science