知識蒸留とは、大きく高性能な教師モデル（teacher）の予測や中間表現を、小さく軽量な生徒モデル（student）へ学習させるモデル圧縮の方法です。Kerasの公式例では、教師の軟らかい予測分布と正解ラベルを組み合わせて生徒を学習します。
推論のメモリ、計算量、遅延を削減し、スマートフォンやエッジ端末へモデルを配置しやすくできます。一方、教師の誤りや偏りも伝わるため、精度・サイズ・公平性・安全性を比較する必要があります。
知識蒸留は教師の出力を生徒へ移します
教師モデルのロジットを温度Tで割ってsoftmaxすると、正解クラス以外の相対的な確率も残った軟らかい分布になります。生徒は正解ラベルへの損失と、教師・生徒の軟らかい分布の差を合わせて学習します。教師は通常固定し、生徒の重みだけを更新します。
温度と損失の重みを調整します
温度を高くすると分布が滑らかになり、クラス間の関係を伝えやすくなります。正解ラベルの損失と蒸留損失の比率は、教師の信頼性、生徒の容量、対象データで比較します。温度だけを上げても、教師が対象分布を理解していなければ効果は限定的です。
出力・特徴・関係を蒸留できます
- ロジット蒸留：教師と生徒の出力分布を合わせる。
- 特徴蒸留：中間層のベクトルや特徴マップを近づける。
- 関係蒸留：サンプル間の距離や類似度を移す。
- 自己蒸留：同じモデルの過去版や深い層を教師にする。
- オンライン蒸留：複数モデルを同時に学習し、互いの予測を利用する。
導入は教師・生徒の制約を明確にします
- 教師を評価する：対象ドメインの精度、誤り、校正、バイアスを確認する。
- 生徒の制約を決める：モデルサイズ、CPU/GPU、遅延、消費電力を定義する。
- 蒸留データを用意する：ラベル付きデータ、未ラベルデータ、難例を分ける。
- 損失を設計する：正解、教師出力、特徴の重みを比較する。
- 量子化などと比較する：蒸留単独、量子化、枝刈り、併用を測定する。
精度・サイズ・遅延を同じ条件で比較します
生徒を蒸留なしで学習した場合、教師、蒸留後の生徒を同じテストセットで比較します。精度だけでなく、モデル容量、ピークメモリ、推論遅延、消費電力、クラス別の失敗を測ります。エッジ端末では実機の結果を優先します。
知識蒸留で起きやすい失敗と対策
教師の誤りをそのまま移す
教師の誤分類を分析し、正解ラベルとの重み、難例の再確認、教師の校正を行います。
生徒の容量が小さすぎる
生徒の層・幅、特徴蒸留、入力解像度、蒸留温度を比較します。
評価データを蒸留へ混ぜる
蒸留データと最終テストを分離し、モデル選択を検証データで行います。
知識蒸留は大きなモデルの知識を軽量モデルへ移します
知識蒸留は教師の軟らかな予測や特徴を生徒へ学習させ、サイズ・遅延・メモリを削減する方法です。温度、損失重み、蒸留データ、生徒容量を調整します。
蒸留なしの生徒、教師、量子化や枝刈りと同じ条件で比較し、精度だけでなく実機遅延、誤り、バイアス、データ分離を確認します。
よくある質問（FAQ）
ここでは、知識蒸留についてよくある疑問に回答します。
Q. 知識蒸留とは何ですか？
大きな教師モデルの予測や特徴を小さな生徒モデルへ学習させるモデル圧縮の方法です。
Q. 温度は何のために使いますか？
教師の確率分布を滑らかにし、正解以外のクラス間の関係を生徒へ伝えやすくするために使います。
Q. 教師モデルは必ず高精度である必要がありますか？
教師の誤りや偏りも伝わるため、対象ドメインで精度・校正・失敗例を確認する必要があります。
Q. どのような効果がありますか？
生徒モデルのサイズ、メモリ、推論遅延を抑えながら、教師に近い性能を目指せます。
Q. 量子化と併用できますか？
併用できます。蒸留単独、量子化単独、併用を同じテストと実機条件で比較します。
参考資料
会社紹介
株式会社riplaでは、お客様の事業・ユーザー・業務に最適化したオーダーメイド型システムを、構想策定・要件定義から開発・改善まで一気通貫で支援。事業会社でIT・DXを経験したプロフェッショナルによる高い要件定義力・システム設計力を活かし、事業成果の最大化に伴走します。
また、当社独自の開発テンプレート「Boxシリーズ」による標準機能の高速開発と、AI駆動開発の独自フレームワーク「GoDD」による独自機能のAI実装を組み合わせることで、低コスト・短期間で開発を実現いたします。
もし、システム開発やプロダクト開発に関するご要望がございましたら、お気軽にお問い合わせください。
・サービス概要資料のURLはこちら >>>
・お問合せページのURLはこちら >>>
・お役立ち資料のURLはこちら >>>
株式会社ripla 代表取締役CEOとして、システムパッケージ活用、システム開発、データ分析、生成AI活用、SaaS開発、アプリ開発、EC構築など、幅広い領域で企業のDX推進と事業成長を支援している。事業会社でIT・DXを経験したプロフェッショナルが集う株式会社riplaにおいて、お客様の事業・ユーザー・業務に最適化したオーダーメイド型システムを構想策定・要件定義から開発・改善まで一気通貫で支援し、単なるシステム納品にとどまらず、クライアントと同じ目線で事業成果の最大化に向けた伴走支援を行う。早稲田大学卒業後、ラクスル株式会社、LINEヤフー株式会社にて事業開発やDX推進などに従事した後、株式会社riplaを創業。