模型蒸馏

蒸馏涉及两个模型：提供知识的大模型称为教师，模仿它的小模型称为学生。谷歌的机器学习术语表将其定义为构建一个更小模型的过程，使其尽可能忠实地模仿教师模型的预测。

其机制并不复杂。先向教师模型提出大量问题并记录回答，再把这些回答转化为学生模型的训练数据。OpenAI的开发者文档将这一方法概括为四步：调优大模型，捕获其输出，用合格的回答构建数据集，再用这些数据对小模型进行微调。

正当用途在于降低成本。学生模型运行更快，占用的内存和能耗更少；代价是准确性通常不及教师模型。企业常用这种方式从自家模型派生出更便宜的版本。

有争议的是未经授权的用法。如果一家公司用大量账户向竞争对手的商业接口提问，并收集回答来训练自己的模型，它就无需承担教师模型的开发成本而复制了其能力。OpenAI称之为对抗性蒸馏；识别这种行为要依靠请求模式，而且很难举证。