知识蒸馏是一种模型压缩技术，通过训练一个小而高效的学生模型来模仿一个预训练的大且复杂的教师模型（或一组模型）的行为。这种训练设置通常被称为“教师-学生”模式，其中大型模型作为教师，小型模型作为学生。教师模型的知识通过最小化损失函数 ...