V Технологическая геополитика и ИИ
Дистилляция модели
Способ заставить меньшую модель подражать крупной модели ИИ: ответы крупной модели собирают и обучают на них меньшую.
Как это работает
В дистилляции участвуют две модели: крупную, которая передаёт знания, называют учителем, а меньшую, которая ей подражает, — учеником. Глоссарий машинного обучения Google определяет это как построение меньшей модели, которая как можно точнее воспроизводит предсказания учителя.
Механизм прост. Модели-учителю задают множество вопросов, её ответы записывают и превращают в обучающие данные для ученика. Документация OpenAI для разработчиков описывает метод в четыре шага: настроить крупную модель, сохранить её выходные данные, собрать набор из подходящих ответов и дообучить на нём меньшую модель.
Законное применение продиктовано стоимостью. Модель-ученик работает быстрее и тратит меньше памяти и энергии, но обычно уступает учителю в точности. Компании используют этот путь, чтобы получать дешёвые версии собственных моделей.
Спорное применение — несанкционированное. Если компания через множество аккаунтов опрашивает коммерческий интерфейс конкурента и собирает ответы для обучения своей модели, она копирует возможности учителя, не оплачивая его разработку. OpenAI называет это состязательной дистилляцией; выявляют её по шаблонам запросов, а доказать трудно.
Почему это важно
Экспортный контроль над чипами следит за тем, чтобы границу не пересекало оборудование; при дистилляции границу пересекает только текст. Поэтому лицензионный режим США не может помешать китайской лаборатории обучить свою модель на ответах американских моделей. По мере того как технологическое соперничество смещается от чипов к выходным данным моделей, бремя контроля переходит от государства к проверке аккаунтов и доступа у поставщиков моделей. Это заново ставит вопрос об охвате и исполнимости экспортного контроля.