«Научные сотрудники Исследовательского центра в сфере ИИ Университета Иннополис ускорили в 1,5−2 раза обучение больших языковых моделей, что в перспективе поможет снизить стоимость и время разработки более “умных” и понятных человеку ИИ-помощников. Впервые для этих целей они использовали данные о том, как человек визуально воспринимает и читает текст», — сообщили ТАСС в вузе.
Авторы представили новый способ повышения эффективности обучения с подкреплением на основе отзывов людей (RLHF) — ключевого метода для согласования больших языковых моделей с предпочтениями пользователей. Они предложили использовать данные о взгляде в основе системы наград для ИИ-модели. Ученые обучали ее с учетом предсказания распределения внимания пользователя, а затем оценивали отдельные слова в выдаче, опираясь на информацию об особенностях работы человека с текстом.
«Данные о взгляде дают плотную обратную связь: модель видит, какие именно части сгенерированного текста вызвали наибольшее внимание человека. Это аналогично указанию учителя на конкретные ошибки вместо общей оценки за работу. Модель быстрее корректирует поведение, не тратя время на бесполезные правки всего текста», — пояснил руководитель лаборатории искусственного интеллекта в медицине Университета Иннополис Илья Першин.