Сотрудники Сибирского государственного университета науки и технологий имени академика Решетнева нашли способ заставить нейросети перестать выдавать ложную информацию.
Новая технология пригодится в самых разных областях — от образования и портала «Госуслуги» до медицины и юриспруденции, заявили РИА Новости в пресс-службе вуза.
Как пояснили в университете, ключевая проблема современных нейросетей в их способности «уверенно врать» (выдавать «галлюцинации»). Пока для борьбы с этим используются RAG-системы, когда алгоритм обращается к базе знаний и формулирует ответ. Однако, как подчеркнули в вузе, этот метод тоже не исключает сбоев из-за банальных опечаток или неполноты данных.
Команда под руководством доцента Анастасии Поляковой пошла другим путем: создала подробный классификатор типичных «галлюцинаций», а затем построила систему для их стресс-тестирования.
Как рассказали в университете, их пайплайнпоследовательность шагов, процессов или действий, которые выполняются для получения заданного результата устроен по следующему принципу: «Система генерирует тестовые запросы, сравнивает ответы с эталоном и оценивает точность».
Главным результатом работы стал прототип модуля, который анализирует диалог в режиме реального времени. Он ставит каждому ответу нейросети «балл уверенности» и при обнаружении ошибки или сомнительной информации немедленно подает сигнал оператору.
Важнейшее преимущество разработки — ее универсальность, подчеркнули в вузе. Методика не привязана к какой-то одной нейросети и может работать с разными платформами. По замыслу ученых, она одинаково эффективно повысит надежность как простых чат-ботов для абитуриентов, так и критически важных сервисов на «Госуслугах» или в медицинских информационных системах.