«Ученые МГППУ разработали алгоритмы и ПО, позволяющие проверять корректность содержания ответов интеллектуальных ассистентов и генерировать запросы по заданной аннотации ответа, автоматизируя работу промпт-инженеров», — сообщили ТАСС в пресс-службе университета.
Для проверки языковых моделей авторы предложили использовать два алгоритма: один решает задачу подбора запроса, другой — оценивает правдоподобность утверждений.
В основу нового подхода заложено представление запросов и ответов как элементов специальных метрических пространств, в которых расстояния между текстами задаются через так называемое семантическое сходство. Количественные оценки различий между текстами позволяют формализовать их «смысловую близость» и применять методы статистического анализа, пояснили ТАСС в МГППУ.
Полученные результаты могут стать востребованными у программистов и математиков, работающих с большими языковыми моделями, считают авторы.