Ученые из университета Решетнева разработали инновационный подход к борьбе с ложной информацией, которую выдают нейросети, — так называемыми «галлюцинациями», когда модели уверенно сообщают неверные или вымышленные факты.
Вместо традиционных методов проверки, которые не всегда справляются с точностью, исследователи предложили комплексное решение.
Сначала была проведена детальная классификация типичных ошибок, а затем создан автоматизированный пайплайн стресс-тестирования, способный генерировать сложные тестовые запросы, сравнивать ответы нейросети с эталонными данными и оценивать корректность с помощью метрик семантического сходства и логической согласованности.Главным результатом работы стал прототип модуля мониторинга, который в реальном времени анализирует ответ модели и определяет вероятность ошибки, выставляя так называемый «балл уверенности» — чем он ниже, тем выше риск недостоверного вывода. Эта технология открывает путь к более надежному использованию искусственного интеллекта в критически важных сферах, таких как медицина, образование, юриспруденция и цифровые государственные услуги, где точность информации напрямую влияет на безопасность и доверие пользователей.
Свежие комментарии