Специалисты ВТБ объясняют, как предотвратить появление ложных фактов и неточностей, генерируемых нейросетями.
Генеративные нейронные сети нередко выдают информацию, которая, казалось бы, выглядит убедительно, но на деле содержит фактические ошибки или вымышленные сведения. Это происходит потому, что такие модели опираются на статистические вероятности, а не на подлинное понимание контекста. Для уменьшения вероятности таких «галлюцинаций», специалисты ВТБ предлагают ряд мер: формулировать запросы максимально точно, проводить ручную проверку результатов и применять дополнительные инструменты для валидации данных. Крайне важно также использовать для обучения ИИ исключительно качественные и проверенные массивы данных, а также внедрять защитные механизмы, способные блокировать генерацию недостоверной информации.
Эффективные стратегии противодействия «галлюцинациям» искусственного интеллекта, проявляющимся в генерации правдоподобного, но ложного контента, были представлены. Подобные неточности могут ввести пользователей в заблуждение и повлечь за собой серьезные финансовые и репутационные потери для компаний.
«Нейросеть способна “придумать” несуществующие книги или некорректно описать условия какого-либо продукта. Она не проверяет достоверность фактов, а лишь выбирает наиболее вероятные варианты ответов. Поэтому критически важно предельно ясно формулировать свои запросы. Однако главный инструмент контроля — это всегда человеческая проверка,» — подчеркнул Лев Меркушов, возглавляющий направление ИИ-решений в ВТБ.
По словам Алексея Пустынникова, руководителя команды разработчиков моделей, ключ к предотвращению ошибок заключается в понимании их природы. Языковые модели не обладают истинным осмыслением информации и не могут проверять её в реальном времени. В некоторых случаях они искажают известные факты, в других — полностью выдумывают данные или нарушают заданные инструкции.
«Галлюцинации можно классифицировать по трём типам. Первый — это фактические ошибки, когда модель ошибается в общеизвестных данных, например, указывая неверную дату. Второй тип — фабрикация, при которой ИИ создает несуществующие сведения или преувеличивает их. Третий — это ошибки выполнения инструкций, когда модель игнорирует контекст или совершает логические промахи, например, заявляя, что дважды два равно шести,» — объяснил Пустынников.
Причины таких искажений кроются в специфике обучения моделей. Они формируют ответы, основываясь на статистических вероятностях, а не на смысловом понимании. При дефиците информации ИИ «додумывает» недостающие части ответа. Также значительное влияние оказывает ограниченность обучающих данных — модели могут не располагать информацией о событиях, произошедших после их обучения, и не способны верифицировать факты в реальном времени. Ошибки также возникают из-за недостаточной проработки узкоспециализированных тем или из-за неточностей в исходных обучающих данных.
«Сложные и абстрактные задачи значительно повышают вероятность ошибок. Для их минимизации необходимо предельно точно формулировать запросы. Эффективным является метод декомпозиции, когда запрос разбивается на последовательность простых шагов. Применяются также системы, которые перед генерацией ответа обращаются к проверенным базам данных. Модели также проходят дообучение на специализированных массивах данных, а защитные механизмы, известные как AI guardrails, контролируют выдачу модели и могут блокировать её в случае обнаружения ошибок,» — добавил Меркушов.
В банке активно применяются каскадные системы, где несколько моделей последовательно обрабатывают информацию, перепроверяя результаты друг друга. Такой подход успешно реализован в задачах распознавания речи, прогнозирования снятия наличных и управления банкоматами. Для генеративных ИИ разрабатываются аналогичные каскадные модели, предназначенные для интеллектуального поиска в корпоративных базах знаний.
Особое внимание уделяется качеству исходных данных для обучения. «Процесс фильтрации включает только тексты с минимальным содержанием недостоверной информации. Все источники подвергаются тщательной экспертной проверке, что, безусловно, улучшает качество моделей, но при этом увеличивает затраты на их обучение,» — отметил Пустынников.
Эксперты сходятся во мнении: успешное внедрение ИИ требует не только передовых технологий, но и ответственного подхода к качеству данных, прозрачности алгоритмов и строгому контролю генерируемых результатов. Именно такой комплексный подход позволяет предприятиям минимизировать ошибки и укреплять доверие своих клиентов.
