ВТБ совместно с Центром искусственного интеллекта МГУ создали систему контроля ответов ИИ-агентов, в рамках партнерства разработаны два детектора для проверки ошибок виртуальных моделей: на предмет их токсичности и галлюцинаций, они будут проверять клиентские запросы и ответы цифровых помощников, сообщил советник первого заместителя президента-председателя правления ВТБ Сергей Путятинский в рамках Kazan Digital Week.
Детектор токсичности проверяет запросы пользователей на содержание запрещенных тем, нарушения законодательства, наличие взрослого контента и так далее. Если сообщение или текст будут неэтичными, система заблокирует запрос и не будет его обрабатывать.
Детектор галлюцинаций в уже сформированных ответах цифровых помощников распознает несоответствия и противоречия и подсвечивает, в какой части ответа они расположены. Затем специалисты ВТБ могут отправить такой ответ на повторную проверку или заблокировать его. Галлюцинации - одна из самых распространенных проблем генеративного ИИ. В таких случаях языковая модель выдает уверенный, но полностью вымышленный ответ.
"Внедрение моделей проверки - необходимая мера, чтобы сохранять высокий уровень обслуживания клиентов при активном использовании ИИ", — пояснил Путятинский, его слова приводит пресс-служба банка.