Нейросеть научили не только распознавать голосовые дипфейки, но и объяснять свои выводы

Голосовые дипфейки перестали быть лабораторной экзотикой — теперь с их помощью мошенники имитируют речь родственников и выманивают деньги. Проблема в том, что большинство детекторов синтезированной речи либо не поспевают за новыми генераторами, либо выдают вердикт без каких-либо пояснений. Пользователь видит лишь «фейк» или «не фейк», но не понимает, на чём основано решение.

Группа исследователей из Института искусственного интеллекта AIRI, МФТИ, МТУСИ и Высшей школы экономики предложила иной подход. Их метод HIR-SDD не просто классифицирует аудио, а выстраивает цепочку рассуждений, объясняя, какие именно акустические или лингвистические признаки вызвали подозрение. В конце сентября разработка была представлена на конференции Interspeech в Австралии.

Ключевая идея — объединить большую аудиоязыковую модель с пошаговой аргументацией, полученной на основе набора данных с человеческой разметкой. Сначала эксперты прослушивали записи и описывали, почему они считают их подлинными или синтезированными: например, отмечали неестественные паузы, сглаженный тембр или артефакты на стыках фонем. Затем эти описания использовались для обучения модели.

В результате HIR-SDD не просто выдаёт бинарную метку, а генерирует текст вроде «слышу монотонность, нехарактерную для живой речи, и отсутствие микропауз — вероятно, синтез». Такой формат важен не только для прозрачности, но и для практического применения: оператор колл-центра или пользователь мессенджера может оценить обоснованность предупреждения. Эксперименты показали, что метод лучше адаптируется к новым аудиодоменам и типам генераторов, чем традиционные детекторы.

Он сохраняет высокую точность даже на тех данных, которые не встречались при обучении, — а это критично, ведь злоумышленники постоянно меняют инструменты. Впрочем, авторы подчёркивают важный нюанс: фраза «я не слышу признаков синтеза» ещё не означает, что запись точно принадлежит живому человеку. Хорошо сделанный дипфейк может не оставлять заметных артефактов, и тогда модель окажется бессильной.

Поэтому HIR-SDD стоит рассматривать как вспомогательный инструмент, а не как окончательного арбитра. Потенциальная сфера внедрения — мессенджеры и платформы голосовой связи, где можно встроить предупреждение о подозрительном аудиосообщении. При массовом использовании это снизило бы эффективность мошеннических схем с подделкой голоса.

Технически решение опирается на архитектуру больших языковых моделей, адаптированных для аудиомодальности. Оно наследует способность рассуждать, которая уже знакома по текстовым чат-ботам, но применяет её к спектрограммам и акустическим признакам. Исследование опубликовано в открытом доступе, а постерная сессия на Interspeech позволила обсудить детали с международным сообществом.

Команда продолжает работу над улучшением интерпретируемости и расширением набора объяснимых признаков. На фоне роста генеративных аудиотехнологий появление таких систем выглядит закономерным ответом. Чем убедительнее становятся дипфейки, тем важнее не просто детектировать их, но и давать человеку понятный отчёт о причинах тревоги.