Диаризация это разметка записи по говорящим: система определяет, кто и когда говорил, и подписывает каждый фрагмент разговора. Слова распознаёт другая модель, диаризация указывает, чьи они.
Термин пришёл из английского speaker diarization. Корень тот же, что в слове diary, «дневник, журнал»: система как бы ведёт журнал, в котором записано, с какой по какую секунду говорил каждый участник. По-русски её ещё называют разделением дикторов.
Зачем нужна диаризация
Возьмите транскрипт планёрки без разметки по голосам:
Отчёт сдам к пятнице. Нет, к пятнице не успеем, давай к среде следующей. Хорошо, к среде, но тогда без раздела по регионам.
Кто сдаёт отчёт и кто разрешил перенос, из этого текста не понять. А протокол как раз и состоит из задачи, ответственного и срока. Если перепутать, кто что пообещал, протокол будет аккуратно оформлен и неверен по существу.
В интервью разметка нужна по другой причине. Исследователю важны слова респондента, а вопросы интервьюера только мешают при поиске цитат. Когда реплики разделены, ответы можно выписать подряд и сравнить между разными интервью. На фокус-группе из шести-восьми человек без диаризации текст вообще теряет смысл: мнения нельзя разложить по участникам. Об этом подробнее на странице про анализ фокус-групп.
Менеджеру по продажам разметка помогает отделить потребности клиента от собственных обещаний. А в записи собеседования слова кандидата не смешаются с вопросами рекрутера, и выводы о нём будут опираться на то, что сказал он сам.
Как работает диаризация простыми словами
Современные системы устроены по-разному, но в большинстве есть одни и те же шаги.
- Найти речь. Сначала система отмечает, где на записи вообще говорят люди, и отбрасывает паузы, музыку, шум кондиционера.
- Нарезать на куски. Речь делится на короткие отрезки, и отдельно ищутся моменты, где один голос сменяется другим.
- Снять отпечаток голоса. Для каждого отрезка нейросеть считает набор чисел, который описывает голос: высоту, тембр, манеру. Специалисты называют его эмбеддингом. Отрезки одного человека дают похожие наборы, разных людей непохожие.
- Разложить по группам. Похожие отпечатки собираются вместе. Сколько получилось групп, столько система насчитала собеседников. Заранее их число она обычно не знает и определяет сама.
- Склеить с текстом. Распознанные слова раскладываются по группам по времени, и в транскрипте появляются подписи «Спикер 1», «Спикер 2».
Имён система не знает. Кто из спикеров руководитель, а кто поставщик, человек понимает из смысла, а подписи меняет вручную или по ходу чтения.
Где диаризация ошибается
Ошибки у диаризации предсказуемые, и почти все они связаны с тем, как сделана запись.
Перебивания и разговор хором
Многие системы приписывают каждый момент записи одному человеку, поэтому там, где говорят двое одновременно, ответ заведомо неполный. Реплики склеиваются, обрывок фразы уходит к соседу. Из всех случаев этот самый трудный, а на живых совещаниях, особенно когда спор разгорается, таких мест много.
Похожие голоса
Двое мужчин одного возраста с похожей манерой речи дают похожие отпечатки. Система может слить их в одного спикера или, наоборот, прыгать между ними посреди разговора. На записи телефонного звонка голоса звучат ещё ближе друг к другу: связь срезает часть частот, и разница в тембре стирается.
Один микрофон далеко от людей
Телефон на краю длинного стола хорошо слышит ближних и плохо дальних. Голос дальнего собеседника доходит тихим, с эхом комнаты, и его отпечаток получается размытым. Бывает и обратная ошибка: человек отошёл к окну, голос в записи изменился, и система завела для него второго спикера.
Короткие реплики
«Да», «угу», «согласен» длятся доли секунды. Отпечаток по такому отрезку ненадёжен, и короткие ответы часто достаются не тому собеседнику. Для протокола это бывает критично: «согласен» от руководителя и «согласен» от подчинённого значат разное.
Качество диаризации обычно измеряют долей времени записи, размеченной неверно (по-английски эту метрику называют DER, diarization error rate). Туда входят пропущенная речь, шум, принятый за речь, и путаница говорящих. На чистой записи двух человек эта доля небольшая, на шумном совещании с перебиваниями заметно выше.
Как записать встречу, чтобы реплики не перепутались
- Положите телефон в центр стола, на одинаковом расстоянии от всех, кто будет говорить.
- Уберите его подальше от кондиционера, проектора и кофемашины.
- Если кто-то участвует по громкой связи, положите телефон ближе к динамику, иначе этот голос выйдет тише остальных и хуже различим.
- Договоритесь не перебивать друг друга, совещанию это тоже пойдёт на пользу.
- В начале попросите всех коротко представиться. Системе имена не помогут, зато вам потом будет легко сопоставить «Спикера 2» с Ольгой из закупок.
- Важные решения в конце повторите вслух одним голосом: кто, что и к какому сроку.
Записывать разговор, в котором вы участвуете, можно, а публиковать чужие слова без согласия нельзя. Скажите собеседникам, что включили запись.
Диаризация в Salvio
Salvio это ИИ-диктофон: приложение для Android в RuStore (версия для iPhone на модерации в App Store) и веб-кабинет app.salvio.io. Разделение по собеседникам входит в расшифровку: после обработки записи вы получаете текст на русском, где у каждой реплики указан говорящий.
На этом тексте строится саммари по сценарию, который вы выбираете в профиле. Для встречи с клиентом ИИ отдельно выписывает потребности клиента и отдельно договорённости, для собеседования опыт кандидата, его ожидания по деньгам и риски, для планёрки задачи с ответственными и сроками. Чтобы понять, кто что сказал, модели нужна та самая разметка по голосам.
Записать встречу можно прямо в приложении (запись идёт в фоне и без интернета) или загрузить готовый файл mp3, m4a, wav, ogg. Часовая запись обычно готова за несколько минут. При регистрации дают 30 минут бесплатно, дальше пакеты минут без подписки, от 490 ₽ за 100 минут.
Нейросеть ошибается в тех же местах, что описаны выше, поэтому перед отправкой протокола загляните в куски, где люди перебивали друг друга. И сверьте с аудио фамилии и цифры.
Что почитать дальше
Что такое транскрипт и какие у него бывают форматы, разобрано в статье транскрипт: что это такое. Как из текста встречи собрать протокол с задачами и сроками, показано в образце протокола совещания. Попробовать разметку по голосам на своей записи можно в кабинете app.salvio.io, первые 30 минут бесплатно.
Частые вопросы
Что такое диаризация простыми словами?
Это разметка записи по говорящим. Система слушает разговор, определяет, где сменился голос, и подписывает каждый кусок: этот фрагмент сказал первый собеседник, этот второй. В транскрипте после этого у каждой реплики есть автор.
Чем диаризация отличается от распознавания речи?
Распознавание речи переводит звук в слова. Диаризация отвечает на другой вопрос: кто и когда говорил. В сервисах транскрибации обе модели работают вместе, а потом их результаты склеивают по времени.
Может ли диаризация определить имена собеседников?
Сама по себе нет. Она различает голоса и подписывает их условно, например «Спикер 1» и «Спикер 2». Кто есть кто, обычно понятно из текста, а имена ставит человек.
Почему сервис перепутал собеседников?
Чаще всего из-за того, что люди говорили одновременно, у них похожие голоса или один из них сидел далеко от микрофона. Короткие реплики вроде «да» и «угу» тоже часто достаются не тому собеседнику.
