«Сбер» получил патент на голосового бота с искусственным интеллектом, который может прослушивать и анализировать все аудиовызовы и видеовызовы на смартфоне пользователя, включая те, которые осуществляются через мессенджеры, для борьбы с мошенниками.
Патент под названием «Способ и система анализа голосовых вызовов на предмет выявления и предотвращения социальной инженерии с помощью активации голосового бота» описывает компьютерно-реализуемый метод анализа диалога во время аудиовызовов с целью обнаружения мошеннической активности. Этот метод выполняется с помощью процессора и включает следующие этапы:
- Получение входящего аудиопотока от вызывающей стороны с использованием устройства пользователя.
- Генерация синтетического исходящего голосового аудиопотока, который играет роль собеседника в диалоге с вызывающей стороной.
- Преобразование входящего аудиопотока в векторную форму.
- Обработка преобразованного аудиопотока с использованием первой модели машинного обучения, включающая сравнение векторной формы аудиопотока с предварительно сохраненными векторами, характеризующими мошенническую активность.
- Транскрибирование аудиопотока и его последующая обработка с использованием второй модели машинного обучения, которая анализирует диалог вызывающей стороны. В ходе этого анализа происходит семантический анализ информации и анализ паттерна диалога, включая анализ используемых слов, построение фраз, последовательность фраз и наличие и продолжительность пауз в аудиопотоке.
- Классификация входящего аудиопотока на основе обработки первой и второй моделей машинного обучения. Генерация исходящего аудиопотока выполняется до момента классификации входящей аудиодорожки.
- Генерация сообщения о статусе классификации входящего аудиопотока, которое отображается на дисплее устройства пользователя.