Компания Samsung подробно описала технологии, которые отвечают за чёткую передачу голоса при звонках через Galaxy Buds4 Pro. Главная из них — Sensor Fusion, которая объединяет данные трёх микрофонов и датчика костной проводимости; отделять речь от шума помогает нейросеть, рассчитанная на работу внутри наушника. По данным компании, обновлённый алгоритм фиксирует в 16 раз больше деталей голоса, чем в прошлых моделях, а вычислительную нагрузку нейросети удалось снизить примерно до 10% от исходной.
Три микрофона и датчик костной проводимости
Микрофон наушника расположен заметно дальше ото рта, чем микрофон смартфона, поэтому голос легко тонет в окружающем шуме. У наушников с одним микрофоном это оборачивается физическим ограничением: когда шум громче речи, разборчивость падает. Sensor Fusion устроена иначе — данные с нескольких датчиков объединяются и сопоставляются между собой.
В Galaxy Buds4 Pro установлены три микрофона. Два внешних напрямую улавливают голос пользователя, третий, внутренний, фиксирует речь, проходящую внутри тела. Дополнительно датчик костной проводимости (Voice Pickup Unit, VPU) считывает вибрации, возникающие в голове при разговоре. Эти данные помогают отделить речь от посторонних звуков на шумной улице, в кафе или в транспорте.
Voice Pickup Unit (VPU) — датчик костной проводимости, который распознаёт речь по вибрациям в голове при разговоре, а не по звуку в воздухе. Из-за этого он почти не улавливает внешний шум.
По примечанию Samsung, технология Sensor Fusion поддерживается в наушниках Galaxy Buds Live и более поздних моделях.
Нейросеть DNN внутри наушника
Ядро шумоподавления в Sensor Fusion — глубокая нейросеть (Deep Neural Network, DNN), по структуре отдалённо повторяющая устройство человеческого мозга. Она отделяет речь человека от окружающего шума. Обычно для такой модели нужны вычислительные мощности, которые не помещаются в корпус наушника.
Чтобы обойти это ограничение, в Samsung оптимизировали алгоритм под локальные вычисления: нагрузку снизили примерно до 10% от исходной, а размер модели — примерно до 30% от прежнего. Так обработку голоса на базе ИИ удалось перенести в компактный корпус наушника.
Детали голоса и компенсация смещения наушников
Подавить шум недостаточно — голос должен звучать естественно. Обновлённый алгоритм анализирует прошлые, текущие и прогнозируемые звуковые данные, мгновенно подстраиваясь под смену обстановки. По данным Samsung, он фиксирует в 16 раз больше деталей голоса, чем в наушниках прошлых поколений, поэтому высокие тона, чёткие согласные и окончания слов остаются разборчивыми даже в сильном шуме.
При обычных движениях наушник слегка смещается, прилегание нарушается, и через зазор внутрь проникает посторонний звук. Чтобы это компенсировать, сигналы внутреннего и внешнего микрофонов постоянно сравниваются: по разнице оценивается величина утечки, а обработка звука подстраивается в реальном времени.
Связь с Galaxy через режим SWB
В полной мере возможности обработки на базе DNN раскрываются при подключении к смартфону Galaxy. За передачу голоса отвечает Многоканальный режим передачи аудио (SWB) с полосой до 16 кГц — он сохраняет более насыщенное и естественное звучание речи.
Многоканальный режим передачи аудио (SWB) — режим связи между Galaxy Buds4 Pro и смартфоном Galaxy, который передаёт голос с полосой до 16 кГц. По сравнению с обычной телефонной связью это даёт более естественное звучание.
Симуляторы ветра и полевые тесты
Чтобы проверить качество связи в реальных условиях, Samsung воссоздала акустические сцены в лаборатории с помощью мощных симуляторов ветра, опираясь на записи, сделанные в настоящих местах. Помимо лаборатории, компания провела полевые тесты в шумной обстановке: в кафе, универмагах и на вокзалах, а также во время ночных прогулок на улице и в автомобиле с открытыми окнами.
Заключение
В Sensor Fusion ставка сделана не на увеличение числа микрофонов, а на согласованную работу датчиков и оптимизированную нейросеть. Так Samsung пытается обойти главное ограничение полностью беспроводных наушников — большое расстояние от микрофона до рта. На практике это означает более разборчивый собственный голос при звонках в шуме, а максимум возможностей доступен только в паре со смартфоном Galaxy.