Разработчики кодека AV1 представили формат IAMF для объёмного звука

Альянс Open Media (AOMedia), курирующий разработку формата кодирования видео AV1 и формата изображений AVIF, представил новый звуковой формат IAMF (Immersive Audio Model and Formats), определяющий контейнер для распространения объёмного звука, учитывающего распространение звуковых сигналов в трехмерном пространстве для воссоздания звучания, максимально близкого к естественному. IAMF предусматривает передачу дополнительной информации, необходимой для работы алгоритмов воссоздания звуковой сцены и микширования звука.

Формат изначально позиционируется как общедоступный и не требует оплаты отчислений. Все участники AOMedia, включая Amazon, Apple, Cisco, Google, Intel, Meta, Microsoft, Mozilla, Netflix, NVIDIA, Samsung Electronics и Tencent, предоставили лицензию на безвозмездное использование патентов, пересекающихся с IAMF. Условия лицензионного соглашения на IAMF также предусматривают отзыв прав на использование IAMF в случае предъявления патентных исков против других пользователей IAMF, т.е. компании не могут использовать IAMF, если участвуют в судебных разбирательствах против пользователей IAMF.

IAMF рассчитан на распространение пространственного (иммерсивного) звукового контента (Immersive Audio), создающего эффект полного присутствия и обеспечивающего высококачественное звучание на различных классах устройств: от смартфонов и наушников до cаундбаров, домашних кинотеатров и телевизоров. Формат может применяться как при потоковом вещании, так и при воспроизведении сохранённых звуковых данных. Поддерживается представление на основе каналов или звуковых сцен, и возможность смешивания различных представлений. В качестве области применения упоминается добавление поддержки пространственного звука в музыкальные проигрыватели, сервисы потокового вещания, игры, коммуникационные приложения, системы виртуальной или дополненной реальности, мультимедийные системы и Web.

Формат не привязан к конкретным кодекам и может использоваться с кодеками требующими или не требующими выплаты отчислений. Например, в спецификации для кодирования звука с потерей качества предлагается использовать кодеки Opus или AAC (MP4), а для кодирования без потери качества Flac или LPCM. Эталонная реализации декодировщика написана на языке Си, поставляется под лицензией BSD и может быть собрана с библиотеками opus, fdk-aac и flac. Для обеспечения объёмного звучания дополнительно поддерживается сборка с библиотеками bear и resonance-audio. Код кодировщика планируют опубликовать позднее.

Применение типовых кодеков упрощает интеграцию с существующими системами воспроизведения и потокового вещания, и позволяет создавать совместимый с IAMF пространственный звуковой контент с использованием существующих открытых VST-плагинов, таких как EAR Production Suite, для пространственной раскладки динамиков и бинаурального мониторинга (определение направления на источник звука).

Формат поддерживает включение нескольких конфигураций микширования, позволяющих создателям контента и пользователям задавать отдельные настройки громкости для различных режимов воспроизведения. Для воспроизведения с учётом пространственного размещения громкоговорителей или симуляции объёмного звука в наушниках в IAMF предусмотрена возможность применения алгоритмов рендеринга сигналов, таких как EAR и BEAR.

Источник: opennet.ru