ИИ поможет Meta добиться реалистичного звука в виртуальных мирах

29.06.2022

Компания Meta рассказала о работе над технологиями реалистичного звука для виртуальных миров - проект реализуется при содействии ученых Техасского университета в Остине. В рамках проекта были разработаны три модели искусственного интеллекта, доступные для сторонних разработчиков.

Как пояснила Кристен Гаруман (Kristen Garuman), профессор информатики Техасского университета и директор по исследованиям Meta AI, дополненную и виртуальную реальность нельзя сводить только к визуальной составляющей - важную роль в оживлении мира играет звук. На его качество влияют различные факторы: геометрия помещения, размещенные в нем объекты, а также расстояние до источника. Поэтому родилась идея использовать для обработки звука алгоритмы искусственного интеллекта.

Первый алгоритм получил название AviTAR - это "модель визуально-акустического согласования", которая обеспечивает преобразование звука в соответствии со средой. Чтобы объяснить работу алгоритма, авторы проекта привели пример. Мать посетила выступление своего ребенка и при помощи очков дополненной реальности записала его прямо из зрительного зала. Алгоритм приводится в действие, когда женщина хочет воспроизвести запись дома. Система сканирует помещение, учитывая расположенные в нем предметы интерьера, и воспроизводит запись таким образом, как будто юный артист выступает в том же зале.

Второй алгоритм получил название Visually-Informed Dereverberation. Он предназначается для удаления из записи эффекта реверберации - множественных эхо, возникающих при отражении звука от стен и других объектов. Возвращаясь к примеру с детским концертом, мать при воспроизведении записи дома не услышит ничего, кроме музыки.

Наконец, третья модель ИИ получила название VisualVoice - она отделяет голос человека от остальных источников звука. Например, если записать видео, на котором спорят два человека, алгоритм выделит один из голосов, заглушив все остальные.

Как пояснили в Meta, для этого искусственному интеллекту необходимы визуальные подсказки - он должен "видеть", кто говорит, и на основе этой информации различать в общем потоке необходимые нюансы.

<< Назад: Новый способ омоложения кожи 30.06.2022

>> Вперед: Кофе снижает риск заболеваний печени 29.06.2022

Последние новости науки и техники, новинки электроники:

Власть является ключевым фактором счастья в отношениях 11.03.2026

Исследования семейных и романтических отношений показывают, что длительное счастье пары зависит не только от привычных факторов, таких как доверие, уважение и преданность, но и от более тонких психологических аспектов. Современные ученые ищут закономерности, которые отличают действительно счастливые пары от остальных, чтобы понять, какие механизмы поддерживают гармонию в отношениях. Группа исследователей из Университета Мартина Лютера в Галле-Виттенберге и Бамбергского университета провела опрос среди 181 пары, которые состояли в совместных отношениях более восьми лет и прожили вместе хотя бы месяц. Участники заполняли анкету, описывая различные аспекты своих отношений, включая распределение обязанностей, эмоциональную поддержку и степень вовлеченности в совместные решения. Анализ данных показал интересный паттерн: пары, где оба партнера ощущали высокий уровень личной власти, оказывались наиболее счастливыми и удовлетворенными. В данном контексте под властью понимается способност ...>>

Защищенная колонка-повербанк Anker Soundcore Boom Go 3i 11.03.2026

Компания Anker представила новую модель линейки Soundcore - колонку Soundcore Boom Go 3i, ориентированную на активное использование на улице. Новинка отличается высокой степенью защиты: корпус соответствует стандарту IP68, что обеспечивает водо- и пыленепроницаемость, а ударопрочный дизайн выдерживает падение с высоты до одного метра. За качество звука отвечает 15-ваттный драйвер, обеспечивающий пик громкости до 92 дБ, а технология BassUp 2.0 усиливает низкие частоты, делая звучание более насыщенным. Колонка обладает автономностью до 24 часов, а LED-индикатор позволяет контролировать уровень заряда батареи. Кроме того, Soundcore Boom Go 3i может выполнять функцию павербанка: согласно внутренним тестам, устройство способно зарядить iPhone 17 с нуля до 40% за один час, что делает его полезным аксессуаром в походах и поездках. Среди функциональных особенностей модели стоит выделить технологию Auracast, которая улучшает подключение и позволяет создавать стереопару из двух колонок ...>>

Раннее воздержание от алкоголя перестраивает мозг и иммунитет 10.03.2026

Алкогольная зависимость - хроническое расстройство с компульсивным употреблением спиртного, которое влияет не только на поведение, но и на функционирование мозга и иммунной системы. Недавние исследования показали, что даже на ранних этапах воздержания организм начинает перестраиваться, открывая новые возможности для терапии зависимости. Ученые сосредоточились на пациентах, находящихся в первые недели абстиненции, и зафиксировали значительные изменения в мозговой активности. С помощью функциональной магнитно-резонансной томографии они выявили перестройку сетей нейронных связей, отвечающих за контроль импульсов и принятие решений. Эти изменения могут быть ключевыми для восстановления самоконтроля и снижения риска рецидива. Одновременно с нейронной перестройкой исследователи наблюдали колебания иммунной системы. В крови повышался уровень цитокинов - сигнальных белков, регулирующих воспалительные процессы. Эти данные свидетельствуют о существовании нейроиммунного взаимодействия, при ...>>

Жесткий диск Seagate 44 ТВ 10.03.2026

С ростом объемов данных, обрабатываемых крупными компаниями и дата-центрами, требования к накопителям резко увеличиваются. Seagate анонсировала начало поставок новейших жестких дисков Exos емкостью 44 ТБ, которые обещают сочетание рекордного объема и высокой производительности, благодаря передовой платформе Mozaic 4+ и технологии термомагнитной записи HAMR. Платформа Mozaic 4+ включает десять магнитных пластин, каждая из которых имеет емкость более 4 ТБ. В сумме это позволяет получить общий объем накопителя 44 ТБ - рекордный показатель для современных HDD. В сочетании с вращением шпинделя на скорости 7200 оборотов в минуту это обеспечивает скорость передачи данных порядка 300 МБ/с, что делает диск подходящим для работы с большими массивами информации. Seagate отмечает, что использование Exos повышает общую эффективность систем хранения примерно на 47%. Для корпоративных клиентов это означает сокращение занимаемой площади под кластеры на 9 квадратных метров и снижение годового эне ...>>

Скука - двигатель перемен 09.03.2026

Современная жизнь редко оставляет человеку время на простое ощущение скуки. С развитием цифровых технологий и постоянным доступом к социальным сетям мы стремимся мгновенно развлекать себя, избегая пауз, когда ум может быть свободен от внешних раздражителей. Между тем, новое исследование показывает, что скука выполняет важную роль в психическом здоровье и может стимулировать личностное развитие. Часто скука воспринимается как негативное состояние, которое хочется немедленно устранить. Однако психологи отмечают, что именно моменты, когда человеку становится по-настоящему скучно, могут побудить к поиску нового хобби, пересмотру жизненных приоритетов или появлению свежих идей. Это состояние открывает пространство для саморефлексии и внутреннего роста. Исследователи из Университета Бата и Тринити-колледжа показали, что привычка уходить в социальные сети в моменты скуки мешает человеку достигать "максимальной скуки". В результате стимулируется лишь поверхностное отвлечение, которое не ...>>

Случайная новость из Архива Система уведомлений с помощью ветра, тени и стука 21.04.2022 Компания Google представила свой уникальный исследовательский проект, задачей которого является создание девайсов и систем, способных поддерживать с пользователем связь "естественным образом". Осуществлять коммуникацию предполагается с помощью, например, прикосновений, движущихся теней, легкого дуновения ветерка и т.п. Инженеры Google Little Signals считают, что в технологической сфере назрела необходимость создания принципиально новых средств связи, которые будут уведомлять пользователя без необходимости издавать звуковые сигналы или активировать дисплей на смартфоне. Сейчас основное внимание сосредоточено на шести перспективных инструментах контакта: воздух, кнопка, движение, ритм, тень и стук. Комнатный вентилятор можно настроить таким образом, чтоб он реагировал на изменения температуры окружающей среды и автоматически включался. В ближайшем будущем Google, вероятно, представит серию девайсов, функционирующих в режиме Little Signals.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026