ИИ поможет Meta добиться реалистичного звука в виртуальных мирах

29.06.2022

Компания Meta рассказала о работе над технологиями реалистичного звука для виртуальных миров - проект реализуется при содействии ученых Техасского университета в Остине. В рамках проекта были разработаны три модели искусственного интеллекта, доступные для сторонних разработчиков.

Как пояснила Кристен Гаруман (Kristen Garuman), профессор информатики Техасского университета и директор по исследованиям Meta AI, дополненную и виртуальную реальность нельзя сводить только к визуальной составляющей - важную роль в оживлении мира играет звук. На его качество влияют различные факторы: геометрия помещения, размещенные в нем объекты, а также расстояние до источника. Поэтому родилась идея использовать для обработки звука алгоритмы искусственного интеллекта.

Первый алгоритм получил название AviTAR - это "модель визуально-акустического согласования", которая обеспечивает преобразование звука в соответствии со средой. Чтобы объяснить работу алгоритма, авторы проекта привели пример. Мать посетила выступление своего ребенка и при помощи очков дополненной реальности записала его прямо из зрительного зала. Алгоритм приводится в действие, когда женщина хочет воспроизвести запись дома. Система сканирует помещение, учитывая расположенные в нем предметы интерьера, и воспроизводит запись таким образом, как будто юный артист выступает в том же зале.

Второй алгоритм получил название Visually-Informed Dereverberation. Он предназначается для удаления из записи эффекта реверберации - множественных эхо, возникающих при отражении звука от стен и других объектов. Возвращаясь к примеру с детским концертом, мать при воспроизведении записи дома не услышит ничего, кроме музыки.

Наконец, третья модель ИИ получила название VisualVoice - она отделяет голос человека от остальных источников звука. Например, если записать видео, на котором спорят два человека, алгоритм выделит один из голосов, заглушив все остальные.

Как пояснили в Meta, для этого искусственному интеллекту необходимы визуальные подсказки - он должен "видеть", кто говорит, и на основе этой информации различать в общем потоке необходимые нюансы.

<< Назад: Новый способ омоложения кожи 30.06.2022

>> Вперед: Кофе снижает риск заболеваний печени 29.06.2022

Последние новости науки и техники, новинки электроники:

Звуки капель ускоряют прорастание на 30% 20.05.2026

Растения обладают удивительной чувствительностью к окружающему миру, и новые исследования показывают, что они способны воспринимать даже звуки. Ученые обнаружили, что семена риса ускоряют свое прорастание, реагируя на шум дождя. Этот механизм помогает растениям лучше приспосабливаться к изменяющимся условиям окружающей среды и может играть важную роль в их выживании. В ходе экспериментов исследователи записывали звуки дождя разной интенсивности. Оказалось, что падение капель создает значительное звуковое давление - сравнимое с тем, которое фиксируют на небольшом расстоянии от двигателей реактивных самолетов. Хотя такие звуки находятся за пределами человеческого слуха и плохо передаются из воды в воздух, они вполне способны влиять на семена, находящиеся под тонким слоем воды или почвы. Ученые провели серию опытов с посевным рисом, который традиционно высевают в увлажненную почву или под слой воды. Семена помещали в лужи глубиной 2,5-3 сантиметра и воспроизводили звуки дождя. Небол ...>>

Volkswagen ID. Polo GTI 20.05.2026

Volkswagen продолжает развивать легендарную линейку GTI, перенося ее дух в эпоху электромобилей. Компания официально представила ID. Polo GTI - первый полностью электрический "горячий" хэтчбек, который сочетает в себе современные технологии и фирменный драйверский характер моделей GTI, история которых началась еще в 1976 году с первого Golf GTI. Премьера новинки прошла во время знаменитой 24-часовой гонки на Нюрбургринге. Электромотор на передней оси развивает 222 л.с. (166 кВт) и выдает 290 Нм крутящего момента. Разгон с 0 до 100 км/ч занимает 6,8 секунды. Хотя динамика не претендует на звание рекордной в классе, Volkswagen сделал акцент на точной управляемости и узнаваемом "GTI-настроении". Для этого автомобиль оснастили блокировкой переднего дифференциала, адаптивной спортивной подвеской DCC и прогрессивным рулевым управлением. ID. Polo GTI использует ту же батарею емкостью 52 кВтч с химией NMC, что и обычная версия модели. Запас хода по циклу WLTP достигает 424 км. Поддержива ...>>

Коты охотнее разговаривают с мужчинами 19.05.2026

Домашние кошки всегда считались довольно сдержанными и избирательными в проявлении эмоций. Однако новое исследование показало, что наши пушистые питомцы гораздо активнее используют голос при общении с мужчинами, чем с женщинами. Это открытие помогает глубже понять особенности кошачьего поведения и природу их отношений с человеком. Ученые из Университета Анкары проанализировали реакцию 31 домашнего кота. Владельцы записывали на видео поведение животных в первые минуты после возвращения домой, стараясь вести себя максимально естественно. Результаты оказались весьма примечательными: в среднем за первые 100 секунд после прихода мужчины коты издавали 4,3 различных вокализации - мяуканье, мурлыканье или характерные "чириканья". При появлении женщины этот показатель составил всего 1,8. Исследователи изучили 22 разных типа поведения кошек, включая трение о ноги, зевки и реакцию на еду. Единственным значимым различием между мужчинами и женщинами оказалась именно частота вокализаций. Возра ...>>

Умная сушилка Xiaomi Mijia Smart Clothes Drying Machine 3 19.05.2026

Компания Xiaomi представила новую модель Mijia Smart Clothes Drying Machine 3 - инновационный многофункциональный комплекс, который кардинально меняет представление о сушке одежды и организации балконного пространства. Главное преимущество новинки заключается в гибкой системе организации. Устройство оснащено четырьмя независимыми зонами, благодаря чему одновременно можно сушить совершенно разные типы вещей - от легкого белья и носков до объемных одеял и верхней одежды. Для этого предусмотрено 38 открытых крючков, 32 вращающихся зажима, 20 выдвижных стержней и две специальные сетки, что позволяет оптимально использовать каждый сантиметр пространства. Еще одна яркая особенность - встроенное интеллектуальное освещение. 42-дюймовый световой модуль мощностью 36 Вт и световым потоком 3000 люмен способен полностью заменить потолочную люстру на балконе. Пользователи могут регулировать цветовую температуру в диапазоне от 3000 до 5700 K, создавая комфортную атмосферу для разных сценариев - ...>>

Сильнее всего мы злимся на самых близких 18.05.2026

Многие замечали одну и ту же странную закономерность: на работе или в общении с посторонними людьми мы способны сдерживать раздражение даже в сложных ситуациях, а дома можем вспыхнуть из-за сущей мелочи. Этот парадокс хорошо известен психологам и имеет глубокие нейробиологические причины. Оказывается, дело не в "плохом характере", а в особенностях работы нашего мозга и нервной системы. Когда мы находимся среди малознакомых людей, префронтальная кора головного мозга активно контролирует эмоции. Она выступает в роли внутреннего цензора, подавляя агрессию и помогая выбирать социально приемлемые реакции. Дома же мозг воспринимает окружение как максимально безопасное и предсказуемое, поэтому уровень контроля заметно снижается. В результате накопленные эмоции выходят наружу гораздо ярче и сильнее. Кроме того, мозг формирует особый "эмоциональный архив" именно на близких людей. Даже незначительные обиды и раздражения, которые мы переживаем годами, откладываются в памяти. При новом конфл ...>>

Случайная новость из Архива Наушники Huawei FreeBuds Pro 2+ с термометром и пульсометром 29.03.2023 Китайская компания Huawei выпустила первые беспроводные наушники с термометром и пульсометром. В гаджете имеется двухрежимный датчик пульсометра для измерения частоты сердечных сокращений. За измерение температуры тела отвечает особый алгоритм. Наушники передают данные в приложение. Да, в случае отклонения от нормы, пользователь получит сообщение на смартфон. Гарнитура имеет 11-миллиметровые динамические драйверы, поддерживает кодеки L2HC и LDACTM, позволяет воспроизводить пространственный звук высокой четкости, имеет функцию активного шумоподавления, которая может блокировать посторонний шум до 47 децибел.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026