ИИ поможет Meta добиться реалистичного звука в виртуальных мирах. Новость Бесплатной технической библиотеки

НОВОСТИ НАУКИ И ТЕХНИКИ, НОВИНКИ ЭЛЕКТРОНИКИ
Бесплатная техническая библиотека / Лента новостей

ИИ поможет Meta добиться реалистичного звука в виртуальных мирах

29.06.2022

Компания Meta рассказала о работе над технологиями реалистичного звука для виртуальных миров - проект реализуется при содействии ученых Техасского университета в Остине. В рамках проекта были разработаны три модели искусственного интеллекта, доступные для сторонних разработчиков.

Как пояснила Кристен Гаруман (Kristen Garuman), профессор информатики Техасского университета и директор по исследованиям Meta AI, дополненную и виртуальную реальность нельзя сводить только к визуальной составляющей - важную роль в оживлении мира играет звук. На его качество влияют различные факторы: геометрия помещения, размещенные в нем объекты, а также расстояние до источника. Поэтому родилась идея использовать для обработки звука алгоритмы искусственного интеллекта.

Первый алгоритм получил название AviTAR - это "модель визуально-акустического согласования", которая обеспечивает преобразование звука в соответствии со средой. Чтобы объяснить работу алгоритма, авторы проекта привели пример. Мать посетила выступление своего ребенка и при помощи очков дополненной реальности записала его прямо из зрительного зала. Алгоритм приводится в действие, когда женщина хочет воспроизвести запись дома. Система сканирует помещение, учитывая расположенные в нем предметы интерьера, и воспроизводит запись таким образом, как будто юный артист выступает в том же зале.

Второй алгоритм получил название Visually-Informed Dereverberation. Он предназначается для удаления из записи эффекта реверберации - множественных эхо, возникающих при отражении звука от стен и других объектов. Возвращаясь к примеру с детским концертом, мать при воспроизведении записи дома не услышит ничего, кроме музыки.

Наконец, третья модель ИИ получила название VisualVoice - она отделяет голос человека от остальных источников звука. Например, если записать видео, на котором спорят два человека, алгоритм выделит один из голосов, заглушив все остальные.

Как пояснили в Meta, для этого искусственному интеллекту необходимы визуальные подсказки - он должен "видеть", кто говорит, и на основе этой информации различать в общем потоке необходимые нюансы.

<< Назад: Новый способ омоложения кожи 30.06.2022

>> Вперед: Кофе снижает риск заболеваний печени 29.06.2022

Последние новости науки и техники, новинки электроники:

Искусственная кожа для эмуляции прикосновений 15.04.2024

В мире современных технологий, где удаленность становится все более обыденной, сохранение связи и чувства близости играют важную роль. Недавние разработки немецких ученых из Саарского университета в области искусственной кожи представляют новую эру в виртуальных взаимодействиях. Немецкие исследователи из Саарского университета разработали ультратонкие пленки, которые могут передавать ощущение прикосновения на расстоянии. Эта передовая технология предоставляет новые возможности для виртуального общения, особенно для тех, кто оказался вдали от своих близких. Ультратонкие пленки, разработанные исследователями, толщиной всего 50 микрометров, могут быть интегрированы в текстильные изделия и носиться как вторая кожа. Эти пленки действуют как датчики, распознающие тактильные сигналы от мамы или папы, и как исполнительные механизмы, передающие эти движения ребенку. Прикосновения родителей к ткани активируют датчики, которые реагируют на давление и деформируют ультратонкую пленку. Эта ...>>

Кошачий унитаз Petgugu Global 15.04.2024

Забота о домашних животных часто может быть вызовом, особенно когда речь заходит о поддержании чистоты в доме. Представлено новое интересное решение стартапа Petgugu Global, которое облегчит жизнь владельцам кошек и поможет им держать свой дом в идеальной чистоте и порядке. Стартап Petgugu Global представил уникальный кошачий унитаз, способный автоматически смывать фекалии, обеспечивая чистоту и свежесть в вашем доме. Это инновационное устройство оснащено различными умными датчиками, которые следят за активностью вашего питомца в туалете и активируются для автоматической очистки после его использования. Устройство подключается к канализационной системе и обеспечивает эффективное удаление отходов без необходимости вмешательства со стороны владельца. Кроме того, унитаз имеет большой объем смываемого хранилища, что делает его идеальным для домашних, где живут несколько кошек. Кошачий унитаз Petgugu разработан для использования с водорастворимыми наполнителями и предлагает ряд доп ...>>

Привлекательность заботливых мужчин 14.04.2024

Стереотип о том, что женщины предпочитают "плохих парней", долгое время был широко распространен. Однако, недавние исследования, проведенные британскими учеными из Университета Монаша, предлагают новый взгляд на этот вопрос. Они рассмотрели, как женщины реагируют на эмоциональную ответственность и готовность помогать другим у мужчин. Результаты исследования могут изменить наше представление о том, что делает мужчин привлекательными в глазах женщин. Исследование, проведенное учеными из Университета Монаша, приводит к новым выводам о привлекательности мужчин для женщин. В рамках эксперимента женщинам показывали фотографии мужчин с краткими историями о их поведении в различных ситуациях, включая их реакцию на столкновение с бездомным человеком. Некоторые из мужчин игнорировали бездомного, в то время как другие оказывали ему помощь, например, покупая еду. Исследование показало, что мужчины, проявляющие сочувствие и доброту, оказались более привлекательными для женщин по сравнению с т ...>>

Электронный шлем для водителей грузовиков 14.04.2024

Безопасность на дорогах, особенно для водителей тяжелой строительной техники, является приоритетной задачей инженеров и ученых. В свете этого немецкий Институт структурной прочности и надежности систем имени Фраунгофера представил новый продукт - электронный шлем, который предназначен для защиты водителей от серьезных травм при вождении строительных машин. Новый электронный шлем, разработанный командой инженеров из Института Фраунгофера, открывает новые перспективы для безопасности водителей грузовиков и строительной техники. Устройство способно контролировать уровень тряски в кабине автомобиля и предупреждать водителя о возможной опасности. Основой работы шлема является встроенный пьезоэлектрический датчик, который генерирует электричество при физической деформации. Этот механизм позволяет устройству реагировать на интенсивные вибрации, характерные для работы строительной техники. Когда уровень деформации превышает безопасные значения, на шлеме включается сигнальная система, пре ...>>

Антивитамины вместо антибиотиков 13.04.2024

Проблема бактериальной резистентности к антибиотикам становится все более серьезной, создавая угрозу для эффективного лечения инфекций. В свете этого исследователи ищут новые пути борьбы с супербактериями. Одним из перспективных направлений является использование антивитаминов, способных оказывать антибактериальное действие. Антивитамины, хоть и известные как вещества, противоположные витаминам, оказались перспективным инструментом в борьбе с бактериальной резистентностью к антибиотикам. Исследование, проведенное учеными из Геттингенского университета в Германии, подтвердило их потенциал в создании новых препаратов для борьбы с опасными инфекциями. В связи с распространением супербактерий, стойких к антибиотикам, появляется необходимость в поиске альтернативных методов лечения. Антивитамины представляют собой молекулы, аналогичные витаминам, но способные подавлять активность бактерий без вреда для организма человека. На данный момент науке известны всего три антивитамина: розе ...>>

Случайная новость из Архива

Новый логарифмический усилитель от TI 12.05.2007

Компания Texas Instruments представила новый прецизионный высокоскоростной (длительность переходного процесса 1 мкс) логарифмический усилитель, который формирует выходное напряжение или ток как натуральный или десятичный логарифм входного напряжения или тока.

LOG114 имеет динамический диапазон 8 декад и реализовывает функцию логарифмирования без применения внешних компонентов. LOG114 специально разработан для усиления сигналов на выходе фотодиодов волоконно-оптических кабелей коммуникационных систем. LOG114 также может применяться для измерения оптической плотности в медицинских и промышленных приложениях, а также для приведения его динамического диапазона входного сигнала в соответствие с входным динамическим диапазоном АЦП.

Корпус QFN-16 позволяет использовать усилитель в компактных встраиваемых модулях и многоканальных системах. Высокая скорость и широкий динамический диапазон (эквивалентно 27 битам; от 100 пА до 10 мА на входе) с высокой точностью делают LOG114 пригодным для применения в лазерных системах управления.

Усилитель имеет встроенный источник опорного напряжения 2,5 В и два независимых операционных усилителя, что позволяет организовать смещение, амплитудное масштабирование, пороговое детектирование, а также некоторые другие функции. LOG114 работает от одиночного +5 В или сдвоенного +5 В источника питания в диапазоне температур от -5 до 75°С.

Смотрите полный Архив новостей науки и техники, новинок электроники

All languages of this page

Главная страница | Библиотека | Статьи | Карта сайта | Отзывы о сайте