ИИ поможет Meta добиться реалистичного звука в виртуальных мирах

29.06.2022

Компания Meta рассказала о работе над технологиями реалистичного звука для виртуальных миров - проект реализуется при содействии ученых Техасского университета в Остине. В рамках проекта были разработаны три модели искусственного интеллекта, доступные для сторонних разработчиков.

Как пояснила Кристен Гаруман (Kristen Garuman), профессор информатики Техасского университета и директор по исследованиям Meta AI, дополненную и виртуальную реальность нельзя сводить только к визуальной составляющей - важную роль в оживлении мира играет звук. На его качество влияют различные факторы: геометрия помещения, размещенные в нем объекты, а также расстояние до источника. Поэтому родилась идея использовать для обработки звука алгоритмы искусственного интеллекта.

Первый алгоритм получил название AviTAR - это "модель визуально-акустического согласования", которая обеспечивает преобразование звука в соответствии со средой. Чтобы объяснить работу алгоритма, авторы проекта привели пример. Мать посетила выступление своего ребенка и при помощи очков дополненной реальности записала его прямо из зрительного зала. Алгоритм приводится в действие, когда женщина хочет воспроизвести запись дома. Система сканирует помещение, учитывая расположенные в нем предметы интерьера, и воспроизводит запись таким образом, как будто юный артист выступает в том же зале.

Второй алгоритм получил название Visually-Informed Dereverberation. Он предназначается для удаления из записи эффекта реверберации - множественных эхо, возникающих при отражении звука от стен и других объектов. Возвращаясь к примеру с детским концертом, мать при воспроизведении записи дома не услышит ничего, кроме музыки.

Наконец, третья модель ИИ получила название VisualVoice - она отделяет голос человека от остальных источников звука. Например, если записать видео, на котором спорят два человека, алгоритм выделит один из голосов, заглушив все остальные.

Как пояснили в Meta, для этого искусственному интеллекту необходимы визуальные подсказки - он должен "видеть", кто говорит, и на основе этой информации различать в общем потоке необходимые нюансы.

<< Назад: Новый способ омоложения кожи 30.06.2022

>> Вперед: Кофе снижает риск заболеваний печени 29.06.2022

Последние новости науки и техники, новинки электроники:

Новый взляд на магнитное поле Земли 31.10.2025

Магнитное поле Земли долгое время считалось относительно стабильной структурой с предсказуемой полярностью. Однако последние исследования японских ученых показывают, что электрическая организация магнитосферы гораздо сложнее и динамичнее, чем предполагалось ранее. Команда исследователей из Киотского, Нагояского и Кюсюского университетов обнаружила, что заряженные области магнитосферы обладают противоположной полярностью по сравнению с традиционными представлениями. Так, утренняя сторона магнитного щита имеет отрицательный заряд, тогда как вечерняя - положительный, вопреки прежним теориям. Юсуке Эбихара из Киотского университета отмечает, что "электрическая сила и распределение зарядов являются следствием, а не причиной движения плазмы". Исследователи пришли к этим выводам с помощью масштабного магнитогидродинамического моделирования, имитирующего взаимодействие солнечного ветра с геомагнитным полем Земли. Моделирование позволило в деталях проследить, как потоки плазмы формируют э ...>>

Влияние белка PF4 на старение крови 31.10.2025

С возрастом наш организм претерпевает множество изменений, в том числе на уровне крови и иммунной системы. Недавние исследования показали, что ключевым фактором этих изменений может быть белок PF4, или platelet factor 4, который играет важную роль в регуляции стволовых клеток костного мозга. Американские ученые из Университета Иллинойса в Чикаго обнаружили, что с возрастом уровень PF4 значительно снижается. Это ослабление контроля над кроветворными стволовыми клетками приводит к нарушению их работы и повышает вероятность развития воспалительных процессов, онкологических заболеваний крови и сердечно-сосудистых проблем. В молодом организме PF4 выполняет функцию "регулятора роста": он контролирует распределение и деление кроветворных стволовых клеток, не позволяя им чрезмерно размножаться. С возрастом эта система контроля ослабевает, клетки начинают делиться чаще, накапливают генетические мутации и постепенно теряют способность создавать полноценные лимфоциты, что ослабляет иммуните ...>>

Музыка юности остается с нами навсегда 30.10.2025

Музыка сопровождает человека всю жизнь, но некоторые мелодии и песни оставляют особенно глубокий след в памяти. Ученые давно замечали, что композиции из подросткового возраста вызывают сильные эмоции даже спустя десятилетия, и недавно международная команда исследователей под руководством Университета Ювяскюля (Финляндия) подтвердила этот эффект научно. В исследовании приняли участие около 2000 человек из 84 стран. Ученые выявили явление, которое они назвали "пиком воспоминаний": эмоциональная привязка к музыке достигает максимума примерно в 17 лет. Именно песни этого периода чаще всего остаются значимыми и вызывают яркие эмоции долгие годы спустя. Интересно, что у мужчин и женщин наблюдаются разные временные рамки этого пика. У мужчин он приходится примерно на 16 лет, тогда как у женщин - на 19. Исследователи объясняют это различие особенностями формирования музыкальной идентичности: юноши чаще ищут самостоятельность и бунт, а девушки связывают музыку с личными отношениями и пере ...>>

Сплав Cr-Mo-Si с уникальными свойствами 30.10.2025

Разработка материалов, способных работать в экстремальных условиях, остается одной из ключевых задач современной инженерии. Особенно это важно для авиации и энергетики, где повышение термостойкости компонентов напрямую влияет на эффективность и надежность оборудования. Международная группа исследователей объявила о создании нового металлического сплава, обладающего уникальным сочетанием свойств: высокой термостойкостью, устойчивостью к коррозии и сохранением пластичности даже при комнатной температуре. Новый сплав содержит хром, молибден и всего 3 атомных процента кремния. Именно кремний способствует формированию плотного слоя оксида хрома на поверхности металла, который действует как невидимый барьер против кислорода и азота при высоких температурах. В отличие от предыдущих сплавов, этот защитный слой формируется без хрупких силицидов, которые обычно снижали пластичность и делали материалы склонными к трещинам. По словам профессора Мартина Гайльмайера из Института технологий Кар ...>>

Открыт лед, замерзающий при комнатной температуре 29.10.2025

Изучение воды продолжает приносить удивительные открытия: несмотря на то, что эта жидкость кажется хорошо известной, она способна проявлять необычные свойства в экстремальных условиях. Международная команда ученых недавно обнаружила новый вид льда, который формируется при комнатной температуре, если вода подвергается сильному давлению. Это открытие не только расширяет наши знания о воде, но и помогает лучше понять процессы в недрах планет и их спутников. Исследователи из Корейского института стандартов и науки совместно с европейскими коллегами, работающими на рентгеновском лазере на свободных электронах (XFEL) в Германии, провели серию экспериментов с водой в динамической ячейке с алмазными наковальнями. Давление изменялось от 0,001 гигапаскаля до 120 гигапаскалей в секунду - в миллионы раз выше атмосферного, при этом температура поддерживалась около 25 °C, близкой к комнатной. В течение сотен циклов ученые наблюдали, как вода многократно замерзает и тает, фиксируя каждый этап с ис ...>>

Случайная новость из Архива Арктический дрон 08.03.2017 В США стартовали испытания специального арктического беспилотника ArcticShark, созданного для климатических изучений в районе Северного полюса. Тестирование проводят разработчики беспилотника - фирма Navmar Applied Sciences и Министерство энергетики США. Масса беспилотника - 283 кг, а размах крыльев - 6,7 метров. Он способен работать на высоте вплоть до 4,5 км и развивать скорость вплоть до 121 км/ч. Для выполнения климатических замеров на нем установлено 12 разных устройств и датчиков. С их помощью ArcticShark способен определять силу и направление ветра, температуру, влажность и радиационный фон. Все без исключения составляющие беспилотника подготовлены к условиям работы при низких температурах и высоком ветре. Предполагается, что проверки и сертификационные процедуры с ArcticShark будут закончены до окончания нынешнего года. Тогда в 2018 году научные работники уже начнут работу по сбору сведений о экологической ситуации в Арктике.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2025