Роботов научили быть любопытными

08.06.2017

На протяжении нескольких лет разработчики компьютерных программ для роботов пытались создать "алгоритм любопытства", однако повторить человеческую любознательность было довольно сложно. По их словам, большинство методов не могут оценить "пробелы" в знаниях робота и понять, что ему будет интересно.

Однако Тодду Хестеру из Google DeepMind в Великобритании и Питеру Стоуну из Техасского университета в США удалось создать алгоритм, позволяющий компьютерной программе "проявлять любопытство", самостоятельно изучая окружающую среду. Новый подход позволит роботам учиться еще быстрее, чем сейчас. Исследователи назвали алгоритм TEXPLORE-VENIR - он основывается на технике "подкрепляющего обучения".

Эта техника работает по следующему принципу: когда программа приближается к решению проблемы (например, выходу из лабиринта), то получает некоторое вознаграждение. Предполагается, что, получив награду, в будущем она снова попытается достичь какой-либо цели. Исследователи немного изменили технику "подкрепляющего обучения" таким образом, чтобы программа получала вознаграждение просто за новое знание, даже если оно не помогает достичь цели. Например, TEXPLORE-VENIR зарабатывает бонусы, когда изучает картину мира, ищет отдаленные места на карте или осваивает кулинарные рецепты.

Хестер и Стоун протестировали свой алгоритм в двух сценариях. Первым из них стал виртуальный лабиринт из 4-х комнат, соединенных между собой запертыми дверями. Боту - просто компьютерной программе - нужно было исследовать территорию, найти ключ, взять его и открыть дверь. За каждую открытую дверь он зарабатывал 10 очков. Чтобы достичь наивысшего балла, ему было дано 3000 "шагов".

Когда при помощи алгоритма TEXPLORE-VENIR бот изучил местность (потратив на это 1000 "шагов"), то заработал 55 очков. При этом если он использовал другие алгоритмы, то получал от 0 до 35 очков. Когда программе пришлось одновременно исследовать местность и отпирать двери, с помощью TEXPLORE-VENIR она заработала 70 баллов, а в других случаях - менее 5.

Ко второму эксперименту исследователи подключили человекоподобного робота Nao. При помощи алгоритма TEXPLORE-VENIR ему нужно было выполнить три задания: ударить по музыкальной тарелке, найти и поднести к глазам розовую ленту и нажать на кнопку, расположенную на его ноге. На каждое задание Nao получил 200 "шагов", и еще 400 "шагов" ему было дано на "обучение" (изучение предметов). По результатам 13-ти попыток он нажал на кнопку 7 раз, ударил по тарелке в 1-м из 5-ти случаев и в итоге стал быстрее находить розовую ленту.

Алгоритм TEXPLORE-VENIR показал хорошие результаты, однако излишнее любопытно может снизить продуктивность робота, считают сторонние исследователи. Может получиться так, что внутренняя мотивация робота на получение награды за обучение превысит его внешнюю мотивацию решить поставленную задачу. Поэтому важно найти баланс между двумя видами мотивации.

<< Назад: Вкус воды 08.06.2017

>> Вперед: Боевые лазеры для бомбардировщиков 07.06.2017

Последние новости науки и техники, новинки электроники:

Новый взляд на магнитное поле Земли 31.10.2025

Магнитное поле Земли долгое время считалось относительно стабильной структурой с предсказуемой полярностью. Однако последние исследования японских ученых показывают, что электрическая организация магнитосферы гораздо сложнее и динамичнее, чем предполагалось ранее. Команда исследователей из Киотского, Нагояского и Кюсюского университетов обнаружила, что заряженные области магнитосферы обладают противоположной полярностью по сравнению с традиционными представлениями. Так, утренняя сторона магнитного щита имеет отрицательный заряд, тогда как вечерняя - положительный, вопреки прежним теориям. Юсуке Эбихара из Киотского университета отмечает, что "электрическая сила и распределение зарядов являются следствием, а не причиной движения плазмы". Исследователи пришли к этим выводам с помощью масштабного магнитогидродинамического моделирования, имитирующего взаимодействие солнечного ветра с геомагнитным полем Земли. Моделирование позволило в деталях проследить, как потоки плазмы формируют э ...>>

Влияние белка PF4 на старение крови 31.10.2025

С возрастом наш организм претерпевает множество изменений, в том числе на уровне крови и иммунной системы. Недавние исследования показали, что ключевым фактором этих изменений может быть белок PF4, или platelet factor 4, который играет важную роль в регуляции стволовых клеток костного мозга. Американские ученые из Университета Иллинойса в Чикаго обнаружили, что с возрастом уровень PF4 значительно снижается. Это ослабление контроля над кроветворными стволовыми клетками приводит к нарушению их работы и повышает вероятность развития воспалительных процессов, онкологических заболеваний крови и сердечно-сосудистых проблем. В молодом организме PF4 выполняет функцию "регулятора роста": он контролирует распределение и деление кроветворных стволовых клеток, не позволяя им чрезмерно размножаться. С возрастом эта система контроля ослабевает, клетки начинают делиться чаще, накапливают генетические мутации и постепенно теряют способность создавать полноценные лимфоциты, что ослабляет иммуните ...>>

Музыка юности остается с нами навсегда 30.10.2025

Музыка сопровождает человека всю жизнь, но некоторые мелодии и песни оставляют особенно глубокий след в памяти. Ученые давно замечали, что композиции из подросткового возраста вызывают сильные эмоции даже спустя десятилетия, и недавно международная команда исследователей под руководством Университета Ювяскюля (Финляндия) подтвердила этот эффект научно. В исследовании приняли участие около 2000 человек из 84 стран. Ученые выявили явление, которое они назвали "пиком воспоминаний": эмоциональная привязка к музыке достигает максимума примерно в 17 лет. Именно песни этого периода чаще всего остаются значимыми и вызывают яркие эмоции долгие годы спустя. Интересно, что у мужчин и женщин наблюдаются разные временные рамки этого пика. У мужчин он приходится примерно на 16 лет, тогда как у женщин - на 19. Исследователи объясняют это различие особенностями формирования музыкальной идентичности: юноши чаще ищут самостоятельность и бунт, а девушки связывают музыку с личными отношениями и пере ...>>

Сплав Cr-Mo-Si с уникальными свойствами 30.10.2025

Разработка материалов, способных работать в экстремальных условиях, остается одной из ключевых задач современной инженерии. Особенно это важно для авиации и энергетики, где повышение термостойкости компонентов напрямую влияет на эффективность и надежность оборудования. Международная группа исследователей объявила о создании нового металлического сплава, обладающего уникальным сочетанием свойств: высокой термостойкостью, устойчивостью к коррозии и сохранением пластичности даже при комнатной температуре. Новый сплав содержит хром, молибден и всего 3 атомных процента кремния. Именно кремний способствует формированию плотного слоя оксида хрома на поверхности металла, который действует как невидимый барьер против кислорода и азота при высоких температурах. В отличие от предыдущих сплавов, этот защитный слой формируется без хрупких силицидов, которые обычно снижали пластичность и делали материалы склонными к трещинам. По словам профессора Мартина Гайльмайера из Института технологий Кар ...>>

Открыт лед, замерзающий при комнатной температуре 29.10.2025

Изучение воды продолжает приносить удивительные открытия: несмотря на то, что эта жидкость кажется хорошо известной, она способна проявлять необычные свойства в экстремальных условиях. Международная команда ученых недавно обнаружила новый вид льда, который формируется при комнатной температуре, если вода подвергается сильному давлению. Это открытие не только расширяет наши знания о воде, но и помогает лучше понять процессы в недрах планет и их спутников. Исследователи из Корейского института стандартов и науки совместно с европейскими коллегами, работающими на рентгеновском лазере на свободных электронах (XFEL) в Германии, провели серию экспериментов с водой в динамической ячейке с алмазными наковальнями. Давление изменялось от 0,001 гигапаскаля до 120 гигапаскалей в секунду - в миллионы раз выше атмосферного, при этом температура поддерживалась около 25 °C, близкой к комнатной. В течение сотен циклов ученые наблюдали, как вода многократно замерзает и тает, фиксируя каждый этап с ис ...>>

Случайная новость из Архива Танец капель 08.11.2010 В одной из лабораторий Института электроники, микроэлектроники и нанотехнологий (город Лилль, Франция) изучают поведение микрокапель воды под действием ультразвука. Капельки помещают на поверхность пьезоэлектрической керамики и подают на нее высокочастотный переменный ток. Все происходящее снимают с частотой 9000 кадров в секунду. Капли меняют форму, могут подпрыгивать на вибрирующей поверхности. Более крупные капли просто растекаются по пьезоэлектрику. Эти исследования важны для создания нанолаборатории, которая разместится на одной микросхеме и позволит анализировать микроскопические объемы различных жидкостей. Ультразвук будет служить для перемещения и перемешивания реагентов.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2025