Роботов научили быть любопытными

08.06.2017

На протяжении нескольких лет разработчики компьютерных программ для роботов пытались создать "алгоритм любопытства", однако повторить человеческую любознательность было довольно сложно. По их словам, большинство методов не могут оценить "пробелы" в знаниях робота и понять, что ему будет интересно.

Однако Тодду Хестеру из Google DeepMind в Великобритании и Питеру Стоуну из Техасского университета в США удалось создать алгоритм, позволяющий компьютерной программе "проявлять любопытство", самостоятельно изучая окружающую среду. Новый подход позволит роботам учиться еще быстрее, чем сейчас. Исследователи назвали алгоритм TEXPLORE-VENIR - он основывается на технике "подкрепляющего обучения".

Эта техника работает по следующему принципу: когда программа приближается к решению проблемы (например, выходу из лабиринта), то получает некоторое вознаграждение. Предполагается, что, получив награду, в будущем она снова попытается достичь какой-либо цели. Исследователи немного изменили технику "подкрепляющего обучения" таким образом, чтобы программа получала вознаграждение просто за новое знание, даже если оно не помогает достичь цели. Например, TEXPLORE-VENIR зарабатывает бонусы, когда изучает картину мира, ищет отдаленные места на карте или осваивает кулинарные рецепты.

Хестер и Стоун протестировали свой алгоритм в двух сценариях. Первым из них стал виртуальный лабиринт из 4-х комнат, соединенных между собой запертыми дверями. Боту - просто компьютерной программе - нужно было исследовать территорию, найти ключ, взять его и открыть дверь. За каждую открытую дверь он зарабатывал 10 очков. Чтобы достичь наивысшего балла, ему было дано 3000 "шагов".

Когда при помощи алгоритма TEXPLORE-VENIR бот изучил местность (потратив на это 1000 "шагов"), то заработал 55 очков. При этом если он использовал другие алгоритмы, то получал от 0 до 35 очков. Когда программе пришлось одновременно исследовать местность и отпирать двери, с помощью TEXPLORE-VENIR она заработала 70 баллов, а в других случаях - менее 5.

Ко второму эксперименту исследователи подключили человекоподобного робота Nao. При помощи алгоритма TEXPLORE-VENIR ему нужно было выполнить три задания: ударить по музыкальной тарелке, найти и поднести к глазам розовую ленту и нажать на кнопку, расположенную на его ноге. На каждое задание Nao получил 200 "шагов", и еще 400 "шагов" ему было дано на "обучение" (изучение предметов). По результатам 13-ти попыток он нажал на кнопку 7 раз, ударил по тарелке в 1-м из 5-ти случаев и в итоге стал быстрее находить розовую ленту.

Алгоритм TEXPLORE-VENIR показал хорошие результаты, однако излишнее любопытно может снизить продуктивность робота, считают сторонние исследователи. Может получиться так, что внутренняя мотивация робота на получение награды за обучение превысит его внешнюю мотивацию решить поставленную задачу. Поэтому важно найти баланс между двумя видами мотивации.

<< Назад: Вкус воды 08.06.2017

>> Вперед: Боевые лазеры для бомбардировщиков 07.06.2017

Последние новости науки и техники, новинки электроники:

Звуки капель ускоряют прорастание на 30% 20.05.2026

Растения обладают удивительной чувствительностью к окружающему миру, и новые исследования показывают, что они способны воспринимать даже звуки. Ученые обнаружили, что семена риса ускоряют свое прорастание, реагируя на шум дождя. Этот механизм помогает растениям лучше приспосабливаться к изменяющимся условиям окружающей среды и может играть важную роль в их выживании. В ходе экспериментов исследователи записывали звуки дождя разной интенсивности. Оказалось, что падение капель создает значительное звуковое давление - сравнимое с тем, которое фиксируют на небольшом расстоянии от двигателей реактивных самолетов. Хотя такие звуки находятся за пределами человеческого слуха и плохо передаются из воды в воздух, они вполне способны влиять на семена, находящиеся под тонким слоем воды или почвы. Ученые провели серию опытов с посевным рисом, который традиционно высевают в увлажненную почву или под слой воды. Семена помещали в лужи глубиной 2,5-3 сантиметра и воспроизводили звуки дождя. Небол ...>>

Volkswagen ID. Polo GTI 20.05.2026

Volkswagen продолжает развивать легендарную линейку GTI, перенося ее дух в эпоху электромобилей. Компания официально представила ID. Polo GTI - первый полностью электрический "горячий" хэтчбек, который сочетает в себе современные технологии и фирменный драйверский характер моделей GTI, история которых началась еще в 1976 году с первого Golf GTI. Премьера новинки прошла во время знаменитой 24-часовой гонки на Нюрбургринге. Электромотор на передней оси развивает 222 л.с. (166 кВт) и выдает 290 Нм крутящего момента. Разгон с 0 до 100 км/ч занимает 6,8 секунды. Хотя динамика не претендует на звание рекордной в классе, Volkswagen сделал акцент на точной управляемости и узнаваемом "GTI-настроении". Для этого автомобиль оснастили блокировкой переднего дифференциала, адаптивной спортивной подвеской DCC и прогрессивным рулевым управлением. ID. Polo GTI использует ту же батарею емкостью 52 кВтч с химией NMC, что и обычная версия модели. Запас хода по циклу WLTP достигает 424 км. Поддержива ...>>

Коты охотнее разговаривают с мужчинами 19.05.2026

Домашние кошки всегда считались довольно сдержанными и избирательными в проявлении эмоций. Однако новое исследование показало, что наши пушистые питомцы гораздо активнее используют голос при общении с мужчинами, чем с женщинами. Это открытие помогает глубже понять особенности кошачьего поведения и природу их отношений с человеком. Ученые из Университета Анкары проанализировали реакцию 31 домашнего кота. Владельцы записывали на видео поведение животных в первые минуты после возвращения домой, стараясь вести себя максимально естественно. Результаты оказались весьма примечательными: в среднем за первые 100 секунд после прихода мужчины коты издавали 4,3 различных вокализации - мяуканье, мурлыканье или характерные "чириканья". При появлении женщины этот показатель составил всего 1,8. Исследователи изучили 22 разных типа поведения кошек, включая трение о ноги, зевки и реакцию на еду. Единственным значимым различием между мужчинами и женщинами оказалась именно частота вокализаций. Возра ...>>

Умная сушилка Xiaomi Mijia Smart Clothes Drying Machine 3 19.05.2026

Компания Xiaomi представила новую модель Mijia Smart Clothes Drying Machine 3 - инновационный многофункциональный комплекс, который кардинально меняет представление о сушке одежды и организации балконного пространства. Главное преимущество новинки заключается в гибкой системе организации. Устройство оснащено четырьмя независимыми зонами, благодаря чему одновременно можно сушить совершенно разные типы вещей - от легкого белья и носков до объемных одеял и верхней одежды. Для этого предусмотрено 38 открытых крючков, 32 вращающихся зажима, 20 выдвижных стержней и две специальные сетки, что позволяет оптимально использовать каждый сантиметр пространства. Еще одна яркая особенность - встроенное интеллектуальное освещение. 42-дюймовый световой модуль мощностью 36 Вт и световым потоком 3000 люмен способен полностью заменить потолочную люстру на балконе. Пользователи могут регулировать цветовую температуру в диапазоне от 3000 до 5700 K, создавая комфортную атмосферу для разных сценариев - ...>>

Сильнее всего мы злимся на самых близких 18.05.2026

Многие замечали одну и ту же странную закономерность: на работе или в общении с посторонними людьми мы способны сдерживать раздражение даже в сложных ситуациях, а дома можем вспыхнуть из-за сущей мелочи. Этот парадокс хорошо известен психологам и имеет глубокие нейробиологические причины. Оказывается, дело не в "плохом характере", а в особенностях работы нашего мозга и нервной системы. Когда мы находимся среди малознакомых людей, префронтальная кора головного мозга активно контролирует эмоции. Она выступает в роли внутреннего цензора, подавляя агрессию и помогая выбирать социально приемлемые реакции. Дома же мозг воспринимает окружение как максимально безопасное и предсказуемое, поэтому уровень контроля заметно снижается. В результате накопленные эмоции выходят наружу гораздо ярче и сильнее. Кроме того, мозг формирует особый "эмоциональный архив" именно на близких людей. Даже незначительные обиды и раздражения, которые мы переживаем годами, откладываются в памяти. При новом конфл ...>>

Случайная новость из Архива Шагомер XXI века 01.04.2009 Миниатюрный регистратор физической активности, выпуск которого начат в США, укрепляется, как обычный шагомер, на поясе или в кармане, и регистрирует все движения носящего его человека. Светящийся дисплей приборчика позволяет увидеть, сколько шагов и какое расстояние вы прошли за день, сколько потратили калорий, много ли ворочались во сне и сколько часов спокойно спали. Точность регистрации - 95-97%. Подзаряжаемая батарейка обеспечивает питание в течение не менее 10 суток беспрерывной работы. Модуль беспроводной связи позволяет сбросить накопленные данные на компьютер, который построит график вашей суточной активности и даст рекомендации для поддержания здоровья.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026