Роботов научили быть любопытными

08.06.2017

На протяжении нескольких лет разработчики компьютерных программ для роботов пытались создать "алгоритм любопытства", однако повторить человеческую любознательность было довольно сложно. По их словам, большинство методов не могут оценить "пробелы" в знаниях робота и понять, что ему будет интересно.

Однако Тодду Хестеру из Google DeepMind в Великобритании и Питеру Стоуну из Техасского университета в США удалось создать алгоритм, позволяющий компьютерной программе "проявлять любопытство", самостоятельно изучая окружающую среду. Новый подход позволит роботам учиться еще быстрее, чем сейчас. Исследователи назвали алгоритм TEXPLORE-VENIR - он основывается на технике "подкрепляющего обучения".

Эта техника работает по следующему принципу: когда программа приближается к решению проблемы (например, выходу из лабиринта), то получает некоторое вознаграждение. Предполагается, что, получив награду, в будущем она снова попытается достичь какой-либо цели. Исследователи немного изменили технику "подкрепляющего обучения" таким образом, чтобы программа получала вознаграждение просто за новое знание, даже если оно не помогает достичь цели. Например, TEXPLORE-VENIR зарабатывает бонусы, когда изучает картину мира, ищет отдаленные места на карте или осваивает кулинарные рецепты.

Хестер и Стоун протестировали свой алгоритм в двух сценариях. Первым из них стал виртуальный лабиринт из 4-х комнат, соединенных между собой запертыми дверями. Боту - просто компьютерной программе - нужно было исследовать территорию, найти ключ, взять его и открыть дверь. За каждую открытую дверь он зарабатывал 10 очков. Чтобы достичь наивысшего балла, ему было дано 3000 "шагов".

Когда при помощи алгоритма TEXPLORE-VENIR бот изучил местность (потратив на это 1000 "шагов"), то заработал 55 очков. При этом если он использовал другие алгоритмы, то получал от 0 до 35 очков. Когда программе пришлось одновременно исследовать местность и отпирать двери, с помощью TEXPLORE-VENIR она заработала 70 баллов, а в других случаях - менее 5.

Ко второму эксперименту исследователи подключили человекоподобного робота Nao. При помощи алгоритма TEXPLORE-VENIR ему нужно было выполнить три задания: ударить по музыкальной тарелке, найти и поднести к глазам розовую ленту и нажать на кнопку, расположенную на его ноге. На каждое задание Nao получил 200 "шагов", и еще 400 "шагов" ему было дано на "обучение" (изучение предметов). По результатам 13-ти попыток он нажал на кнопку 7 раз, ударил по тарелке в 1-м из 5-ти случаев и в итоге стал быстрее находить розовую ленту.

Алгоритм TEXPLORE-VENIR показал хорошие результаты, однако излишнее любопытно может снизить продуктивность робота, считают сторонние исследователи. Может получиться так, что внутренняя мотивация робота на получение награды за обучение превысит его внешнюю мотивацию решить поставленную задачу. Поэтому важно найти баланс между двумя видами мотивации.

<< Назад: Вкус воды 08.06.2017

>> Вперед: Боевые лазеры для бомбардировщиков 07.06.2017

Последние новости науки и техники, новинки электроники:

Власть является ключевым фактором счастья в отношениях 11.03.2026

Исследования семейных и романтических отношений показывают, что длительное счастье пары зависит не только от привычных факторов, таких как доверие, уважение и преданность, но и от более тонких психологических аспектов. Современные ученые ищут закономерности, которые отличают действительно счастливые пары от остальных, чтобы понять, какие механизмы поддерживают гармонию в отношениях. Группа исследователей из Университета Мартина Лютера в Галле-Виттенберге и Бамбергского университета провела опрос среди 181 пары, которые состояли в совместных отношениях более восьми лет и прожили вместе хотя бы месяц. Участники заполняли анкету, описывая различные аспекты своих отношений, включая распределение обязанностей, эмоциональную поддержку и степень вовлеченности в совместные решения. Анализ данных показал интересный паттерн: пары, где оба партнера ощущали высокий уровень личной власти, оказывались наиболее счастливыми и удовлетворенными. В данном контексте под властью понимается способност ...>>

Защищенная колонка-повербанк Anker Soundcore Boom Go 3i 11.03.2026

Компания Anker представила новую модель линейки Soundcore - колонку Soundcore Boom Go 3i, ориентированную на активное использование на улице. Новинка отличается высокой степенью защиты: корпус соответствует стандарту IP68, что обеспечивает водо- и пыленепроницаемость, а ударопрочный дизайн выдерживает падение с высоты до одного метра. За качество звука отвечает 15-ваттный драйвер, обеспечивающий пик громкости до 92 дБ, а технология BassUp 2.0 усиливает низкие частоты, делая звучание более насыщенным. Колонка обладает автономностью до 24 часов, а LED-индикатор позволяет контролировать уровень заряда батареи. Кроме того, Soundcore Boom Go 3i может выполнять функцию павербанка: согласно внутренним тестам, устройство способно зарядить iPhone 17 с нуля до 40% за один час, что делает его полезным аксессуаром в походах и поездках. Среди функциональных особенностей модели стоит выделить технологию Auracast, которая улучшает подключение и позволяет создавать стереопару из двух колонок ...>>

Раннее воздержание от алкоголя перестраивает мозг и иммунитет 10.03.2026

Алкогольная зависимость - хроническое расстройство с компульсивным употреблением спиртного, которое влияет не только на поведение, но и на функционирование мозга и иммунной системы. Недавние исследования показали, что даже на ранних этапах воздержания организм начинает перестраиваться, открывая новые возможности для терапии зависимости. Ученые сосредоточились на пациентах, находящихся в первые недели абстиненции, и зафиксировали значительные изменения в мозговой активности. С помощью функциональной магнитно-резонансной томографии они выявили перестройку сетей нейронных связей, отвечающих за контроль импульсов и принятие решений. Эти изменения могут быть ключевыми для восстановления самоконтроля и снижения риска рецидива. Одновременно с нейронной перестройкой исследователи наблюдали колебания иммунной системы. В крови повышался уровень цитокинов - сигнальных белков, регулирующих воспалительные процессы. Эти данные свидетельствуют о существовании нейроиммунного взаимодействия, при ...>>

Жесткий диск Seagate 44 ТВ 10.03.2026

С ростом объемов данных, обрабатываемых крупными компаниями и дата-центрами, требования к накопителям резко увеличиваются. Seagate анонсировала начало поставок новейших жестких дисков Exos емкостью 44 ТБ, которые обещают сочетание рекордного объема и высокой производительности, благодаря передовой платформе Mozaic 4+ и технологии термомагнитной записи HAMR. Платформа Mozaic 4+ включает десять магнитных пластин, каждая из которых имеет емкость более 4 ТБ. В сумме это позволяет получить общий объем накопителя 44 ТБ - рекордный показатель для современных HDD. В сочетании с вращением шпинделя на скорости 7200 оборотов в минуту это обеспечивает скорость передачи данных порядка 300 МБ/с, что делает диск подходящим для работы с большими массивами информации. Seagate отмечает, что использование Exos повышает общую эффективность систем хранения примерно на 47%. Для корпоративных клиентов это означает сокращение занимаемой площади под кластеры на 9 квадратных метров и снижение годового эне ...>>

Скука - двигатель перемен 09.03.2026

Современная жизнь редко оставляет человеку время на простое ощущение скуки. С развитием цифровых технологий и постоянным доступом к социальным сетям мы стремимся мгновенно развлекать себя, избегая пауз, когда ум может быть свободен от внешних раздражителей. Между тем, новое исследование показывает, что скука выполняет важную роль в психическом здоровье и может стимулировать личностное развитие. Часто скука воспринимается как негативное состояние, которое хочется немедленно устранить. Однако психологи отмечают, что именно моменты, когда человеку становится по-настоящему скучно, могут побудить к поиску нового хобби, пересмотру жизненных приоритетов или появлению свежих идей. Это состояние открывает пространство для саморефлексии и внутреннего роста. Исследователи из Университета Бата и Тринити-колледжа показали, что привычка уходить в социальные сети в моменты скуки мешает человеку достигать "максимальной скуки". В результате стимулируется лишь поверхностное отвлечение, которое не ...>>

Случайная новость из Архива Сенсор для век определит усталость 27.09.2025 Ученые Калифорнийского университета в Лос-Анджелесе разработали сенсор нового поколения, который крепится прямо на веки и способен в реальном времени определять степень усталости человека. По результатам испытаний, точность работы устройства составила 96,4 процента, что делает его одним из самых надежных решений подобного рода. Если подобные сенсоры получат широкое распространение, контроль уровня усталости перестанет быть проблемой исключительно субъективной оценки и станет точным, объективным и удобным инструментом. Технология основана на использовании мягкого силиконового каучука, внутри которого размещены микромагниты и тонкая катушка из золота на эластичном слое. Благодаря такому сочетанию сенсор получился гибким, водонепроницаемым и достаточно комфортным для повседневного применения. Устройство реагирует на движение век и преобразует их в электрические сигналы, которые затем анализируются системой искусственного интеллекта. Заложенный в сенсор алгоритм нейросети учитывает сразу шесть параметров моргания. Такой комплексный подход позволяет системе не только фиксировать факт усталости, но и оценивать ее степень. При этом прибор работает автономно, не требуя внешних источников энергии, что делает его удобным и универсальным. Основой разработки стал эффект гигантской магнетоэластичности, открытый в UCLA в 2021 году. Он позволяет мягким полимерам превращать механическое движение в магнитное, а затем - в электрический сигнал. Исследователи подчеркивают, что потенциал этого явления еще не раскрыт полностью и в будущем может привести к созданию совершенно новых классов сенсоров. Практическое применение технологии выходит далеко за рамки лабораторных экспериментов. Сенсор может оказаться незаменимым в медицине, помогая врачам отслеживать усталость пациентов, а также в транспорте и на производстве, где состояние оператора напрямую влияет на безопасность.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026