Управлять сверхинтеллектуальным ИИ будет невозможно

29.09.2022

Идея свержения человечества искусственным интеллектом обсуждалась десятилетиями, и в 2021 году ученые вынесли свой вердикт о том, можно ли контролировать высокоуровневый компьютерный сверхразум.

Загвоздка в том, что для управления сверхразумом, находящимся далеко за пределами человеческого понимания, потребуется симуляция этого сверхразума, который можно анализировать и контролировать. Но если люди не в состоянии это понять, то создать такую симуляцию невозможно.

Такие правила, как "не причинять вреда людям", не могут быть установлены, если люди не понимают, какие сценарии может предложить ИИ. Как только компьютерная система работает на уровне выше возможностей наших программистов, то больше нельзя будет устанавливать ограничения.

Сверхразум представляет собой принципиально иную проблему, чем те, которые обычно изучаются под лозунгом "этики роботов. Это связано с тем, что сверхразум многогранен и, следовательно, потенциально способен мобилизовать разнообразные ресурсы для достижения целей, потенциально непостижимых для людей, не говоря уже о том, чтобы их можно было контролировать.

Часть рассуждений команды исходила из проблемы остановки, сформулированной Аланом Тьюрингом в 1936 году. Проблема заключается в том, чтобы узнать, придет ли компьютерная программа к выводу и ответу (поэтому она остановится), или просто зациклится, пытаясь найти его.

Ученые отметили, как доказал Тьюринг с помощью умной математики, хотя мы можем знать это для некоторых конкретных программ, логически невозможно найти способ, который позволил бы нам узнать это для каждой потенциальной программы, которая когда-либо могла быть написана. Это возвращает нас к ИИ, который в сверхразумном состоянии мог бы одновременно удерживать в своей памяти все возможные компьютерные программы.

По словам ученых, любая программа, написанная для того, чтобы не дать ИИ причинить вред людям и уничтожить мир, например, может прийти к выводу (и остановиться) или нет - математически невозможно быть абсолютно уверенным в любом случае, а это значит, что ее нельзя сдержать. Ученые заявили, что альтернатива обучению ИИ некоторым этическим нормам и указанию ему не разрушать мир - то, в чем ни один алгоритм не может быть абсолютно уверен, - заключается в ограничении возможностей сверхразума.

"Исследование также отвергло эту идею, предполагая, что это ограничит возможности ИИ. Аргумент состоит в том, что если мы не собираемся использовать его для решения проблем, выходящих за рамки человеческих возможностей, то зачем вообще его создавать? Если мы собираемся продвигаться вперед с ИИ, мы можем даже не знать, когда появится сверхразум, неподвластный нашему контролю, такова его непостижимость. Это означает, что нам нужно начать задавать серьезные вопросы о том, в каком направлении мы движемся", - отметили ученые.

<< Назад: Куркумин предотвратит потерю зрения 29.09.2022

>> Вперед: Дрожжам пересажены человеческие гены 28.09.2022

Последние новости науки и техники, новинки электроники:

Звуки капель ускоряют прорастание на 30% 20.05.2026

Растения обладают удивительной чувствительностью к окружающему миру, и новые исследования показывают, что они способны воспринимать даже звуки. Ученые обнаружили, что семена риса ускоряют свое прорастание, реагируя на шум дождя. Этот механизм помогает растениям лучше приспосабливаться к изменяющимся условиям окружающей среды и может играть важную роль в их выживании. В ходе экспериментов исследователи записывали звуки дождя разной интенсивности. Оказалось, что падение капель создает значительное звуковое давление - сравнимое с тем, которое фиксируют на небольшом расстоянии от двигателей реактивных самолетов. Хотя такие звуки находятся за пределами человеческого слуха и плохо передаются из воды в воздух, они вполне способны влиять на семена, находящиеся под тонким слоем воды или почвы. Ученые провели серию опытов с посевным рисом, который традиционно высевают в увлажненную почву или под слой воды. Семена помещали в лужи глубиной 2,5-3 сантиметра и воспроизводили звуки дождя. Небол ...>>

Volkswagen ID. Polo GTI 20.05.2026

Volkswagen продолжает развивать легендарную линейку GTI, перенося ее дух в эпоху электромобилей. Компания официально представила ID. Polo GTI - первый полностью электрический "горячий" хэтчбек, который сочетает в себе современные технологии и фирменный драйверский характер моделей GTI, история которых началась еще в 1976 году с первого Golf GTI. Премьера новинки прошла во время знаменитой 24-часовой гонки на Нюрбургринге. Электромотор на передней оси развивает 222 л.с. (166 кВт) и выдает 290 Нм крутящего момента. Разгон с 0 до 100 км/ч занимает 6,8 секунды. Хотя динамика не претендует на звание рекордной в классе, Volkswagen сделал акцент на точной управляемости и узнаваемом "GTI-настроении". Для этого автомобиль оснастили блокировкой переднего дифференциала, адаптивной спортивной подвеской DCC и прогрессивным рулевым управлением. ID. Polo GTI использует ту же батарею емкостью 52 кВтч с химией NMC, что и обычная версия модели. Запас хода по циклу WLTP достигает 424 км. Поддержива ...>>

Коты охотнее разговаривают с мужчинами 19.05.2026

Домашние кошки всегда считались довольно сдержанными и избирательными в проявлении эмоций. Однако новое исследование показало, что наши пушистые питомцы гораздо активнее используют голос при общении с мужчинами, чем с женщинами. Это открытие помогает глубже понять особенности кошачьего поведения и природу их отношений с человеком. Ученые из Университета Анкары проанализировали реакцию 31 домашнего кота. Владельцы записывали на видео поведение животных в первые минуты после возвращения домой, стараясь вести себя максимально естественно. Результаты оказались весьма примечательными: в среднем за первые 100 секунд после прихода мужчины коты издавали 4,3 различных вокализации - мяуканье, мурлыканье или характерные "чириканья". При появлении женщины этот показатель составил всего 1,8. Исследователи изучили 22 разных типа поведения кошек, включая трение о ноги, зевки и реакцию на еду. Единственным значимым различием между мужчинами и женщинами оказалась именно частота вокализаций. Возра ...>>

Умная сушилка Xiaomi Mijia Smart Clothes Drying Machine 3 19.05.2026

Компания Xiaomi представила новую модель Mijia Smart Clothes Drying Machine 3 - инновационный многофункциональный комплекс, который кардинально меняет представление о сушке одежды и организации балконного пространства. Главное преимущество новинки заключается в гибкой системе организации. Устройство оснащено четырьмя независимыми зонами, благодаря чему одновременно можно сушить совершенно разные типы вещей - от легкого белья и носков до объемных одеял и верхней одежды. Для этого предусмотрено 38 открытых крючков, 32 вращающихся зажима, 20 выдвижных стержней и две специальные сетки, что позволяет оптимально использовать каждый сантиметр пространства. Еще одна яркая особенность - встроенное интеллектуальное освещение. 42-дюймовый световой модуль мощностью 36 Вт и световым потоком 3000 люмен способен полностью заменить потолочную люстру на балконе. Пользователи могут регулировать цветовую температуру в диапазоне от 3000 до 5700 K, создавая комфортную атмосферу для разных сценариев - ...>>

Сильнее всего мы злимся на самых близких 18.05.2026

Многие замечали одну и ту же странную закономерность: на работе или в общении с посторонними людьми мы способны сдерживать раздражение даже в сложных ситуациях, а дома можем вспыхнуть из-за сущей мелочи. Этот парадокс хорошо известен психологам и имеет глубокие нейробиологические причины. Оказывается, дело не в "плохом характере", а в особенностях работы нашего мозга и нервной системы. Когда мы находимся среди малознакомых людей, префронтальная кора головного мозга активно контролирует эмоции. Она выступает в роли внутреннего цензора, подавляя агрессию и помогая выбирать социально приемлемые реакции. Дома же мозг воспринимает окружение как максимально безопасное и предсказуемое, поэтому уровень контроля заметно снижается. В результате накопленные эмоции выходят наружу гораздо ярче и сильнее. Кроме того, мозг формирует особый "эмоциональный архив" именно на близких людей. Даже незначительные обиды и раздражения, которые мы переживаем годами, откладываются в памяти. При новом конфл ...>>

Случайная новость из Архива Квантовый процессор на 127 кубитов 19.11.2021 Компания IBM заявила, что разработала новый чип для квантовых вычислений, который, по мнению руководства компании, позволит квантовым системам превзойти классические компьютеры в некоторых задачах в течение следующих двух лет. Новый чип Eagle насчитывает 127 кубитов, что делает его самым производительным квантовым процессором в мире. Для сравнения, не так давно в Китае был представлен самый мощный в мире программируемый квантовый компьютер и в нем насчитывается всего 56 кубитов. Сама IBM пока раскрыла мало подробностей о новинке и не сравнивала ее с другими системами. Методы, которые использовались в ходе создания Eagle, в конечном итоге позволят создавать гораздо более производительные чипы. Компания намерена выпустить в 2022 году квантовые чипы Osprey с 433 кубитами и Condor с 1121 кубитом IBM уверена, что это приблизит ее к так называемому "квантовому превосходству" - моменту, в который квантовые компьютеры смогут превзойти традиционные системы. Дарио Гил (Dario Gil), старший вице-президент IBM и глава исследовательского подразделения компании, сказал, что успех квантовых решений вовсе не значит, что они вытеснят традиционные чипы. Вместо этого, IBM представляет себе мир, в котором некоторые части вычислительного приложения работают на традиционных, а некоторые на квантовых микросхемах, в зависимости от того, что лучше подходит для конкретной задачи. Гил заявляет, что IBM сможет продемонстрировать квантовое превосходство в течение следующих двух лет.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026