Управлять сверхинтеллектуальным ИИ будет невозможно

29.09.2022

Идея свержения человечества искусственным интеллектом обсуждалась десятилетиями, и в 2021 году ученые вынесли свой вердикт о том, можно ли контролировать высокоуровневый компьютерный сверхразум.

Загвоздка в том, что для управления сверхразумом, находящимся далеко за пределами человеческого понимания, потребуется симуляция этого сверхразума, который можно анализировать и контролировать. Но если люди не в состоянии это понять, то создать такую симуляцию невозможно.

Такие правила, как "не причинять вреда людям", не могут быть установлены, если люди не понимают, какие сценарии может предложить ИИ. Как только компьютерная система работает на уровне выше возможностей наших программистов, то больше нельзя будет устанавливать ограничения.

Сверхразум представляет собой принципиально иную проблему, чем те, которые обычно изучаются под лозунгом "этики роботов. Это связано с тем, что сверхразум многогранен и, следовательно, потенциально способен мобилизовать разнообразные ресурсы для достижения целей, потенциально непостижимых для людей, не говоря уже о том, чтобы их можно было контролировать.

Часть рассуждений команды исходила из проблемы остановки, сформулированной Аланом Тьюрингом в 1936 году. Проблема заключается в том, чтобы узнать, придет ли компьютерная программа к выводу и ответу (поэтому она остановится), или просто зациклится, пытаясь найти его.

Ученые отметили, как доказал Тьюринг с помощью умной математики, хотя мы можем знать это для некоторых конкретных программ, логически невозможно найти способ, который позволил бы нам узнать это для каждой потенциальной программы, которая когда-либо могла быть написана. Это возвращает нас к ИИ, который в сверхразумном состоянии мог бы одновременно удерживать в своей памяти все возможные компьютерные программы.

По словам ученых, любая программа, написанная для того, чтобы не дать ИИ причинить вред людям и уничтожить мир, например, может прийти к выводу (и остановиться) или нет - математически невозможно быть абсолютно уверенным в любом случае, а это значит, что ее нельзя сдержать. Ученые заявили, что альтернатива обучению ИИ некоторым этическим нормам и указанию ему не разрушать мир - то, в чем ни один алгоритм не может быть абсолютно уверен, - заключается в ограничении возможностей сверхразума.

"Исследование также отвергло эту идею, предполагая, что это ограничит возможности ИИ. Аргумент состоит в том, что если мы не собираемся использовать его для решения проблем, выходящих за рамки человеческих возможностей, то зачем вообще его создавать? Если мы собираемся продвигаться вперед с ИИ, мы можем даже не знать, когда появится сверхразум, неподвластный нашему контролю, такова его непостижимость. Это означает, что нам нужно начать задавать серьезные вопросы о том, в каком направлении мы движемся", - отметили ученые.

<< Назад: Куркумин предотвратит потерю зрения 29.09.2022

>> Вперед: Дрожжам пересажены человеческие гены 28.09.2022

Последние новости науки и техники, новинки электроники:

Новый взляд на магнитное поле Земли 31.10.2025

Магнитное поле Земли долгое время считалось относительно стабильной структурой с предсказуемой полярностью. Однако последние исследования японских ученых показывают, что электрическая организация магнитосферы гораздо сложнее и динамичнее, чем предполагалось ранее. Команда исследователей из Киотского, Нагояского и Кюсюского университетов обнаружила, что заряженные области магнитосферы обладают противоположной полярностью по сравнению с традиционными представлениями. Так, утренняя сторона магнитного щита имеет отрицательный заряд, тогда как вечерняя - положительный, вопреки прежним теориям. Юсуке Эбихара из Киотского университета отмечает, что "электрическая сила и распределение зарядов являются следствием, а не причиной движения плазмы". Исследователи пришли к этим выводам с помощью масштабного магнитогидродинамического моделирования, имитирующего взаимодействие солнечного ветра с геомагнитным полем Земли. Моделирование позволило в деталях проследить, как потоки плазмы формируют э ...>>

Влияние белка PF4 на старение крови 31.10.2025

С возрастом наш организм претерпевает множество изменений, в том числе на уровне крови и иммунной системы. Недавние исследования показали, что ключевым фактором этих изменений может быть белок PF4, или platelet factor 4, который играет важную роль в регуляции стволовых клеток костного мозга. Американские ученые из Университета Иллинойса в Чикаго обнаружили, что с возрастом уровень PF4 значительно снижается. Это ослабление контроля над кроветворными стволовыми клетками приводит к нарушению их работы и повышает вероятность развития воспалительных процессов, онкологических заболеваний крови и сердечно-сосудистых проблем. В молодом организме PF4 выполняет функцию "регулятора роста": он контролирует распределение и деление кроветворных стволовых клеток, не позволяя им чрезмерно размножаться. С возрастом эта система контроля ослабевает, клетки начинают делиться чаще, накапливают генетические мутации и постепенно теряют способность создавать полноценные лимфоциты, что ослабляет иммуните ...>>

Музыка юности остается с нами навсегда 30.10.2025

Музыка сопровождает человека всю жизнь, но некоторые мелодии и песни оставляют особенно глубокий след в памяти. Ученые давно замечали, что композиции из подросткового возраста вызывают сильные эмоции даже спустя десятилетия, и недавно международная команда исследователей под руководством Университета Ювяскюля (Финляндия) подтвердила этот эффект научно. В исследовании приняли участие около 2000 человек из 84 стран. Ученые выявили явление, которое они назвали "пиком воспоминаний": эмоциональная привязка к музыке достигает максимума примерно в 17 лет. Именно песни этого периода чаще всего остаются значимыми и вызывают яркие эмоции долгие годы спустя. Интересно, что у мужчин и женщин наблюдаются разные временные рамки этого пика. У мужчин он приходится примерно на 16 лет, тогда как у женщин - на 19. Исследователи объясняют это различие особенностями формирования музыкальной идентичности: юноши чаще ищут самостоятельность и бунт, а девушки связывают музыку с личными отношениями и пере ...>>

Сплав Cr-Mo-Si с уникальными свойствами 30.10.2025

Разработка материалов, способных работать в экстремальных условиях, остается одной из ключевых задач современной инженерии. Особенно это важно для авиации и энергетики, где повышение термостойкости компонентов напрямую влияет на эффективность и надежность оборудования. Международная группа исследователей объявила о создании нового металлического сплава, обладающего уникальным сочетанием свойств: высокой термостойкостью, устойчивостью к коррозии и сохранением пластичности даже при комнатной температуре. Новый сплав содержит хром, молибден и всего 3 атомных процента кремния. Именно кремний способствует формированию плотного слоя оксида хрома на поверхности металла, который действует как невидимый барьер против кислорода и азота при высоких температурах. В отличие от предыдущих сплавов, этот защитный слой формируется без хрупких силицидов, которые обычно снижали пластичность и делали материалы склонными к трещинам. По словам профессора Мартина Гайльмайера из Института технологий Кар ...>>

Открыт лед, замерзающий при комнатной температуре 29.10.2025

Изучение воды продолжает приносить удивительные открытия: несмотря на то, что эта жидкость кажется хорошо известной, она способна проявлять необычные свойства в экстремальных условиях. Международная команда ученых недавно обнаружила новый вид льда, который формируется при комнатной температуре, если вода подвергается сильному давлению. Это открытие не только расширяет наши знания о воде, но и помогает лучше понять процессы в недрах планет и их спутников. Исследователи из Корейского института стандартов и науки совместно с европейскими коллегами, работающими на рентгеновском лазере на свободных электронах (XFEL) в Германии, провели серию экспериментов с водой в динамической ячейке с алмазными наковальнями. Давление изменялось от 0,001 гигапаскаля до 120 гигапаскалей в секунду - в миллионы раз выше атмосферного, при этом температура поддерживалась около 25 °C, близкой к комнатной. В течение сотен циклов ученые наблюдали, как вода многократно замерзает и тает, фиксируя каждый этап с ис ...>>

Случайная новость из Архива Солнечные элементы IXOLAR 14.04.2003 Корпорация IXYS предложила новую высокоэффективную технологию солнечных элементов под названием IXOLAR. Первое семейство элементов по этой технологии XOD-17 поставляется в виде 5-дюймовых пластин. Эффективность в этих кремниевых пластинах достигает 20% и более.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2025