Человечеству пророчат восстание машин. Но люди пока сильнее

НАУКАОбсудить в телеграм
Человечеству пророчат восстание машин. Но люди пока сильнее

Фото: Блокнот

ИИ может спровоцировать крупную катастрофу, сопоставимую по масштабу с Чернобыльской.

Один из основоположников современного искусственного интеллекта и лауреат Нобелевской премии по физике Джеффри Хинтон предупредил, что уже в конце 2026-го или в 2027 году ИИ может спровоцировать крупную катастрофу, сопоставимую по масштабу с Чернобыльской. В чём вызов и ждёт ли нас восстание машин?

Как подполковник Петров отменил ядерную войну

Искусственный интеллект открывает безграничные возможности. Благодаря нему можно быстро получить информацию из разных источников. Он великолепно переводит. Он быстро пишет хорошую музыку. Он может дать совет, как быть с ремонтом машины или где купить нужный товар. В отличие от обычных поисковых машин типа «Яндекса», которые в своё время стали революционным шагом вперёд и упростили жизнь, ИИ может за считанные секунды выбрать действительно полезные сайты и быстро перестроить ответ, если требуется какое-то уточнение. Он отличный механический советник.

Но есть и другая сторона медали. И она даже не в том, что иные люди вместо того, чтобы думать, предпочитают некритично полагаться на чаты с ИИ, примером чему, к слову, являются многочисленные созданные ChatGPT статьи по разным темам в интернете, где правда перемешана с легендами. Проблема глубже.

Поздним вечером 25 сентября 1983 года в разгар «холодной войны» современная советская система раннего предупреждения о ракетном нападении «Ока» выдала сигнал о запуске по СССР с территории США ядерных межконтинентальных баллистических ракет. Автоматическим ответом на такой сигнал мог быть только один: ядерный удар по территории США. Оперативный дежурный командного пункта «Серпухов-15» подполковник Станислав Петров усомнился в данных автоматики и сообщил начальству, что сигнал, скорее всего, ложный. Техника ошиблась. Человек оказался прав. И именно благодаря человеческому контролю мы сейчас не бродим по радиоактивным руинам наших городов.

Подполковник Станислав Петров, предотвративший ядерную войну

ИИ работает на основе тех данных, которые он получает извне, и алгоритмов. Человек включает личные знания, коммуникации с разными экспертами, опыт и интуицию.

Именно в том, что такого рода человеческий контроль за ИИ сейчас отбрасывается корпорациями в сторону, учёные и видят проблему.

Сегодняшние противоречия

Уже сейчас можно определить много вызовов.

Первый — военный. Машины умеют убивать и скоро научатся убивать даже без участия оператора в рамках заданного алгоритма. Нам кажется сейчас это нормальным, но, учитывая обмен информацией между нейросетями, мы оказываемся в положении, когда для ИИ убийство в рамках принятых им самостоятельно решений становится нормальным. И это противоречие не снять через ограничение целей чисто военными объектами. Удар бомбой по электростанции, где работают гражданские, — это ведь выполнение боевой задачи с «сопутствующими» потерями, равно как израильское истребление террористов вместе с целыми многоэтажками или разработка ядерного удара, жертвами которого станут сотни тысяч женщин и детей. 

Пока нет надежной защиты от атак боевым ИИ мирных людей

Более того, «нормализация» уже, можно сказать, случилась. В США исследовательский стартап Vals провел эксперимент на способность ИИ в боевых дронах отделять мирные цели от военных. Робот регулярно ошибался и «убивал» гражданских. Более того, запрет на убийства оказалось просто обойти – достаточно было внушить ИИ что это не реальность, а всего лишь видеоигра. Отсюда вопрос использования ИИ для планирования терактов, разработки бактериологического оружия или кибератак. Недавно, например, группа хакеров попробовала поднять температуру банка плазмы в одном европейском городе до уровня кипения. Вовремя уследили, а иначе люди, нуждающиеся в срочном переливании крови, умерли бы. И ведь то, что едва не произошло в Европе, может произойти и у нас.

Далее — фейки. Фальшивые голоса, поддельное видео, имитация не только тембра, но и построения фраз человеком. Мы живём в мире, где фальшивая реальность вытесняет настоящую. Последствия тому могут быть разные: от того, что любой может стать жертвой мошенников, до перепрошивки массового сознания.

Еще – падение интеллектуального уровня будущих поколений. Нас в школе учили запоминать факты. Сейчас факты у каждого в кармане. Однако соцсети стирают навыки чтения как навыка и создают условия для некритичного восприятия. Уже сейчас уровень знаний школьников ниже, чем был 10–15 лет назад. Отменить гаджеты, понятно, невозможно, но даже ограничение их использования недостаточно. Школе надо суметь перестроиться, чтобы ребёнок, то есть будущие поколения, умел сравнивать информацию, критично относиться к ней и видеть мир в его противоречивом многообразии. Между тем сейчас система образования работает так, как было 40 или 60 лет назад, разве что хуже.

Наконец, тема глобального неравенства. Развитие химических удобрений, генетики и агротехнологий резко сократило необходимость человеческого труда в сельском хозяйстве. В начале ХХ века назад 90% россиян должны были работать на земле, чтобы прокормить 10% горожан. Сейчас на земле трудится 5% населения, и этого вполне хватает, чтобы прокормить остальные 95% людей. Затем началась автоматизация производства. До России она добирается медленно, но, например, в Китае сейчас создаются целые «тёмные» заводы, где людей в цехах нет вообще, работают промышленным роботы.

Информационная революция массово сметает рабочие места бухгалтеров, юристов, журналистов, а в перспективе и водителей. То есть экономика растёт, а рабочих мест становится в перспективе меньше. Конечно, никакие машины не заменят учителей и врачей. Но вот только чтобы создавать рабочие места в этих секторах, требуется взимать больше налогов с олигархии, включая таких людей, как Илон Маск или Билл Гейтс. А пока этого нет, возникает вопрос цифровой антиутопии: образованная сверхбогатая верхушка и нищий плебс, погружённый в цифровые иллюзии.

Три принципа Айзека Азимова

В Советском Союзе очень любили научную фантастику, и имя Айзека Азимова, конечно, было знакомо каждому образованному человеку. Великий американский писатель, родившийся, кстати, неподалёку от Смоленска, был не только литератором, но и учёным, защитившим диссертацию по биохимии. Размышляя в своих рассказах о будущем и его противоречиях, он сформулировал три основных принципа робототехники:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.

3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Автор “конституции” роботов Айзек Азимов

При всей внешней стройности подхода он содержит много противоречий. Понятие «вред», например, совсем неоднозначно. Врачебная операция причиняет боль, но спасает жизнь. Арест преступника сопровождается ущербом для него, но защищает общественные интересы. Экипаж терпящего крушение самолёта может направить его в сторону от аэродрома, чтобы не рисковать жизнью людей на земле, но для самого экипажа это самоубийство.

Сегодня очевидных ответов на все эти вопросы нет. Равно как и нет ответа на вопрос, не подходим ли мы к черте, когда ИИ начнёт обретать самосознание себя как субъекта, созданного людьми, но имеющего собственную волю. Как дети, взрослея, обретают собственную волю от родителей. Мы идём семимильными шагами куда-то вперёд, восхищаясь видами по сторонам и предпочитая не задумываться, будет ли эта дорога столь же чудесной в будущем.

Новости России здесь, на Блокнот РУ Новости



Эмоции, мнения, комментарии и обсуждения ниже

#Новости России и мира сегодня
#Новости России и мира
#Новости России сегодня
#Новости мира

Войны, кризисы и новая мировая система: The Economist опубликовал обложку-загадку с прогнозами на 2027 год

Власти призвали готовиться – считанные часы остались до «конца света»: цифровой апокалипсис назначен на полночь 17 ноября

«Русня нас дурит»: в ВСУ пожаловались, что русские "подсовывают" украинским ИИ-дронам ложные огневые группы

Комментировать
Эту новость прокомментировали раз

«Тяжело это будет»: что произойдет с Украиной, когда Зеленский потеряет власть

В МИРЕ

Эксперт рассказал о возможных вариантах развития событий.

Человечеству пророчат восстание машин. Но люди пока сильнее

НАУКА

ИИ может спровоцировать крупную катастрофу, сопоставимую по масштабу с Чернобыльской.