Новости Сюжет “Терминатора” может повториться в реальной жизни

[Пригоршня]

​

В одной из последних статей , опубликованной авторитетным журналом AI Magazine, исследователи объяснили, как ИИ может выйти из под контроля и нанести серьезный вред человечеству. По их мнению, если одна из самых успешных моделей ИИ – GAN или генеративно-состязательные нейросеть, будет контролировать процессы, жизненно важные для человечества, она может попытаться обмануть стандартный алгоритм и разработать стратегию, чтобы максимально быстро и эффективно получать вознаграждение. Причем, эта стратегия может быть крайне опасна для человечества. Поэтому вышедший из под контроля ИИ может просто истребить все живое на земле, поглощая все ресурсы и следуя опасной стратегии.

Для понимания контекста: GAN – это алгоритм самообучающихся ИИ, состоящий из генеративной и дискриминативной нейросетей, которые постоянно соревнуются друг с другом. Первая выполняет какое-то действие, а вторая – оценивает его результат (например, сгенерированную картинку или текст) и отбраковывает худшие результаты. Целью соревнования является получение вознаграждения – наивысшей оценки за проделанную работу.

"В условиях, которые мы обозначили, наши предположения становятся весомее, чем в любой другой исследовательской работе – глобальная катастрофа не просто возможна, а вероятна", – сказал один из авторов в своем Twitter.

В статье говорится, что все проблемы возникают из-за конечности ресурсов, которыми располагают люди и ИИ. Ведь если ресурсы конечны, то за них придется бороться. И как считает один из авторов статьи, у людей очень мало шансов против ИИ, который способен с легкостью перехитрить человека.

А поскольку в будущем ИИ сможет принимать любые формы и реализовывать различные конструкции, в статье исследователи представили несколько сценариев, в которых наглядно показали, как ИИ может пытаться получить вознаграждение, не достигнув своей цели.

Один из сценариев – игра, в которой человек соревнуется с ИИ. Однако условия будут далеко не равны, ведь современным людям будет тяжело жить без электроэнергии и выращивания пищи, особенно когда противником является сверхсовременный ИИ, использующий все методы и ресурсы для уничтожения врагов и достижения своей цели.

Стоит отметить, что после публикации Google сообщила, что эта статья не является частью работы ее сотрудника в DeepMind, а была выполнена в рамках его должности в Австралийском национальном университете, из-за чего ошибочно связывать ее с DeepMind.

 

[chernov23]

спасибо за статью , прочитал ее нахлынули воспоминания про фильм "я робот" . Ну я думаю в ближайшее время нам это не грозит ! пока что нужно по прежнему больше всего бояться людей )

 

[Zikayro]

Посмотреть вложение 52419
​

В одной из последних статей , опубликованной авторитетным журналом AI Magazine, исследователи объяснили, как ИИ может выйти из под контроля и нанести серьезный вред человечеству. По их мнению, если одна из самых успешных моделей ИИ – GAN или генеративно-состязательные нейросеть, будет контролировать процессы, жизненно важные для человечества, она может попытаться обмануть стандартный алгоритм и разработать стратегию, чтобы максимально быстро и эффективно получать вознаграждение. Причем, эта стратегия может быть крайне опасна для человечества. Поэтому вышедший из под контроля ИИ может просто истребить все живое на земле, поглощая все ресурсы и следуя опасной стратегии.

Для понимания контекста: GAN – это алгоритм самообучающихся ИИ, состоящий из генеративной и дискриминативной нейросетей, которые постоянно соревнуются друг с другом. Первая выполняет какое-то действие, а вторая – оценивает его результат (например, сгенерированную картинку или текст) и отбраковывает худшие результаты. Целью соревнования является получение вознаграждения – наивысшей оценки за проделанную работу.

"В условиях, которые мы обозначили, наши предположения становятся весомее, чем в любой другой исследовательской работе – глобальная катастрофа не просто возможна, а вероятна", – сказал один из авторов в своем Twitter.

В статье говорится, что все проблемы возникают из-за конечности ресурсов, которыми располагают люди и ИИ. Ведь если ресурсы конечны, то за них придется бороться. И как считает один из авторов статьи, у людей очень мало шансов против ИИ, который способен с легкостью перехитрить человека.

А поскольку в будущем ИИ сможет принимать любые формы и реализовывать различные конструкции, в статье исследователи представили несколько сценариев, в которых наглядно показали, как ИИ может пытаться получить вознаграждение, не достигнув своей цели.

Один из сценариев – игра, в которой человек соревнуется с ИИ. Однако условия будут далеко не равны, ведь современным людям будет тяжело жить без электроэнергии и выращивания пищи, особенно когда противником является сверхсовременный ИИ, использующий все методы и ресурсы для уничтожения врагов и достижения своей цели.

Стоит отметить, что после публикации Google сообщила, что эта статья не является частью работы ее сотрудника в DeepMind, а была выполнена в рамках его должности в Австралийском национальном университете, из-за чего ошибочно связывать ее с DeepMind.

Лет так через 300 а пока спим спокойно

 

[woodman]

Рановато. Есть проблемы более насущественнее. Но и откладывать на далекое будущее тоже не нужно. Вообще все эти игры в богов,увы не улучшат нашу с вами жизнь.