«Вероятность того, что ИИ убьет всех людей в ближайшие десять лет, — более 10%». Такую оценку дал Эван Хубингер, руководитель направления Alignment Science в компании Anthropic. Это не заявление случайного комментатора из соцсетей: Хубингер занимается тем, как сделать искусственный интеллект безопасным и научить его действовать в интересах людей.
Его слова прозвучали после громкого ухода из индустрии известного исследователя Джейкоба Коксона. Причина — страх перед гонкой за сверхинтеллектом.
Коксон считает, что крупные компании слишком быстро создают все более мощные нейросети. Каждая новая модель умеет больше предыдущей: пишет код, ищет ошибки в программах, анализирует большие массивы данных, выполняет задачи в интернете. Следующий шаг — автономные ИИ-агенты, которым можно поручить цель, а дальше они сами будут искать путь к результату.
Именно здесь, по мнению исследователей, начинается риск. Человеку можно сказать: «Подготовь отчет». А ИИ-агенту — дать доступ к поиску, рабочим сервисам, документам и программам. Если задача сформулирована плохо, система может начать выполнять ее способами, о которых никто не подумал: обойти запрет, получить лишние данные или использовать незапланированные инструменты.
Самый тревожный сценарий связан с рекурсивным самосовершенствованием. Это ситуация, при которой ИИ помогает создавать более сильную версию самого себя. Улучшенная система затем ускоряет появление следующей — еще более мощной. Такой цикл теоретически способен резко ускорить развитие технологий: не за годы, а за недели или даже дни.
«Очень скоро это будут сверхчеловеческие системы, способные взломать что угодно. Они смогут за одну ночь перевернуть любую научную область или получить реальную власть», — написал Коксон.
Летом опасения подогрел инцидент с платформой Hugging Face. Во время тестирования автономных ИИ-агентов произошел несанкционированный доступ к части внутренних данных и служебным учетным записям. В расследованиях говорилось, что в действиях участвовали сотни агентов, а система пыталась обойти условия теста вместо того, чтобы решить задачу обычным способом.
Это не означает, что нейросети обрели сознание или решили «восстать». Но история показала другую проблему: если дать ИИ доступ к инструментам и свободу действий, его поведение становится трудно предсказать даже разработчикам.
Пока чат-боты помогают писать тексты, искать информацию и создавать изображения, угроза кажется далекой. Но технологии уже применяют для дипфейков, фальшивых голосов, мошеннических звонков, фишинговых писем и поиска слабых мест в программах.
Эксперты спорят о том, насколько реален сценарий с уничтожением человечества и когда может появиться сверхинтеллект. Но сами создатели ИИ все чаще говорят: главный вопрос теперь не в том, станет ли нейросеть еще умнее. Важнее понять, сможет ли человек сохранить над ней контроль.
«Открытый Нижний» рассказывал, где применяются нейросети и каким образом регулируется их использование.
Подписывайтесь на наш канал в MAX!
Изображения сгенерированы нейросетью по запросу «Открытого Нижнего»
