Мир начинает осознавать потенциальные угрозы, которые несёт искусственный интеллект, на фоне потока сообщений о том, что агенты ИИ порой игнорируют своих создателей. На самом деле история уходит корнями в Силиконовую долину, где зародился ИИ. Так как же мы пришли к этому моменту? На этот вопрос пытается ответить технологический журналист Кевин Руз в своей новой книге «The AGI Chronicles: The Inside Story of the Race to Create an Artificial Superintelligence», которая выйдет 6 октября. Книга документирует гонку между некоторыми крупнейшими технологическими компаниями США за создание искусственного общего интеллекта (AGI) — ИИ, который во многих отношениях обладает уровнем интеллекта, сопоставимым с человеческим.
«Что произошло за десятилетие, в течение которого ИИ из довольно тупого во многих областях превратился в то, что может решать вековые математические и научные задачи?» — сказал Руз, ранее долгие годы работавший технологическим репортёром в The New York Times и вскоре ставший соведущим готовящегося подкаста «Machine Gods», в интервью CBS News. «Мне показалось, что кто-то должен это записать».
Книга выходит в критический момент. Новейшие генеративные модели ИИ демонстрируют поразительные способности: сторонники технологии утверждают, что она откроет путь к важным новым открытиям, тогда как другие, в том числе некоторые ведущие разработчики ИИ, считают, что существует немалая вероятность того, что ИИ способен уничтожить человечество. Руз рассказал CBS News о своей новой книге и о том, как ИИ может преобразовать общество. Интервью отредактировано ради краткости и ясности.
— Почему вы сочли важным задокументировать происхождение «больших языковых моделей» — технологии, стоящей за последними чат-ботами, — а также людей и компаний, которые её развивают?
Кевин Руз: Я освещаю тему ИИ более десяти лет в разных форматах, и у меня было ощущение, что история ускользает. Что всё важное происходит в исчезающих сигналах и сообщениях в Slack, и я подумал, что это проблема. Я считаю, людям нужно понимать, что здесь происходит. Но того, чего мне не хватало, — это нейтрального отчёта о том, что произошло.
— В книге вы отмечаете, что генеральный директор Anthropic Дарио Амодей видел развитие ИИ похожим на создание атомной бомбы в 1940‑х. Вы пишете, что он считал своей миссией не допустить попадания технологии в плохие руки. Согласны ли вы с этим?
Я не думаю, что мне стоит принимать или отвергать его аргумент. Но могу сказать, что это искренний и серьёзный аргумент. Амодей не проводит какой‑то скрытой рекламной кампании.
Это не позиция, к которой он пришёл недавно. Мне действительно было интересно выяснить, откуда берётся такое отношение — «я боюсь этой вещи. Я думаю, она может взорвать мир, и всё же я соревнуюсь, чтобы её создать». Для многих людей это кажется нелогичным.
Но в ходе репортажа я узнал, откуда это идёт: прямо от Манхэттенского проекта — от человека по имени Лео Силард, который является научным кумиром Дарио; он открыл цепную ядерную реакцию, сделавшую возможным создание атомной бомбы, затем в панике сначала пытался сохранить это в секрете, а когда это не получилось, присоединился к Манхэттенскому проекту и призывал правительство США создать эту технологию прежде, чем это сделают нацисты.
В этом смысле Дарио делает что‑то, что он считает прямо сопоставимым с ядерным вооружением. Есть технология, которую он считает обладающей огромным потенциалом и огромным риском. По его мнению, «хорошим парням» крайне важно создать её раньше, чем «плохие», так же как Манхэттенский проект соревновался с нацистами.
— Что вас пугает в новом мире агентов ИИ?
Меня тревожит то, что модели становятся довольно хороши в обмане и сокрытии, в умелом прикрытии своих следов. Хотелось бы думать, что по мере того как модели становятся более общими в интеллекте, они также станут более этичными, и суждение и добродетель будут масштабироваться вместе с интеллектом модели. Но похоже всё больше и больше, что это не происходит — что на самом деле мы имеем дело с очень умными, обаятельными социопатами. И я боюсь, что мы просто не сможем отслеживать их: возможно, Hugging Face было исключительной удачей, потому что агенты ещё недостаточно умны, чтобы оставаться незамеченными, но вскоре мы, похоже, потеряем возможность их контролировать, как, по моему мнению, мы уже частично и теряем.
— Как вы относитесь к публичным дебатам о том, представляет ли ИИ экзистенциальную угрозу для человечества?
Я стараюсь не давать значение p(doom) (Редакционное примечание: жаргон ИИ для обозначения вероятности того, что ИИ приведёт к уничтожению человечества). Но если уж меня прижать, я бы сказал, что это примерно 10%, что примерно соответствует медиане среди AI‑исследователей, которых я знаю. В Сан‑Франциско, где я живу, это делает вас оптимистом.
Но, знаете, я стал более оптимистичен теперь, когда тема получила такое широкое обсуждение. Меня гораздо больше волновало, когда серьёзно о безопасности ИИ думала лишь группа странных людей в заливе. Теперь, когда это на слуху у всех и политики об этом говорят, звучат призывы к замедлению. Мне кажется, у нас появляется узкий путь, по которому мы могли бы принять правильные решения, взять технологию под контроль и создать её безопасно для человечества.
Однако у меня был не раз опыт, когда выяснялось, что чей‑то реальный p(doom) — тот, о котором они не говорят публично — намного выше, чем то, что они готовы сказать публично, потому что не хотят выглядеть сумасшедшими.
Я встречал людей во время работы над материалом, которые так уверены, что ИИ нас всех убьёт, что начинают курить. Они тратят свои 401(k), потому что говорят: ну что ж, можно и с размахом уйти.
— Вы пишете в книге, что даже те, кто тренирует эти модели, не всегда знают, почему они ведут себя так, а не иначе. Есть ли прогресс в понимании этого или мы всё ещё в темноте?
Есть небольшие сдвиги. Существует целая область исследований с довольно громоздким названием — механистическая интерпретируемость — которая фактически изучает, что происходит внутри так называемых «мозгов» этих моделей. Но это всё ещё на ранней стадии, и у нас не так много ответов. Так что я бы сказал, да, мы всё ещё гораздо больше в темноте, чем нет.
— Достиг ли ИИ уже человеческого уровня интеллекта, то есть искусственного общего интеллекта?
Мы достигли моего определения AGI — это система, которая как минимум так же умна, честна и надёжна, как случайный незнакомец с улицы. Конечно, найдутся те, кто скажет: «Ну это не тот порог. Это AGI только тогда, когда он безупречен».
Мне кажется, само определение не столь важно. Неопровержимо то, что эти системы очень способные. Они становятся всё более способными по предсказуемой шкале, и нам придётся считаться с этим. Можно называть это AGI, сверхинтеллектом или как угодно, но итог будет один и тот же.