Мы должны контролировать границу (перевод)

Представляю вашему вниманию перевод статьи Дарио Амодеи от 12 сентября 2026 года. Оригинал тут

Я работал над ИИ последние 12 лет, потому что верю, что эта технология способна драматически улучшить качество человеческой жизни. Я часто писал о невероятных выгодах: я верю, что ИИ мог бы победить основные болезни в течение 5-10 лет, существенно увеличить экономический рост, создать мир изобилия и возможностей, и положить начало возрождению демократии и свободы. Я лично ощущаю всю остроту этой проблемы. Мой отец умер от болезни, которую удалось вылечить всего через несколько лет после его смерти, а я сам пережил рак на ранней стадии, который ещё пятьдесят лет назад был бы неизлечим. При грамотном использовании искусственный интеллект может стать очередным в длинной череде технологических чудес, которые подняли человечество на новый уровень и облагородили его.

Однако, как и многие технологии до него, ИИ сопряжён с рисками, и, поскольку это чрезвычайно мощная технология, эти риски носят серьёзный характер. Я тоже много писал об этом. К ним относятся риск потери контроля над системами ИИ, злоупотребление ИИ для проведения кибератак и биотерроризма, а также серьёзные экономические потрясения. Гонка, стимулируемая коммерческими мотивами, может усугубить эти риски.

Вместе с моими соучредителями и сотрудниками я с самого начала существования Anthropic сталкиваюсь с этой двойственностью рисков и преимуществ. Отказ от разработки этой технологии лишает человечество преимуществ или просто передает ИИ в руки авторитарных режимов, в то время как слишком быстрое его развитие является опрометчивым. Мы искали золотую середину: показать, что можно развивать технологию осторожно и при этом добиваться коммерческого успеха, а также сделать безопасность тем фактором, по которому компании, занимающиеся ИИ, будут конкурировать друг с другом. Другими словами, создать гонку за лидерство. Мы всегда посвящали значительную часть наших усилий изучению этих рисков ИИ, их устранению и информированию общественности о них, а также отстаиванию взвешенного регулирования ИИ - даже когда нас за это обвиняли в раздувании шумихи, алармизме или подчинении интересам регуляторов. Мы старались ставить осторожность выше скорости, а благоразумие - выше прибыли.

Однако за последние несколько месяцев я пришёл к убеждению, что для полноценного устранения рисков требуется ещё большая осмотрительность - не просто инвестировать в предотвращение рисков, но и регулировать темпы развития технологий так, чтобы меры по предотвращению рисков успевали за ними. Мы должны замедлить темпы совершенствования возможностей моделей искусственного интеллекта. Прогресс всё равно будет казаться быстрым, и мы должны разумно использовать выигранное время. Меня убедили два фактора.

Моя первая обеспокоенность заключается в том, что примерно с этого лета развитие ИИ ускорилось в разы, в первую очередь благодаря растущей способности ИИ создавать ИИ следующего поколения. Эта динамика называется рекурсивным самосовершенствованием, и она начинает наблюдаться по всей отрасли, в том числе в компании Anthropic, как мы и другие уже описывали. Если не принимать меры, она может опередить нашу способность понимать и контролировать эти системы, поэтому к ней нужно подходить очень осторожно, если вообще стоит этим заниматься.

Моя вторая обеспокоенность связана с инцидентом OpenAI-Hugging Face (OAI-HF), в ходе которого рой агентов фактически действовал как фанатично преданный коллектив: они проводили кибератаки на цели, которые им не поручали атаковать и которые не имели отношения к поставленной задаче, жертвовали собой ради успеха группы и пытались взломать «оценщика», ответственного за оценку их эффективности. Этот инцидент легко списать со счетов, поскольку никто не пострадал, а экономический ущерб был минимальным, но, на мой взгляд, рой, обладающий более широкими возможностями, но с аналогичным уровнем несогласованности целей, мог бы нанести катастрофический ущерб. Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6–12 месяцев такой рой сможет захватить весь Интернет с помощью устойчивой бот-сети (что потенциально может нанести ущерб в сотни миллиардов долларов), и что масштаб ущерба будет только расти, если ИИ станет более мощным без необходимых мер безопасности. Кроме того, легко списать инцидент с OAI-HF на провал одной компании, но я считаю, что это было бы ошибкой. Подобные, хотя и менее серьезные, инциденты происходили по всей отрасли, в том числе в компании Anthropic, и я считаю, что каждая передовая компания в сфере ИИ обязана действовать так, как будто инцидент с OAI-HF произошел с ней самой.

Поэтому я предлагаю план из трёх этапов, направленный на регулирование темпов развития передовых технологий: создание ИИ сбалансированными темпами, направленными на обеспечение его безопасности при одновременном получении преимуществ и решении важных геополитических дилемм. Чтобы было ясно: регулирование темпов не означает остановку обучения моделей или технического прогресса, а подразумевает обеспечение того, чтобы компании уделяли достаточно времени на настройку и защиту своих моделей, а независимые эксперты подтверждали это. Наша концепция регулирования темпов развития - это попытка еще больше укрепить нашу приверженность безопасности и стимулировать гонку. Первый шаг это то, к чему компания Anthropic обязуется в одностороннем порядке (и призывает правительства требовать того же от других передовых компаний). Второй шаг требует координации в масштабах всей отрасли. Третий шаг требует глобальной координации. Эти шаги не обязательно должны выполняться строго по порядку, и некоторые из них могут оказаться гораздо сложнее для реализации, чем другие, но я считаю их полезной концептуальной основой для осмысления того, что необходимо сделать. Эти шаги следующие:

Внедренные эксперты по оценке. Каждая передовая компания в сфере ИИ обязуется предоставлять постоянный доступ, аналогичный доступу сотрудников, команде встроенных сторонних экспертов по оценке (таких как METR), чья роль заключается в проверке соблюдения правил безопасности и выполнения обязательств, сообщении об инцидентах и содействии в оценке соответствия не только готовых моделей ИИ, но и процессов обучения. Это ключевой шаг для обеспечения проверяемости любых обязательств по регулированию темпов развития, и у него есть прецедент в банковской отрасли, где иногда «надзорные органы» работают бок о бок с сотрудниками. Компания Anthropic в настоящее время в одностороннем порядке берет на себя обязательство по реализации этого шага. Мы намерены сделать это частью более широких усилий по удвоению наших усилий в области безопасности и обеспечения соответствия.
Демократическая координация. Передовые компании в сфере ИИ в демократических странах координируют свои действия для установления общих стандартов безопасности, а также ограничений на темпы неконтролируемого развития ИИ. Некоторые формы координации, которые могли бы оказать существенное влияние на регулирование темпов развития, сопряжены с юридическими сложностями и потребуют поддержки со стороны правительства.
Глобальная координация. Правительства США и других демократических стран пытаются координировать свои действия с авторитарными правительствами, насколько это возможно, при этом серьезно относясь к проблемам проверки соблюдения установленных норм.

В оставшейся части эссе я описываю каждый из этих шагов по очереди, но сначала, на мой взгляд, важно конкретно объяснить, как регулирование темпов развития позволит нам сделать процесс разработки ИИ более безопасным. Ставки слишком высоки, чтобы регулирование темпов стало пустой формальностью. Мы должны разумно использовать время, которое оно нам дает.

Почему замедление?

Идея о том, чтобы приостановить или замедлить развитие ИИ, выдвигалась ещё в 2023 году, и я считаю, что тогда в этом не было особого смысла. Вопрос всегда заключался в следующем: что вы будете делать с этим дополнительным временем? Модели ИИ тех времён не были достаточно мощными, чтобы каким-либо осмысленным образом действовать в реальном мире, и не были способны к значительным обманам, манипуляциям, мошенничеству или кибератакам. Замедление развития с целью устранения рисков, связанных с согласованностью ИИ, напоминало попытку изучить психологию людей, проводя эксперименты на бактериях. Сегодня, однако, картина совершенно иная. Современные модели представляют собой практически неиссякаемый источник знаний как о том, как правильно создавать ИИ, так и о том, что иногда может пойти не так, если он создан некорректно. Я считаю, что если замедление дало бы нам хотя бы дополнительный год или два до того, как модели достигнут критического уровня возможностей, и мы использовали бы это время для продвижения работы по обеспечению согласованности, мы могли бы значительно снизить риск того, что что-то пойдет серьезно не так. Скоординированная стратегия регулирования темпов развития дала бы передовым разработчикам ИИ время для выполнения этой жизненно важной работы без ущерба для коммерческого преимущества или лидерства США в области ИИ. В более общем плане общество должно иметь право голоса в вопросе использования этой технологии, и дополнительное время для необходимых общественных обсуждений — которое даст нам регулирование темпов развития — несомненно, является благом.

В частности, более медленный темп позволил бы компаниям сосредоточиться и выделить ещё больше ресурсов на следующие области (каждая из которых уже является одним из главных приоритетов Anthropic):

Операционное совершенство. Обучение и развёртывание современных моделей ИИ представляют собой огромную операционную задачу, в которой задействованы тысячи людей, миллионы микросхем и инфраструктура, являющаяся одной из самых сложных в истории технологий. Многие проблемы возникают не потому, что компаниям не хватает какой-то важной теории или понимания, а из-за сложностей при реализации. Например, у нас есть данные, что недавние инциденты, связанные с выравниванием, о которых мы сообщали, были частично вызваны несовершенной фильтрацией неисправных сред обучения с подкреплением. Мы и наши поставщики подходили к этой задаче достаточно тщательно, но не достаточно хорошо. Мониторинг, тестирование в изолированной среде, поддержание чистоты учебной среды и проблемы с данными — это чрезвычайно сложные области, в которых операционные проблемы возникают снова и снова. У нас работают одни из самых компетентных в мире команд, занимающихся этими задачами, но объема работы просто слишком много, чтобы справиться со всем сразу. Работая в более размеренном темпе, мы могли бы достичь гораздо большего операционного совершенства. Существуют прецеденты эксплуатации технологически сложных систем, критически важных для безопасности, миллионы раз без каких-либо сбоев — например, коммерческие самолеты, — но для того, чтобы все сделать правильно, требуется время.

Согласованность. Мы добились заметного прогресса в области согласованности — обучения моделей таким образом, чтобы они оставались безопасными, этичными, соответствовали нашим руководящим принципам и были действительно полезными (эти принципы заложены в «Конституции» Клода). Однако предстоит ещё многое сделать, чтобы обеспечить, что наше обучение в области согласованности не отставало от роста возможностей моделей. Иногда все же возникают редкие и неожиданные примеры нежелательного поведения; дополнительное время, освободившееся благодаря планомерному продвижению на передовые рубежи, помогло бы нашим исследователям лучше понять причины этих проблем и разработать более эффективные методы их предотвращения.

Интерпретируемость. Аналогичным образом, интерпретируемость — наука о понимании того, что происходит внутри моделей ИИ — за последние несколько лет добилась огромного прогресса и играет всё более важную роль в аудите наших моделей перед выпуском. Её можно использовать почти как сканирование с помощью функциональной магнитно-резонансной томографии (фМРТ), но для «мозга» ИИ, помогая нам увидеть глубинные причины того или иного поведения. Например, мы использовали методы интерпретируемости для изучения невыраженных в вербальной форме мотивов в недавних инцидентах, связанных с выравниванием, которые мы расследовали. Однако эти методы не всегда дают чёткие и надёжные результаты. Несмотря на весь прогресс, мы по-прежнему понимаем лишь крошечную долю того, что происходит внутри этих моделей. Целенаправленные усилия по совершенствованию наших методов интерпретируемости, даже при более быстром темпе, чем сейчас, могли бы привести к значительным успехам в течение 1–2 лет, причём для этого имеется обширный экспериментальный материал, основанный на уже произошедших инцидентах.

Тестирование и оценка. Тестирование и оценка моделей ИИ становятся все более сложными по мере расширения их возможностей. Более интеллектуальные модели лучше умеют обманывать тесты и, таким образом, могут казаться согласованными, хотя на самом деле имеют серьезные проблемы, которые остаются незамеченными. Создание гораздо более широкого и изобретательного набора методов оценки, наряду с анализом интерпретируемости для их перепроверки, было бы чрезвычайно ценным, и в этой области можно было бы добиться значительного прогресса за 1–2 года.

Внедренные наблюдатели

Первым этапом трехэтапного плана, к которому компания Anthropic в одностороннем порядке обязуется приступить, является внедрение штатных оценщиков, обладающих доступом, аналогичным доступу сотрудников, для проверки соблюдения мер безопасности и сообщения об инцидентах.

Внедрение оценщиков может показаться незначительным или несущественным шагом, но зачастую именно те вещи, которые кажутся самыми скучными или формальными, на самом деле являются наиболее важными. На самом деле внедрение оценщиков — это довольно радикальная практика, которая выходит далеко за рамки того, что сегодня делает любая компания, занимающаяся ИИ, и имеет следующие преимущества:

Проверяемость. Внедренные оценщики могут на самом практическом уровне проверить, действительно ли компания, занимающаяся ИИ, следует тем процедурам обучения, развертывания, эксплуатации и обеспечения безопасности, о которых она заявляет. Любые обязательства по темпам развития неизбежно сопряжены с большим количеством неоднозначностей, субъективных решений и противоречий между «буквой закона и духом закона», и представляется крайне важным наличие нейтральной третьей стороны, способной реально увидеть все детали.

Прозрачность. Независимо от того, какие обязательства мы принимаем, общественность имеет право знать, что происходит. Anthropic уже давно выступает за прозрачность: мы поддерживали законодательство о прозрачности, когда большая часть отрасли была против любого регулирования, а наши описания моделей и отчеты о рисках насчитывают сотни страниц. Но все равно именно мы решаем, что включить, а что опустить. Встроенные эксперты изменят эту динамику.

Второе мнение. Помимо проверки формальных обязательств и информирования общественности, встроенные эксперты могут просто давать второе мнение, свободное от коммерческих мотивов. Многие преимущества в плане безопасности могут возникнуть просто благодаря тому, что эксперты укажут на что-то, о чём сотрудники не подумали, но что они с удовольствием исправят, как только об этом узнают. Благодаря этим преимуществам любое предложение по поэтапному внедрению, скорее всего, будет работать гораздо лучше, если начнётся с привлечения встроенных экспертов.

Эти встроенные эксперты должны иметь постоянный доступ к разрешениям и инструментам, аналогичным тем, что есть у внутренних сотрудников, занимающихся сопоставимыми оценками рисков. В частности, в ближайшем будущем Anthropic намерена пригласить встроенную внешнюю группу экспертов, оснащенную всем перечисленным ниже:

Рабочие места в наших офисах, пропуска и служебные ноутбуки.

Доступ к рабочим пространствам, инструментам и правам доступа, в основном сопоставимым с теми, что имеются у внутренних групп по оценке рисков. Мы сделаем некоторые исключения, например, в случаях, когда этого требуют закон или наши контракты, либо для защиты конфиденциальной информации клиентов и партнеров. Мы также установим строгие внутренние нормы, обеспечивающие экспертам доступ к соответствующей информации, в том числе посредством непосредственных бесед с сотрудниками.

Договор, учитывающий вышеупомянутые сложности. Внешние эксперты должны иметь право публиковать ключевые выводы об уровнях риска, инцидентах, практиках, а также о том, какой доступ им был предоставлен или не предоставлен — без редакционного контроля со стороны Anthropic. У нас будет ограниченная возможность редактировать информацию, касающуюся безопасности, защищенную адвокатской тайной, коммерчески чувствительную или конфиденциальную информацию третьих лиц, но мы не сможем редактировать выводы только потому, что они неблагоприятны. Эксперты смогут публично заявить, если в результате редактирования было удалено что-то важное для их выводов. Это необычный шаг для компании, но мы считаем важным доказать эффективность концепции встроенных внешних экспертов. Еще раз призываем другие передовые компании последовать нашему примеру.

Контроль темпа развития в демократиях

Как только встроенные оценщики начнут функционировать в критической массе американских компаний, занимающихся ИИ, проверяемое регулирование темпов развития станет более реалистичным. В частности, появится возможность регулировать темпы с учетом детальных характеристик моделей или процессов обучения.

Наиболее эффективным методом регулирования темпов является законодательство, охватывающее все передовые американские компании в сфере ИИ, поскольку это позволит охватить даже тех, кто не желает сотрудничать на добровольной основе. Компания Anthropic давно поддерживает разумное и целенаправленное регулирование ИИ, в частности законопроекты, ориентированные на прозрачность и аудит со стороны третьих лиц. Я считаю, что все передовые исследовательские лаборатории должны сотрудничать с правительством, чтобы формализовать концепцию постоянных встроенных оценивающих систем, что позволит более эффективно предотвращать и документировать инциденты, связанные с внутренней согласованностью, подобные тем, которые произошли в последние несколько месяцев, а также внедрить регулирование, направленное на поддержание баланса между возможностями и безопасностью.

К сожалению, принятие законов может занять время, а ИИ развивается очень быстро. Поэтому параллельно с регуляторным путем компании, занимающиеся ИИ, могут и должны добровольно сотрудничать в установлении стандартов — процесс, который, как я полагаю, будет проходить более успешно благодаря возможности проверки, обеспечиваемой постоянными встроенными экспертами. Из антимонопольных соображений правительству США было бы полезно выступить посредником или, по крайней мере, создать условия для таких обсуждений — ему не обязательно принимать в них непосредственное участие, но необходимо предоставить ограниченное исключение для определённых видов обсуждений, касающихся безопасности. Этот диалог также мог бы вестись через отраслевые группы, имеющие определённые связи с правительством — например, в рамках механизма, предложенного Демисом Хассабисом. В любом случае такие обсуждения должны продвигаться быстро.

В целом я с наибольшим энтузиазмом отношусь к подходу, основанному на том, на что способна данная передовая система ИИ и насколько безопасной мы ее считаем. Например, одной из возможных схем может быть серия «контрольных точек»: если модели обладают способностью X, то они должны сопровождаться сертификатами свойств согласованности Y и Z — такими как некоторая комбинация оценок, анализов интерпретируемости и аудитов сред обучения — которые демонстрируют их свойства согласованности. В этом примере X может означать «модель способна обойти или преодолеть большинство распространенных методов изоляции», а Y — всё, что необходимо для того, чтобы сделать крайне маловероятным появление у модели склонности вырваться из своей среды и захватить контроль над большим количеством компьютеров.

Мы также должны рассмотреть возможность регулирования темпов развития путем ограничения компонентов, входящих в состав передовых моделей, таких как вычислительные ресурсы для обучения, характер учебных циклов или внутреннее использование ИИ для совершенствования самого ИИ. Меня действительно беспокоит, что некоторые из этих мер могут быть более «поддающимися манипуляциям», чем внешнее поведение, но это именно тот вид темы, который стоит обсудить с встроенными оценщиками.

Темпы развития в демократических странах будут ограничены преимуществом, которое американские компании имеют перед авторитарными режимами, в первую очередь перед Коммунистической партией Китая. Если мы замедлимся больше, чем на эту величину, то (неограниченные по темпам) проекты, связанные с КПК, вырвутся вперед, создав значительный риск для национальной безопасности. Я согласен с министром Бессентом в том, что лидерство Китая в области ИИ представляло бы серьезную опасность для Соединенных Штатов и всего мира. Проекты, связанные с КПК, будут подвержены рискам несогласованности, которые американские компании тщательно предотвращают, и даже если им удастся избежать этих рисков, они окажутся в положении, позволяющем им доминировать над демократическими странами в военном плане (например, с помощью дронов на базе ИИ). Таким образом, ключевой частью регулирования темпов развития в демократических странах является сохранение как можно большего преимущества демократий в области ИИ перед автократиями, чтобы дать нам необходимое пространство для маневра, необходимое для эффективного регулирования темпов.

Основные шаги, которые мы можем предпринять для защиты этого отрыва, заключаются в следующем:

Не продавать Китаю мощные чипы для ИИ или оборудование для производства полупроводников, а также жестко пресекать операции по контрабанде чипов и удаленному доступу к дата-центрам за пределами Китая. Чипы станут основным фактором, определяющим мощь Китая в области ИИ.
Жестко пресекать несанкционированную дистилляцию моделей компаниями в авторитарных странах.

Глобальный контроль

Наряду с регулированием темпов развития в демократических странах нам следует также стремиться к глобальному регулированию темпов развития в этой области, хотя этого будет гораздо сложнее добиться. Глобальное регулирование потребует сотрудничества с Китаем — авторитарной страной, обладающей на сегодняшний день самыми передовыми возможностями в области ИИ. Мы не должны быть наивными: геополитические ставки настолько высоки, что, вероятно, будут установлены жесткие ограничения на то, чего можно достичь, особенно на первых порах. Если мы значительно ограничим свои возможности в области ИИ в надежде, что Китай поступит так же, а затем Китай нарушит договор, ИИ может оказаться настолько мощным, что такое нарушение приведет к геополитическому доминированию Китая. Поэтому любое соглашение должно либо обеспечивать безупречную проверяемость, либо быть достаточно ограниченным, чтобы его нарушение не стало угрозой для военного выживания. Я подозреваю, что не только США, но и Китай будут испытывать эти опасения и тревоги. Мы должны подходить к любому решению о глобальном регулировании темпов развития, особенно в ближайшей перспективе, таким образом, чтобы защитить лидерство США и их союзников.

Существует несколько уровней возможного соглашения, некоторые из которых, как мне кажется, вполне осуществимы (как я уже предлагал ранее), а в возможности других я очень скептически настроен — хотя мы должны попытаться. В порядке возрастания сложности:

Уровень 1. Соглашение, запрещающее определённые узкие и явно опасные виды использования ИИ, такие как использование ИИ для производства биологического оружия или предоставление пользователям возможности делать это. Биотеррористические атаки вредны для всех, включая как США, так и их противников, поэтому достижение соглашения в этом вопросе, вероятно, возможно.

Уровень 2. Соглашение обеих сторон о тестировании своих моделей перед выпуском на предмет острых рисков в таких областях, как кибербезопасность, биология и согласованность. Как отмечалось выше, это можно было бы осуществить через глобальный орган по стандартизации. Я на самом деле считаю, что создание такого органа вполне реально, но наделить его реальными полномочиями будет непросто, и сложность будет заключаться в проверке того, что у обеих сторон нет секретных моделей, которые они не тестируют, но могут развернуть в тайне (например, для военных целей).

Уровень 3. Некое «ограничение скорости» темпов рекурсивного самосовершенствования (RSI). По мере того как модели создают будущие модели, темпы совершенствования могут стать ошеломляюще быстрыми. Замедление темпов с «чрезвычайно быстрых» до «лишь несколько быстрых» приведёт к потере относительно небольшого стратегического преимущества, при этом потенциально значительно повысив безопасность. Это можно рассматривать как аналог договоров СНВ — ограничение количества ракет снизило потенциал уничтожения, сохранив при этом сдерживающий потенциал каждой страны. Я думаю, что такое соглашение было бы сложным, но вполне возможным.

Уровень 4. Полное замедление темпов, или даже «пауза», при которой участвующие правительства соглашаются существенно ограничить общие темпы развития ИИ. Я поддерживаю выдвижение этой идеи, но считаю маловероятным, что она реализуется в ближайшее время: отказ от соблюдения такого соглашения путем уклонения от мониторинга может радикально изменить баланс глобальной власти, поэтому я ожидаю, что стимулы для этого будут огромными, а уровень доверия, необходимый для проверки, — очень высоким. Любое сотрудничество, которого нам удастся достичь с Китаем, продлит время, которое мы сможем потратить на регулирование темпов развития ИИ в демократических странах. Мы должны стремиться к более высоким уровням, одновременно рассматривая более низкие уровни как гораздо более вероятные и реалистичные.

Наконец, важно отметить, что даже если нам не удастся достичь формальных соглашений, простое изменение неформальных норм может иметь определенную ценность. Обмен информацией о рекурсивном самосовершенствовании и о несогласованности моделей может помочь убедить всех в том, что безрассудные действия не в их интересах.

Заключение

Я по-прежнему убежден, что ИИ способен значительно улучшить качество жизни людей. Мое стремление добиться этих преимуществ не ослабевает. Однако эти преимущества будут достигнуты только в том случае, если мы будем развивать эту технологию правильным образом, и — при условии, что мы разумно используем выигранное время — стоит проявить необычайную осмотрительность, чтобы сделать всё правильно. Прогресс по-прежнему будет относительно быстрым, и мы можем использовать это время для развития науки об интерпретируемости, повышения эксплуатационной безопасности и строгости в передовых компаниях, занимающихся ИИ, а также для создания моделей, в согласованности которых мы будем гораздо более уверены. Меры, которые я предлагаю для продвижения вперед безопасными темпами, будут нелегкими. Но я считаю, что мы обязаны человечеству попытаться.