Это вольный перевод статьи профессоров Пристонского университета, опубликованной 15 апреля 2025 года.
Первоисточник

Введение

Мы рассматриваем следующие типы рисков: аварии, «гонка вооружений» (ведущая к авариям), неправильное использование, несоответствие и некритичные, но системные риски.

Мы уже рассматривали вероятные аварии в предыдущих частях статьи. Мы считаем, что, как и в случае других технологий, «внедренцы» и разработчики следует делать акцент на ответственности за смягчение последствий от несчастных случаев в системах ИИ. Их эффективность в снижении последствий зависит от мотивов, а также от прогресса в методах смягчения. В большинстве случаев условия рынка обеспечат адекватный стимул, однако регулирование безопасности должно заполнять остающиеся пробелы. Касательно методов смягчения мы рассмотрели развитие исследований в области управления ИИ.

Есть несколько причин, почему оптимистичный сценарий может не быть воплощён в жизнь. Во-первых, может начаться «гонка вооружений» между ИИ в силу их огромных конкурентных преимуществ. Обсудим это ниже.

Во-вторых, компания, внедряющая ИИ, может быть настолько большой и мощной, что при плохом управлении рисками вокруг ИИ она может развалить как свой бизнес, так и всю цивилизацию. Например, некорректное поведение ИИ-агента, который контролирует почти каждое потребительское устройство, может привести к неимоверно масштабной потере данных. Концентрация власти в одном месте является большей проблемой, чем вероятность аварии у ИИ, именно поэтому наш подход к политике управления подчеркивает необходимость устойчивости и децентрализации (см. часть 4)

Наконец, возможно, сбой управления ИИ может привести к катастрофическому риску: ИИ-агент «сбежит» из контура, начнёт неконтролируемо распространять сам себя и т.п. Мы рассматриваем это как риск несоответствия, который обсудим ниже.

В оставшейся части статьи мы рассмотрим ранее перечисленные типы рисков через призму ИИ как обыденной технологии.

Гонка вооружений – проблема, старая как мир

Гонка вооружений ИИ — это сценарий, в котором два или более конкурентов — компании, государственные или военные организации развертывают все более мощный ИИ с недостаточным надзором и контролем. Опасность заключается в том, что более безопасные субъекты будут вытеснены более рискованными. По причинам, описанным в предыдущих частях, мы беспокоимся не столько о гонке вооружений при разработке методов ИИ, сколько о самом процессе развёртывания ИИ-приложений.

(!) Одно важное предостережение: мы явно не рассматриваем применение ИИ в военно-промышленном комплексе, поскольку такое рассмотрение должно включать в себя секретные сведения и более глубокий анализ, что на сегодня вне рамок наших возможностей.

Давайте рассмотрим коммерческие организации. «Гонка по нисходящей» в части безопасности исторически популярна в самых разнях отраслях и была тщательно изучена; она также хорошо поддаётся правильным регуляторным вмешательствам. Примерами являются пожарная безопасность в швейной промышленности США (начало 20 века), как безопасность пищевых продуктов, так и безопасность работников в мясной промышленности США (конец 19 и начало 20 веков), пароходная промышленность США (19 век), горнодобывающая промышленность (19 и начало 20 веков) и авиационная промышленность (начало 20 века).

Эти гонки произошли, потому что компании смогли экстернализировать издержки плохой безопасности, что приводило к падениям рынка. Потребителям сложно оценить безопасность продукции (а работникам – безопасность рабочего места), поэтому провалы на рынке – норма при отсутствии регулирования. Но как только регулирование заставляет компании интернализировать издержки своих мер безопасности, гонка прекращается. Существует множество потенциальных стратегий регулирования, в том числе ориентированные на процессы (стандарты, аудит и инспекции), результаты (ответственность) и исправление асимметрии информации (маркировка и сертификация).

ИИ не является чем-то исключительным. Беспилотные автомобили являются хорошим примером взаимосвязи безопасности и конкурентного успеха. Рассмотрим четыре крупные компании с различными методами обеспечения безопасности.

У Waymo сильная культура безопасности, которая подчёркивает консервативное внедрение и управляемую прозрачность. В свою очередь, она является лидером по безопасности. Cruise были более агрессивны в попытках внедрения и имели наихудшие результаты безопасности. Tesla также были агрессивны и неоднократно обвинялись в скрытом использовании своих клиентов в качестве бета-тестировщиков. Наконец, у подразделения Uber по беспилотному вождению была печально известная слабая культура безопасности.

Успех на рынке тесно связан с безопасностью. Cruise должен закрыться в 2025 году, в то время как Uber был вынужден продать свое подразделение по беспилотному вождению. Tesla сталкивается с судебными исками и контролем со стороны регулирующих органов, и еще неизвестно, во сколько обойдется компании ее отношение к безопасности. Мы считаем, что эти корреляции являются причинно-следственными. Отзыв лицензии Cruise был большой частью причины, по которой он отстал от Waymo, а безопасность также была фактором неудачи беспилотного вождения Uber.

Регулирование сыграло небольшую, но полезную роль. Политики как на федеральном, так и на государственном/местном уровнях проявили дальновидность, распознав потенциал технологии, и приняли легкую и полицентричную стратегию регулирования (несколько регуляторов вместо одного). В совокупности они сосредоточились на надзоре, установлении стандартов и сборе доказательств, при этом постоянная угроза отзыва лицензии действовала как проверка поведения компаний.

Аналогично, в авиационной отрасли интеграция ИИ была привязана к существующим стандартам безопасности вместо того, чтобы снизить планку для стимулирования внедрения ИИ — в первую очередь из-за возможности регулирующих органов наказывать компании, которые не соблюдают стандарты безопасности.

Короче говоря, гонка ИИ может иметь место, но она специфична для области и должна решаться с помощью отраслевых правил.

В качестве примера области, в которой все произошло диаметрально противоположно, чем в беспилотных автомобилях или авиации, рассмотрим социальные сети. Рекомендательные алгоритмы, которые генерируют ленты контента, являются своего рода ИИ. Их обвиняли во многих социальных бедах, и компании, возможно, недооценили безопасность при разработке и развертывании этих алгоритмических систем. Также наблюдается четкая динамика гонки вооружений, когда TikTok оказывает давление на конкурентов, чтобы сделать свои ленты более авторитетным. Возможно, рыночных сил было недостаточно, чтобы привести доходы в соответствие с общественной выгодой; что еще хуже, регулирующие органы действовали медленно. Каковы причины этого?

Одно существенное различие между социальными сетями и транспортом заключается в том, что при возникновении вреда приписать его сбоям продукта относительно просто в случае транспорта, что наносит немедленный ущерб репутации компании. Но атрибуция чрезвычайно сложна в случае социальных сетей, и даже исследования остаются неубедительными и спорными. Второе различие между областями заключается в том, что у нас было более столетия, чтобы разработать стандарты и ожидания относительно безопасности транспорта. В первые десятилетия автомобилестроения безопасность не считалась обязанностью производителей.

ИИ достаточно широк в части границ применения, так что некоторые из его будущих приложений будут больше похожи на транспорт, в то время как другие будут больше похожи на социальные сети. Это показывает важность упреждающего сбора доказательств и прозрачности в новых секторах и приложениях, управляемых ИИ. Мы рассмотрим это в части 4. Она также показывает важность «упреждающей этики ИИ» — выявления этических проблем как можно раньше в жизненном цикле новых технологий, разработки норм и стандартов и их использования для активного формирования внедрения технологий и минимизации вероятности гонки вооружений.

Одной из причин, по которой регулирование безопасности может быть сложнее в случае ИИ, является то, что если принятие происходит настолько быстро, что регулирующие органы не смогут вмешаться, пока не станет слишком поздно. До сих пор мы не видели примеров быстрого принятия ИИ в последовательных задачах, даже при отсутствии регулирования, и модель обратной связи, которую мы представили в Части I, может объяснить, почему. Скорость принятия новых приложений ИИ останется ключевым показателем для отслеживания.

В то же время медленный темп регулирования является проблемой даже без какого-либо будущего ускорения скорости распространения. Мы обсудим эту «проблему темпа» в Части IV.

Давайте теперь рассмотрим конкуренцию между странами. Будет ли конкурентное давление на правительства, чтобы они заняли выжидательную позицию к безопасности ИИ?

Опять же, наше сообщение заключается в том, что это не новая проблема. Компромисс между инновациями и регулированием является повторяющейся дилеммой для любого государства. До сих пор мы видим разительные различия в подходах, например, ЕС предпочитает работать на упреждение (Общий регламент защиты данных, Закон о цифровых услугах, Закон о цифровых рынках и Закон ЕС об ИИ), а США предпочитают регулировать только после того, как становится известным вред или сбои рынка.

Несмотря на резкую риторику гонки вооружений между США и Китаем, неясно, замедлилось ли регулирование ИИ в какой-либо из стран. В США только в 2024 году в законодательные органы штатов было внесено 700 законопроектов, связанных с ИИ, и десятки из них были приняты. Как мы указывали в предыдущих частях, большинство секторов с высоким уровнем риска жестко регулируются способами, которые применяются независимо от того, используется ИИ или нет. Те, кто утверждает, что регулирование ИИ — это «Дикий Запад», склонны преувеличивать узкий, ориентированный на модель тип регулирования. По нашему мнению, акцент регуляторов на использовании ИИ вместо разработки является уместным (за исключением таких исключений, как требования прозрачности, которые мы обсудим ниже).

Неспособность адекватно регулировать безопасное внедрение приведет к негативным последствиям из-за аварий, в первую очередь, на местном уровне, в отличие от компаний со слабой культурой безопасности, которые потенциально могут экстернализировать расходы на безопасность. Таким образом, нет прямой причины ожидать гонки вооружений между странами. Обратите внимание, что, поскольку в этом разделе нас интересуют аварии, а не нецелевое использование, кибератаки на иностранные государства выходят за рамки. Мы обсудим нецелевое использование в следующем разделе.

Аналогия с ядерными технологиями может прояснить это. ИИ часто сравнивают с ядерным оружием. Но если мы не говорим о рисках внедрения ИИ в ВПК, это неправильная аналогия. Что касается беспокойства по поводу аварий из-за внедрения приложений ИИ, то правильной аналогией является ядерная энергетика. Разница между ядерным оружием и ядерной энергетикой наглядно иллюстрирует нашу точку зрения — хотя и была гонка вооружений в области ядерного оружия, не было эквивалента в ядерной энергетике. Фактически, поскольку влияние на безопасность ощущалось локально, технология вызвала мощную ответную реакцию во многих странах, которая, как обычно считается, серьезно ограничила ее потенциал.

Теоретически возможно, что политики в контексте конфликта великих держав предпочтут нести расходы на безопасность локально, чтобы гарантировать, что их отрасль ИИ станет глобальным победителем. Опять же, сосредоточившись на регулировании внедрения, а не на разработке, в настоящее время нет никаких признаков того, что это происходит. Риторика гонки вооружений США и Китая была в значительной степени сосредоточена на разработке модели (изобретении).

Защита от нецелевого использования должна быть расположена ниже по уровню от моделей

Согласование моделей рассматривается как основной инструмент защиты от их неправильного использования. Сейчас это достигается благодаря «файн-тюнингу» после обучения либо человеком, либо другой модели ИИ. К сожалению, на сегодняшний день это способ, который не позволяет достичь приемлемых результатов. Мы утверждаем, что это ограничение является неотъемлемым и вряд ли будет исправлено; поэтому основная защита от неправильного использования должна находиться в другом месте.

Основная проблема заключается в зависимости от контекста – того, чего на сегодняшний день не хватает моделям.

Рассмотрим злоумышленника, желающего провести атаку на сотрудника с помощью ИИ и фишингового письма. Цепочка атаки может включать множество этапов: сканирование профилей в социальных сетях на предмет личной информации, выявление целей, которые опубликовали личную информацию в открытом доступе в сети, создание персонализированных фишинговых сообщений и использование скомпрометированных учетных записей с использованием собранных учетных данных.

Ни одна из этих отдельных задач по отдельности не является вредоносной. Всю систему делает вредоносной намерение злоумышленника, а то, как это намерение составлена, не находится в модели ИИ. Модель, которую просят написать убедительное письмо, априори не может сделать вывод, используется ли она для маркетинга или фишинга, поэтому вмешательства на уровне модели не могут быть эффективными.

Данная закономерность прослеживается часто: попытка создать модель ИИ, которую нельзя будет использовать не по назначению, похожа на попытку создать компьютер, который нельзя будет использовать для плохих целей. Меры безопасности на уровне модели будут либо слишком ограничительными (что не позволит использовать их в полезных целях), либо неэффективными против противников, которые могут перенаправить, казалось бы, безобидные возможности во вред.

Согласование моделей кажется естественной защитой, если мы думаем о модели ИИ как о человекоподобной системе, для которой мы можем допустить принятие решений по безопасности. Но для того, чтобы это работало хорошо, модели необходимо предоставить большой объем данных о пользователе и контексте — например, наличие обширного доступа к персональным данным пользователя сделает более качественными суждения о намерениях пользователя. Но, с другой стороны, такая архитектура нарушает один из основных принципов кибербезопасности (минимальные привилегии), и вводит новый риск: утечка персональных данных.

Мы не против согласования моделей. Оно оказалось эффективным для снижения вредоносных или предвзятых выходных данных языковых моделей и сыграло важную роль в их коммерческом внедрении. Согласование также может создавать трения с лицами, представляющими случайную угрозу.

Тем не менее, учитывая, что защиты на уровне модели недостаточно для предотвращения несанкционированного использования, защита должна быть сосредоточена на более глубоких слоях, где злоумышленники фактически используют системы ИИ. Эти защиты часто будут похожи на существующие защиты от угроз, не связанных с ИИ, адаптированные и усиленные для атак с поддержкой ИИ.

Рассмотрим пример фишинга с другой стороны. Наиболее эффективной защитой являются не ограничения на состав электронных писем (которые могут помешать законному использованию), а скорее системы сканирования и фильтрации электронных писем, которые обнаруживают подозрительные шаблоны, защита на уровне браузера от вредоносных веб-сайтов, функции безопасности операционной системы, которые предотвращают несанкционированный доступ, а также обучение пользователей азам информационной безопасности.

Ни одна из них не подразумевает принятия мер против ИИ, используемого для создания фишинговых писем — методы развивались на протяжении десятилетий, чтобы стать эффективными против злоумышленников-людей. Их можно и нужно улучшать для борьбы с атаками с поддержкой ИИ, но фундаментальный подход остается в силе.

Аналогичные закономерности сохраняются и в других областях: защита от киберугроз с использованием ИИ требует развития существующих программ обнаружения уязвимостей, а не попыток ограничить возможности ИИ в источнике проблем.

ИИ полезен для обороны

Вместо того чтобы рассматривать возможности ИИ исключительно как источник риска, стоит признать его потенциал защиты. В кибербезопасности ИИ уже усиливает оборонительные возможности за счет автоматического обнаружения уязвимостей, анализа угроз и мониторинга поверхности атаки.

Появление мощных инструментов ИИ может изменить паритет в обе стороны. К примеру, сторона защиты могут использовать ИИ для систематического исследования своих собственных систем, находя и устраняя 0-day до того, как злоумышленники смогут ими воспользоваться.

Например, Google недавно интегрировала языковые модели в свои инструменты фаззинга (также известное как тестирование мусорными данными – техника тестирования, заключающаяся в передаче приложению на вход неправильных, неожиданных или случайных данных. – прим. пер.) для тестирования программного обеспечения с открытым исходным кодом, что позволяет им обнаруживать потенциальные проблемы безопасности более эффективно по сравнению с традиционными методами.

Схожая закономерность наблюдается и в других областях. В биологической безопасности ИИ может улучшить системы скрининга для обнаружения опасных последовательностей. В модерации контента он может помочь выявить скоординированные операции влияния на общественное мнение. Эти защитные приложения показывают, почему ограничение разработки ИИ может иметь обратный эффект — нам нужны мощные системы ИИ на «обороняющейся» стороне для противодействия угрозам, поддерживаемым ИИ. Если мы выровняем языковые модели так, что они будут бесполезны для этих задач (например, поиска ошибок в критической инфраструктуре), защитники потеряют доступ к этим мощным системам. Но мотивированные противники могут обучить свои собственные инструменты ИИ для таких атак, что приведет к увеличению наступательных возможностей без соответствующего увеличения оборонительных.

Вместо оценки рисков ИИ исключительно с точки зрения наступательных возможностей, мы должны сосредоточиться на таких показателях, как баланс нападения и защиты в каждой области.

Несогласованность как спекулятивный риск

«Несогласованность» — это когда ИИ действует против намерений его разработчика или пользователя. (Термин «согласованность» используется во многих разных смыслах; здесь мы откладываем в сторону другие определения.) В отличие от сценариев неправильного использования, здесь нет пользователя, действующего со злым умыслом. В отличие от несчастных случаев, система работает так, как было задумано или предписано, но сама конструкция или команда не соответствуют намерениям разработчика или пользователя из-за проблемы полного и правильного указания целей. И в отличие от повседневных случаев несогласованности, таких как токсичные результаты в чат-боте (пример чат-бота Bing на Reddit), нас здесь интересует несогласованность продвинутого ИИ, вызывающая катастрофический или экзистенциальный вред.

По нашему мнению, основная защита от несогласованности, опять же, лежит ниже по течению. Защита, необходимая от нецелевого использования, которую мы обсуждали ранее — от укрепления критической инфраструктуры до улучшения кибербезопасности — также будет служить защитой от потенциальных рисков несогласованности.

С точки зрения ИИ как обыденной технологии, несогласованность является (несомненно) самым спекулятивным из рисков, которые мы обсуждаем. Но что такое спекулятивный риск — разве не все риски спекулятивны? Разница сводится к двум типам неопределенности и, соответственно, различным интерпретациям вероятности.

В начале 2025 года астрономы оценили, что вероятность столкновения астероида YR4 с Землей в 2032 году составляет около 2%, она отражала неопределенность в измерениях. Фактические шансы столкновения (при отсутствии вмешательства) в таких сценариях составляют либо 0%, либо 100%. Дальнейшие измерения разрешили эту «эпистемическую» (относящуюся к знаниям, способам существования знаний) неопределенность в случае YR4. И наоборот, когда аналитик предсказывает, что риск ядерной войны в следующем десятилетии составит (скажем) 10%, число в значительной степени отражает стохастическую неопределенность, возникающую из-за неизвестности того, как будет развиваться будущее, и относительно маловероятно, что она будет разрешена дальнейшими наблюдениями.

Под спекулятивными рисками мы подразумеваем те, для которых существует эпистемическая неопределенность относительно того, равен ли истинный риск нулю, — неопределенность, которая потенциально может быть разрешена с помощью дальнейших наблюдений или исследований. Воздействие удара астероида YR4 было спекулятивным риском, а ядерная война — нет.

Чтобы проиллюстрировать, почему рассматриваемое несоответствие является спекулятивным риском, рассмотрим известный мысленный эксперимент, изначально призванный продемонстрировать опасности несоответствия. Он включает в себя «максимизатор скрепок»: ИИ, цель которого — сделать как можно больше скрепок. Проблема в том, что ИИ воспримет цель буквально: он поймет, что приобретение власти и влияния в мире и взятие под контроль всех мировых ресурсов поможет ему достичь этой цели. Когда он станет всемогущим, он может присвоить все мировые ресурсы, включая те, которые необходимы для выживания человечества, для производства скрепок.

Страх, что системы ИИ могут катастрофически неверно истолковать команды, основан на сомнительных предположениях о том, как технология внедряется в реальном мире. Задолго до того, как системе будет предоставлен доступ к важным решениям, ей необходимо будет продемонстрировать надежную работу в менее критических контекстах. Любая система, которая интерпретирует команды слишком буквально или лишена здравого смысла, провалит эти ранние тесты.

Рассмотрим более простой случай: роботу поручено «как можно быстрее достать скрепки из магазина». Система, которая интерпретировала это буквально, могла бы игнорировать правила дорожного движения или попытаться совершить кражу. Такое поведение приведет к немедленному отключению и перепроектированию. Путь к внедрению по своей сути требует демонстрации надлежащего поведения в ситуациях, которые становятся все более важными. Это не счастливая случайность, а фундаментальная особенность того, как организации внедряют технологию.

Более сложная версия этой проблемы основана на концепции обманчивого согласования: это относится к системе, которая кажется выровненной во время оценки или на ранних этапах развертывания, но проявляет вредоносное поведение, как только приобретает достаточную мощность. Определенный уровень обманчивых явлений уже наблюдался в ведущих моделях ИИ.

Согласно взгляду на сверхразум, обманчивое согласование — это бомба замедленного действия — будучи сверхразумной, система легко сможет победить любые попытки человека обнаружить, действительно ли она согласована, и будет ждать своего часа. Но, с точки зрения технологии обман — это просто инженерная проблема, хотя и важная, которую следует решать во время разработки и внедрения. Действительно, это уже стандартная часть оценки безопасности мощных моделей ИИ.

Важно, что ИИ полезен в этом процессе, и достижения в области ИИ не только позволяют обманывать, но и улучшают обнаружение обмана. Как и в случае с кибербезопасностью, у защитника есть много асимметричных преимуществ, включая возможность исследовать внутренние компоненты целевой системы (насколько полезно это преимущество, зависит от того, как спроектирована система и насколько мы инвестируем в техники интерпретируемости). Еще одним преимуществом является эшелонированная защита, и многие защиты не только от неправильного использования, но и от несогласованного ИИ будут располагаться ниже по потоку от системы ИИ.

Проблемы несогласованности часто предполагают, что системы ИИ будут работать автономно, принимая решения с высокими ставками без человеческого контроля. Но, как мы утверждали во второй части, человеческий контроль останется центральным элементом внедрения ИИ. Существующие институциональные средства контроля за последующими решениями — от финансового контроля до правил безопасности — создают несколько уровней защиты от рассматриваемого риска.

Некоторые технические решения по проектированию с большей вероятностью приведут к несогласованности, чем другие. Существует длинный список забавных примеров от игровых агентов, таких как игровой AI-агент гонок на лодках, который научился бесконечно кружить по одной области, чтобы поражать те же цели и набирать очки вместо того, чтобы продвигаться к финишной черте. Повторимся, мы считаем, что в открытых сценариях реального мира агенты, спроектированные таким образом, будут скорее неэффективными, чем опасными. В любом случае, исследование альтернативных парадигм проектирования, которые менее восприимчивы к игре со спецификациями, является важным направлением исследований.

В сухом остатке, аргумент о ненулевом риске сценария «максимизатора скрепок» основывается на предположениях, которые могут быть или не быть верными, и разумно полагать, что исследования могут дать нам лучшее представление о том, верны ли эти предположения для типов систем ИИ, которые строятся или представляются. По этим причинам мы называем это «спекулятивным» риском и рассматриваем политические последствия этой точки зрения в Части IV.

ИИ может привносить множество видов системных рисков

Хотя обсуждаемые выше риски потенциально могут быть катастрофическими или экзистенциальными, существует длинный список рисков ИИ, которые находятся ниже этого уровня, но, тем не менее, являются масштабными и системными, превосходящими последствия любой конкретной системы ИИ. К ним относятся системное укоренение предвзятости и дискриминации, массовая потеря рабочих мест в конкретных профессиях, ухудшение условий труда, усиление неравенства, концентрация власти, подрыв доверия общества, загрязнение информационной экосистемы, деградация свободной прессы, откат демократии, массовая слежка и усиление авторитаризма.

Если ИИ превратится в обыденную технологию, эти риски становятся гораздо важнее катастрофических, обсуждаемых выше. Это связано с тем, что они возникают из-за использования ИИ для продвижения своих собственных интересов, а он просто служит усилителем существующей нестабильности в нашем обществе.

В истории преобразующих технологий есть множество прецедентов такого рода социально-политических потрясений. Примечательно, что промышленная революция привела к быстрой массовой урбанизации, которая характеризовалась тяжелыми условиями труда, эксплуатацией и неравенством, что стало катализатором как промышленного капитализма, так и подъема социализма и марксизма в ответ.

Смещение фокуса, которое мы рекомендуем, примерно соответствует различию Касирзаде между решительным и накопительным x-риском. Решительный x-риск подразумевает «явный путь захвата ИИ, характеризующийся такими сценариями, как неконтролируемый сверхинтеллект», тогда как накопительный x-риск относится к «постепенному накоплению критических угроз, вызванных ИИ, таких как серьезные уязвимости и системная эрозия экономико-политических структур». Но есть и важные различия: описание Касирзаде накопительного риска по-прежнему в значительной степени опирается на субъектов угроз, таких как киберпреступники, тогда как наше беспокойство касается только текущего пути капитализма. И мы считаем, что такие риски вряд ли будут экзистенциальными, но все равно чрезвычайно серьезны.