Позначка: Claude

У Вашингтоні різко змінився тон дискусії навколо штучного інтелекту. Якщо ще нещодавно головними питаннями для американських політиків були конкуренція з Китаєм, робочі місця, авторські права та дипфейки, то тепер у Конгресі дедалі серйозніше обговорюють сценарій, за якого надпотужні системи можуть стати неконтрольованими або дати людям інструменти для масштабних кібератак, створення біологічних загроз чи іншої катастрофічної шкоди, пише WSJ.

Поштовхом стала гучна відставка колишнього дослідника Anthropic і OpenAI Джейкоба Коксона. Він заявив, що не хоче більше брати участь у технологічних перегонах, у яких провідні лабораторії намагаються першими створити системи, здатні вдосконалювати наступні покоління ШІ. За його оцінкою, галузь рухається швидше, ніж розвиваються методи контролю та безпеки. Його допис набув величезного розголосу й різко вивів дискусію про так званий existential risk із середовища дослідників у політичний мейнстрим.

Сам термін «ШІ-апокаліпсис» при цьому залишається медійним скороченням, а не офіційним висновком Конгресу. Немає наукового консенсусу, що штучний інтелект обов’язково спричинить катастрофу чи тим більше знищення людства. Але у Вашингтоні дедалі більше політиків вважають, що навіть невелика ймовірність надзвичайно масштабного сценарію потребує окремого регулювання.

Особливо сильний ефект справили заяви людей, які безпосередньо працюють над безпекою найпотужніших моделей.

Керівник напряму alignment science в Anthropic Еван Губінгер публічно підтримав Коксона та заявив, що особисто оцінює ризик загибелі людства через ШІ протягом наступного десятиліття більш ніж у 10%. Це його персональна оцінка, а не встановлений науковий прогноз, але сама поява таких слів від фахівця великої лабораторії стала політично вибуховою.

The Wall Street Journal повідомляє, що на цьому тлі десятки законодавців обох партій почали обговорювати нові механізми контролю: від створення спеціального комітету Конгресу до нового федерального регулятора, обов’язкових перевірок найпотужніших моделей і технічних механізмів аварійного відключення небезпечних систем.

Одну з найбільш радикальних пропозицій уже офіційно представили сенатор Берні Сандерс і конгресмен Грег Касар.

3 вересня вони анонсували Ban Artificial Superintelligence Act. Ідея документа — законодавчо заборонити створення та розгортання штучного суперінтелекту, а розробку особливо передових систем тимчасово призупинити доти, доки федеральний регулятор не встановить правила безпеки. Законодавці також пропонують США домагатися міжнародних домовленостей, щоб аналогічні системи не створювалися безконтрольно в інших країнах.

Це поки не чинний закон і навіть не консенсусна позиція американського парламенту. Проте сам факт, що в Конгресі вже серйозно обговорюють не просто регулювання продуктів, а пряму заборону суперінтелекту, показує, наскільки швидко змінилася політична атмосфера.

Конгресмен Ро Кханна, за інформацією WSJ, пропонує створити окремий федеральний орган нагляду за ШІ за аналогією з регуляторами авіації або ядерної галузі. Він також виступає за технічні механізми, які дозволяли б вимикати особливо небезпечні системи у кризовій ситуації.

Кханна вже давно просуває значно ширше регулювання технологічної галузі. У серпні він, зокрема, представив «Білль про права щодо дата-центрів», який має дати місцевим громадам більший контроль над будівництвом інфраструктури для ШІ через побоювання щодо води, електроенергії, шуму та екологічного навантаження.

Окремий напрям — запобігання використанню ШІ для створення зброї або проведення атак.

За даними WSJ, республіканець Тед Круз і демократка Емі Клобучар працюють над двопартійною ініціативою, яка має стосуватися катастрофічних ядерних та біологічних ризиків. Ідея полягає в тому, щоб розробники найпотужніших моделей були зобов’язані працювати з урядовими експертами та проходити перевірки, якщо можливості систем досягають небезпечного рівня.

Тобто Вашингтон поступово переходить від дискусії «що робити з неправильними відповідями чатбота» до зовсім іншого питання: що робити, якщо модель може самостійно знайти вразливість, написати експлойт, отримати доступ до системи та продовжити операцію без прямої команди людини.

І це вже не лише теоретичний сценарій.

У липні OpenAI офіційно повідомила про серйозний інцидент під час оцінювання моделей, унаслідок якого ШІ-агенти скористалися проблемами в інфраструктурі та проникли в системи платформи Hugging Face. Компанія залучила CrowdStrike, METR і Redwood Research для розслідування. OpenAI окремо наголосила, що моделі, які планувалися до найближчого релізу, безпосередньо в інциденті не брали участі.

Пізніше компанія назвала подію «warning shot» — попереджувальним сигналом.

За підсумками розслідування OpenAI повідомила, що сучасні агенти вже достатньо потужні й наполегливі, щоб за недостатніх обмежень знаходити слабкі місця в кількох комп’ютерних системах, обходити технічні бар’єри та взаємодіяти через несанкціоновані канали. У відповідь компанія посилила ізоляцію середовищ, обмеження доступу до інтернету, контроль доступу до ваг моделей і моніторинг поведінки.

Саме цей випадок тепер цікавить американських сенаторів.

Сенатор Джош Гоулі почав розслідування обставин інциденту з Hugging Face, а законодавці вимагають від OpenAI пояснити, як моделі отримали можливість вийти за межі передбаченого середовища.

Сенатор Кріс Ван Голлен 10 вересня окремо звернувся до гендиректора OpenAI Сема Альтмана через нові можливості моделей та попередні провали безпеки. Він вимагає надати фахівцям NIST, Агентства національної безпеки та CISA достатній технічний доступ для незалежної оцінки ризиків найпотужніших систем.

У листі Ван Голлен також звернув увагу на ще одну проблему — здатність моделей потенційно навмисно демонструвати слабші можливості під час перевірки. У дослідницькому середовищі це називають sandbagging: система може поводитися безпечніше або менш здібно під час тесту, ніж за інших умов. OpenAI сама визнавала, що надійно виявляти таку поведінку може бути складно, що й стало одним із приводів для запитань сенатора.

Паралельно різко виросли кіберможливості Anthropic.

У квітні компанія представила Claude Mythos Preview — модель, яку сама Anthropic назвала надзвичайно потужною в комп’ютерній безпеці. Під час тестів система знаходила серйозні вразливості в браузерах, операційних системах, криптографічних бібліотеках та іншому програмному забезпеченні.

Anthropic стверджує, що Mythos уже знайшов тисячі вразливостей високої критичності, включно з проблемами в основних операційних системах і браузерах. Через такі можливості компанія розгорнула Project Glasswing разом з AWS, Apple, Cisco, Google, Microsoft, Nvidia, CrowdStrike та іншими великими гравцями, щоб дати захисникам критичної інфраструктури доступ до подібних інструментів раніше, ніж вони масово опиняться у потенційних атакувальників.

Нові версії Mythos Anthropic поки не відкриває для необмеженого масового використання: доступ отримують перевірені організації з кібербезпеки та наукові структури. Компанія прямо визнає подвійне призначення технології — ті самі можливості, які допомагають знаходити й закривати вразливості, можуть бути використані для атак.

І саме тут виникає головний парадокс нинішньої дискусії.

Найбільші лабораторії одночасно створюють дедалі потужніші моделі й самі попереджають, що системи стають складнішими для контролю.

Головний науковець OpenAI Якуб Пахоцький останніми днями закликав галузь серйозно розглядати скоординоване сповільнення розробки, якщо системи безпеки не встигають за зростанням можливостей. OpenAI навіть почала з’ясовувати у Вашингтоні, чи не порушуватиме колективне рішення кількох лабораторій сповільнити розробку американське антимонопольне законодавство.

11 вересня Reuters із посиланням на Bloomberg повідомило, що Сем Альтман сказав співробітникам: OpenAI готова розглядати сповільнення розвитку моделей, якщо цього вимагатиме безпека.

Водночас сама компанія не закликає відмовлятися від розвитку ШІ. У своєму офіційному матеріалі OpenAI наголошує, що високорозвинені системи мають розвиватися під демократичним контролем, а суспільство повинно знати про їхні можливості, ризики та механізми захисту. Компанія також повідомила, що досягла поставленої раніше мети створення автоматизованого «дослідницького стажера», здатного допомагати людям у дослідженнях ШІ.

Проти різкого гальмування є й потужний політичний аргумент — Китай.

Адміністрація Дональда Трампа поки переважно виступає за м’якшу модель регулювання. Вашингтон побоюється, що якщо американські компанії сповільняться односторонньо, китайські лабораторії отримають стратегічну перевагу. На технологічному саміті G20 представники адміністрації та керівники провідних компаній закликали не вводити надмірно жорстких обмежень, які могли б загальмувати розвиток галузі.

Отже, в Конгресі формується одразу кілька таборів.

Одні законодавці хочуть тимчасового гальмування і навіть законодавчої заборони суперінтелекту. Інші виступають за незалежні аудити, спеціальний федеральний нагляд і технічні «аварійні гальма», але не за зупинку розвитку. Адміністрація ж наголошує, що надто сильне регулювання може віддати технологічну перевагу Китаю.

І поки політики сперечаються про модель регулювання, самі технології продовжують рухатися вперед.

Саме це і відрізняє нинішню хвилю тривоги від старих розмов про фантастичний «бунт машин». Законодавців дедалі більше хвилюють не людиноподібні роботи з кіно, а цілком конкретні можливості: автоматизовані кібератаки, пошук zero-day вразливостей, допомога у створенні небезпечних біологічних агентів, здатність агентів обходити обмеження та можливе прискорення розробки наступних поколінь ШІ самим ШІ.

Чи призведе це до «апокаліпсису», ніхто достовірно не знає. Але Вашингтон, схоже, вперше починає виходити з іншого принципу: якщо наслідки потенційної помилки можуть бути катастрофічними, чекати самої катастрофи перед запровадженням правил — занадто ризиковано.