Наскільки небезпечна Mythos – нова модель штучного інтелекту від Anthropic?

Чому розробник нової моделі ШІ Mythos – компанія Anthropic –допустив навіть свого безпосереднього конкурента Google до навчання обходження з цією моделлю до її широкого випуску? Схоже, розробники побоюються, що за допомогою нової моделі зловмисники… «хакнуть» Google. І це, здається, небезпідставно.

Днями Міністр фінансів США Скотт Бессент і глава Федеральної резервної системи Джером Пауелл провели термінову нараду з очільниками провідних американських банків через нові кіберризики, пов’язані зі штучним інтелектом. Йдеться саме про Mythos від Anthropic: зазначається, модель здатна виявляти слабкі місця в популярних операційних системах і браузерах, а також потенційно використовувати такі вразливості. Тож у зловмисних руках цей ШІ може допомогти хакерам зламати всі фінанси світу.

Видання The Economist аналізує, в чому ж полягає небезпека, і чи справді слід усім боятись нового ШІ? 

Коли у 2019 році OpenAI завершила навчання нової великої мовної моделі під назвою GPT-2, лабораторія штучного інтелекту спочатку заявила, що її запуск є надто небезпечним. Даріо Амодеї, який на той час обіймав посаду директора з досліджень OpenAI, наполягав, що світ потребує часу на підготовку.

Зрештою, модель було випущено пізніше того ж року. З того часу було розроблено низку набагато потужніших моделей, які не спричинили Армагеддону. Однак через сім років пан Амодеї, який зараз очолює заклятого конкурента OpenAI – компанію Anthropic, – знову занепокоєний. 7 квітня він заявив, що найновіша модель із сімейства Claude, яку його лабораторія назвала «Mythos», є надто потужною, щоб її вже зараз широко розповсюджувати. Цього разу він, можливо, має рацію.

За словами Anthropic, можливості Mythos «значно перевищують можливості будь-якої моделі, яку ми раніше навчали». Лабораторія заявляє, що її особливо турбує здатність системи виявляти вразливості програмного забезпечення та або виправляти їх (якщо система налаштована на захист), або використовувати їх (якщо вона діє як хакер).

Зазвичай до таких заяв слід ставитися з обережністю. Anthropic створила модель, провела тести – і, звісно, виграє від того, що її система сприймається як набагато досконаліша за все, що було до неї. Останнім часом лабораторія перебуває на підйомі. 6 квітня вона оголосила, що її річний дохід досяг 30 млрд доларів, порівняно з лише 9 млрд наприкінці минулого року. Вона, безсумнівно, прагне зберегти цей імпульс.

Проте є підстави серйозно ставитися до останніх попереджень Anthropic. Перша – це їхня серйозність: Anthropic заявляє, що Mythos уже виявив серйозні вразливості в «усіх основних операційних системах та веб-браузерах», включаючи одну, яка залишалася невиявленою протягом 27 років.

Друга – це реакція інших компаній. Окрім призупинення, Anthropic оголосила про Project Glasswing – ініціативу, покликану допомогти компаніям використовувати Mythos для посилення кіберзахисту до його широкого випуску. Участь провідних розробників програмного забезпечення – зокрема Apple, Linux Foundation і CrowdStrike, а також Google, яка безпосередньо конкурує з Anthropic у сфері штучного інтелекту – свідчить про те, що загроза є реальною.

Підхід пана Амодея до зменшення небезпеки є розумним. Якщо їм надати перевагу, компанії зможуть використовувати Mythos для тестування неопублікованого коду на наявність слабких місць та виправлення їх перед випуском. Незважаючи на це, Anthropic має чимало виграшу від Project Glasswing. Лабораторія покриє перші 100 млн доларів витрат, пов’язаних з використанням моделі для цієї ініціативи. Але зрештою вона стягуватиме з учасників за використання Mythos вп'ятеро більше, ніж за його попередника, Opus.

Це може бути ціною, яку варто заплатити. Конкуренти Anthropic рано чи пізно неминуче розроблять моделі з подібними хакерськими можливостями. Інші передові лабораторії, такі як OpenAI та Google, мають власні розумні політики щодо випуску. Але лабораторії з відкритим кодом, особливо ті, що базуються в Китаї, зазвичай менше зосереджуються на безпеці.

Хакери – не єдині, кого може роздратувати Project Glasswing. Уряд США вже давно прагне використовувати слабкі місця в кіберзахисті супротивників. Це означає накопичення невідкритих вразливостей, зокрема в американському програмному забезпеченні, що використовується за кордоном, для застосування в той момент, коли ці «нульові дні» матимуть найбільший вплив. Якщо Project Glasswing спрацює, це може знешкодити багато американських кіберзброї.

Це, безсумнівно, розлютить Піта Хегсета, міністра оборони США, який на початку цього року назвав Anthropic ризиком для ланцюга поставок після конфлікту між компанією та Пентагоном щодо обмежень на використання моделей лабораторії у військових цілях (з того часу суддя тимчасово заблокував це «орвелівське» визначення). Пан Амодей може й надалі залишатися для нього «колючкою в боці».

The Economist