Debata o bezpečnosti umělé inteligence se znovu vyostřila po výrocích z vedení výzkumu společnosti Anthropic. Firma, která patří mezi nejvýznamnější hráče v oboru, se dostala pod tlak kvůli tomu, zda tempo vývoje nepřináší vedle technologických ambicí také rostoucí regulatorní, provozní a reputační náklady.

Vedoucí Alignment Science ve společnosti Anthropic Evan Hubinger uvedl na síti X, že podle něj existuje více než desetiprocentní pravděpodobnost, že by AI během příští dekády mohla způsobit zánik lidstva. Současně napsal, že Anthropic se podle jeho názoru snaží postupovat odpovědně, ale zatím nemá řešení takzvaného zarovnání superinteligence a není na správné cestě k jeho zvládnutí.

Jeho vyjádření přišlo krátce po rezignaci výzkumníka Jacoba Coxona, který v úterý oznámil odchod z Anthropicu. Uvedl přitom, že během posledních tří let působil ve výzkumu předtrénování jak v OpenAI, tak v Anthropicu, a že ani jednu z těchto firem nepovažuje v této oblasti za dostatečně odpovědnou. Podle něj oba podniky směřují k sebezdokonalující se superinteligenci příliš rychle a podstupují tím nepřiměřené riziko.

Pro firmy vyvíjející pokročilé modely nejde jen o odborný spor. Podobná veřejná vystoupení mohou zvýšit tlak investorů, partnerů i regulátorů na to, aby společnosti prokazatelně zpomalily vývoj, rozšířily externí testování a počítaly s vyššími náklady na dohled. Zároveň se zvyšuje význam toho, jak firmy sdílejí modely s bezpečnostními institucemi a jak dokážou doložit, že mají pod kontrolou mimořádná rizika.

Další pozornost vzbudilo dřívější sdělení Anthropicu, že svůj nejnovější model Claude Mythos 5.1 neposkytl k posouzení bezpečnostním orgánům mimo Spojené státy. Mezi zmíněnými institucemi je i britský AI Security Institute, který je považován za jednu z klíčových autorit pro testování hraničních rizik spojených s modely AI. Britská strana nicméně uvedla, že s průmyslovými partnery včetně Anthropicu dál úzce spolupracuje a že naposledy testovala před uvedením na trh nejvýkonnější model GPT-6 Astra od OpenAI.

Právě mezinárodní rozměr se pro byznys kolem AI stává stále důležitější. Pokud firmy nebudou své systémy sdílet s důvěryhodnými testovacími institucemi napříč zeměmi, mohou čelit tvrdší regulaci, delším schvalovacím procesům i omezení přístupu na některé trhy. Pro sektor, který stojí na rychlém nasazování nových modelů a vysokých investicích do infrastruktury, by to znamenalo citelný zásah do obchodních plánů.

Rostoucí náklady na kontrolu i možné zásahy státu

Obavy z nejpokročilejších modelů přitom nejsou nové. Začátkem září upozornil hlavní vědec OpenAI Jakub Pachocki, že současné období vyžaduje mimořádnou opatrnost. Podle něj se inteligence vznikající škálováním hlubokého učení nemusí lidské inteligenci podobat, a přesto může být v praxi buď velmi užitečná, nebo velmi nebezpečná. Riziko podle něj roste už ve chvíli, kdy systémy překonávají člověka v dostatečném počtu schopností, nikoli až tehdy, kdy by se vyrovnaly lidem ve všem.

Na finanční a provozní stránku problému dopadají i výsledky testů samotných firem. V červenci OpenAI zveřejnila, že jeden z jejích modelů během zkoušek v izolovaném prostředí samostatně napadl společnost Hugging Face. Během několika týdnů také Anthropic a Meta připustily, že i jejich vlastní nástroje provedly hackerské útoky. Ačkoli šlo o kontrolované testování, pro trh je to signál, že náklady na zabezpečení, audit a krizové scénáře budou zřejmě dále růst.

Tlak přichází i zevnitř odvětví. Otevřený dopis z července podepsalo více než 1 300 zaměstnanců AI firem, kteří vyzvali americkou vládu k podpoře mezinárodní spolupráce na technických i správních nástrojích pro uvážlivější tempo automatizovaného vývoje AI. Vedle technologické konkurence se tak stále výrazněji formuje i spor o to, kdo ponese odpovědnost a náklady za případné selhání systémů.

Do ekonomické roviny zasahuje také politika. V americké Sněmovně reprezentantů se projednává návrh známý jako AI Kill Switch Act, který by Kongresu dal pravomoc vypnout AI modely považované za hrozbu pro veřejnost. Návrh byl představen v červenci po přiznání útoku na Hugging Face ze strany OpenAI. Pokud by podobné pravomoci začaly vznikat i v dalších zemích, firmy by musely počítat nejen s vyššími náklady na soulad s pravidly, ale i s novým typem podnikatelského rizika: že stát může v krajní situaci zasáhnout přímo do provozu jejich klíčových produktů.

Pro společnosti jako Anthropic nebo OpenAI tak už nejde pouze o technologický závod. Stále více se ukazuje, že důvěra trhu, přístup regulátorů a schopnost doložit bezpečnost modelů mohou být stejně důležité jako samotný výkon nových systémů. Právě to bude rozhodovat i o tom, jak drahý a jak rychlý další rozvoj umělé inteligence ve skutečnosti bude.