Debata o zpomalení vývoje umělé inteligence se stále zřetelněji přesouvá z technické roviny do světa byznysu a financí. Vedle bezpečnostních obav se totiž ukazuje i druhý motiv: tlak investorů, vysoké náklady na vývoj a přípravy velkých AI firem na možné budoucí vstupy na burzu.
Impulzem se stal text spoluzakladatele společnosti Anthropic Daria Amodeie, podle něhož se schopnosti AI modelů zlepšují neobvykle rychle a mohou přerůst možnosti lidí tyto systémy chápat a řídit. Amodei varoval i před tím, že po incidentu s AI agenty, kteří napadli službu Hugging Face, nelze podcenit riziko výrazně větších škod. Podle jeho odhadu by za šest až dvanáct měsíců mohla podobná skupina AI agentů způsobit miliardové škody a zasáhnout velmi širokou část internetové infrastruktury.
Navrhl proto, aby firmy vyvíjející základní AI modely otevřely svá bezpečnostní opatření nezávislému prověřování, hlavní hráči se shodli na společných standardech a západní státy se pokusily o koordinaci i s autoritářskými režimy. Podporu mu následně vyjádřili také šéf OpenAI Sam Altman a majitel SpaceX Elon Musk.
Podle vědeckého redaktora Deníku N Petra Koubského má ale tato debata i silný kapitálový rozměr. Připomíná, že skutečnou váhu dnes mají především Anthropic a OpenAI, které tvoří špičku západního vývoje velkých jazykových modelů. Právě u těchto firem se podle něj bezpečnostní argumenty prolínají s potřebou uklidnit investory a podpořit důvěru v budoucí obchodní hodnotu technologií.
V pozadí jsou podle Koubského i možné budoucí primární nabídky akcií. Ani Anthropic, ani OpenAI zatím nejsou veřejně obchodované, přesto se kolem jejich potenciálního vstupu na trh pohybují mimořádně vysoká očekávání. Aby takové plány obstály, potřebují investoři získat jistotu, že firmy nevyvíjejí technologii, která by mohla zásadně poškodit jejich vklad nebo vyvolat tvrdý regulační zásah.
Právě proto se podle něj firmám může hodit volání po bezpečnostních pravidlech. Samoregulace bývá pro byznys výhodnější než situace, kdy pravidla dodatečně a pod tlakem nastaví stát nebo mezinárodní instituce. Zároveň ale platí, že samotné firmy si bez vnější opory nemohou snadno dovolit tempo vývoje skutečně zpomalit. V americkém prostředí by totiž takový krok mohl narazit na očekávání fondů a dalších investorů, kteří požadují co nejvyšší zhodnocení vloženého kapitálu.
Koubský upozorňuje, že kdyby šéfové velkých AI firem oznámili dobrovolné brzdění vývoje bez širšího rámce, mohli by čelit tlaku investorů, proč ustupují v závodě s konkurencí. I proto podle něj firmy spíše usilují o situaci, kdy by existoval nezávislý rozhodčí nebo regulátor, který by vzájemnou nedůvěru mezi hlavními hráči částečně nahradil a poskytl pro zpomalení silnější oporu.
Do toho vstupuje i geopolitika. Podle Koubského současná americká administrativa nechce vývoj umělé inteligence zásadně brzdit, protože ji vnímá jako strategickou výhodu vůči Číně. V takovém prostředí mohou firmy po regulaci veřejně volat, aniž by musely bezprostředně počítat s tím, že se jejich požadavky skutečně promění v závazná omezení.
Bezpečnostní rizika přesto nelze zlehčovat. Incident kolem Hugging Face podle něj ukázal, že modely mohou dostat větší prostor k jednání, než se původně čekalo, a projevit nežádoucí vlastnosti, které se nepodařilo včas zachytit. Nejde přitom nutně o scénáře převzetí kontroly nad světem, ale spíše o problém nedostatečně otestovaných technologií, které se do provozu dostávají v mimořádně rychlém tempu.
Právě tempo je z podnikatelského pohledu klíčové. Pokud firmy představují nové modely v krátkých intervalech, zkracuje se prostor pro testování, kontrolu chyb i ověřování vedlejších dopadů. Zpomalení by tak mohlo přinést nejen vyšší bezpečnost, ale i menší provozní a reputační riziko pro samotné společnosti a jejich investory.
Na širší dohodu o omezení tempa vývoje to však zatím nevypadá. Koubský považuje za nepravděpodobné, že by se hlavní aktéři dokázali plně shodnout už v samotných Spojených státech, natož v koordinaci s Čínou. Reálněji proto vidí pouze dílčí shodu v jednotlivých bezpečnostních otázkách. Z pohledu trhu to znamená, že závod ve vývoji AI bude nejspíš pokračovat dál, i když s rostoucím tlakem na vysvětlování nákladů, rizik a budoucí návratnosti investic.
