Čínské AI firmy dohánějí USA levněji díky destilaci modelů

Čínské společnosti vyvíjející umělou inteligenci stále ve větší míře využívají výstupy nejlepších amerických modelů k tréninku vlastních systémů. Takzvaná destilace jim umožňuje levněji přebírat část schopností, za něž americké firmy platí rozsáhlými výdaji na výpočetní techniku. Američtí vývojáři Anthropic a OpenAI proto zpřísňují obranu proti sběru dat, i když tím mohou přijít o část příjmů a ovlivnit tempo konkurence s Čínou.

Destilace znamená, že nový jazykový model není trénován pouze na textech z internetu, ale také na odpovědích jiného modelu AI. Velké jazykové modely se tak mohou učit napodobovat postupy, argumentaci i řešení úloh, které již vytvořil pokročilejší systém. Pro čínské laboratoře jsou výstupy amerických modelů cenným zdrojem dat, protože zachycují schopnosti vzniklé při nákladném vývoji na technologické špičce.

Americké firmy naproti tomu narážejí na omezené množství kvalitních volně dostupných internetových dat. Stále více proto používají posilované učení, při němž model opakovaně hledá řešení zadaného problému a je vyhodnocován podle dosaženého výsledku. Tento způsob tréninku je méně efektivní a výrazně náročnější na výpočetní výkon. Americké společnosti podle dostupných údajů věnují technikám souvisejícím s posilovaným učením více než polovinu svých výpočetních kapacit; na začátku roku 2024 to byla přibližně dvacetina.

Ekonomická výhoda je zřejmá: čínská firma může část schopností získaných drahým americkým tréninkem přenést do menšího či levnějšího modelu. Studie zveřejněná v červenci ve sborníku Findings of the Association for Computational Linguistics ukázala, že malý model čínské laboratoře DeepSeek se po tréninku na 800 000 příkladech vytvořených jejím nejsilnějším modelem zlepšil v matematickém testu ze 14,6 na 45,8 procenta.

Omezení přístupu zdražuje vývoj

Ve velkém měřítku jde o podstatně větší objemy dat. Anthropic, americká společnost stojící za modelem Claude, v zářijové zprávě uvedla, že pět čínských firem během pěti měsíců shromáždilo z jejích modelů přes 180 milionů zpráv. U některých čínských modelů lze podle firmy pozorovat měřitelnou podobnost s americkými systémy; někdy se dokonce samy označují jako Claude nebo ChatGPT.

Čínský pokrok však nestojí jen na přebírání výstupů. Více než polovina autorů špičkových výzkumných prací prezentovaných na konferenci NeurIPS, významné světové konferenci v oboru AI, je čínského původu. Rozhodující roli ale hrají také pokročilé čipy a datová centra. Američtí technologičtí giganti mají jednotlivě větší výpočetní kapacity než všichni jejich čínští konkurenti dohromady, což dává destilaci pro čínské podniky zvláštní význam.

Odhady řadí čínské modely zhruba tři až šest měsíců za nejlepší americké systémy. Saif Khan z washingtonského Centre for Technology & Statecraft odhaduje, že bez destilace by se tento odstup mohl téměř zdvojnásobit. Pro čínské firmy tedy nejde jen o technickou zkratku, ale o způsob, jak omezovat kapitálovou nevýhodu vůči společnostem s podstatně vyššími rozpočty na čipy a výpočetní výkon.

Americké laboratoře zvyšují cenu neúspěšných pokusů

Anthropic a OpenAI se snaží tento tok dat omezit. Zablokovaly mimo jiné postup odhalený v srpnu, který čínským firmám umožňoval získávat mezikroky a vysvětlení, jež modely vytvářejí při řešení problémů. Anthropic rovněž posílil odhalování organizovaných pokusů o destilaci a začal účtovat požadavky na Claude i tehdy, když systém rozpozná podezřelé jednání a odpověď odmítne. Neúspěšné pokusy o získání tréninkových dat se tím prodražují.

Firma připouští, že tato ochrana nemusí fungovat trvale. Dosud však podle ní snížila objem dat získávaných prostřednictvím destilace o 90 až 99 procent. Anthropic současně očekává, že opatření může stát pět až sedm procent jejích tržeb. Společnost upozorňuje, že někteří čínští výrobci uvolňovali modely blízké technologické špičce bez ochranných mechanismů proti zneužití, což považuje za bezpečnostní riziko.

V Číně navíc sílí názor, že dlouhodobá závislost na amerických modelech může domácí firmy udržovat v roli následovníků. Zhang Yiming, zakladatel internetové společnosti ByteDance, zaměstnancům v červenci sdělil, že firma nebude destilaci používat k rychlému posilování svých modelů. Podle parafráze technologického blogu LatePost může takový postup nanejvýš průběžně zmenšovat odstup, nikoli skutečně překonat špičku. ByteDance si díky jiným zdrojům příjmů může dovolit nabízet slabší modely, zatímco buduje vlastní vývojové schopnosti.

Pro americké firmy je proto destilace dvojsečná. Snižuje jejich možnost zpeněžit draze vyvinuté modely a oslabuje technologický náskok, zároveň ale udržuje čínské konkurenty závislé na americkém tempu. Pokud by se čínské laboratoře dokázaly dostat na špičku vlastním vývojem, mohl by být konkurenční i bezpečnostní tlak na americké společnosti ještě výraznější.