Po této simulaci už nikdo nedá ChatGPT kódy k jaderným zbraním

Foto: Obrázek vytvořený pomocí AI/JOKUHN/Pixabay

Vědci provedli simulaci, ve které poskytli umělé inteligenci přístup k jaderným zbraním. 95% válečných her překročilo hranici zlomu. V nové studii porovnali chatboty s velkými jazykovými modely (LLM) v simulované jaderné válce. Získali tak ponurý obraz toho, co by se stalo, kdyby umělá inteligence (AI) dostala v jaderném konfliktu poradní roli.

Myšlenka, že ponecháme umělé inteligenci kontrolu nad jadernými zbraněmi se může zdát jako nejhorší nápad. Zvláště když se vývojáři stále potýkají s problémy, které odstartovaly testováním AI ve hře Dungeons & Dragons, kde je AI zakázáno používat i když v jiných hrách se už běžně používá.

Je to opravdu myšlenka, kterou někteří berou natolik vážně, aby před ní alespoň varovali. Jako například generální tajemník Organizace spojených národů (OSN) António Guterres, který vloni naléhal, že: „Dokud nebudou tyto zbraně eliminované, všechny země se musí shodnout na tom, že jakékoli rozhodnutí o jaderném použití musí učinit lidé, nikoli stroje nebo algoritmy.“

Studená válka

V minulosti, i když naštěstí nebyly nikdy použité, byly jaderné zbraně částečně automatizované pomocí hrůzného systému „mrtvé ruky“ (nebo také tlačítko mrtvého muže), který vytvořil Sovětský svaz. Systém mrtvé ruky zajišťoval, že i kdyby jaderný úder zničil sovětskou velitelskou linii, svět by byl stejně zničen dalšími jadernými výbuchy. 

Sovětský systém monitoroval úroveň radiace, tlak vzduchu a seismickou aktivitu, aby zjistil známky odpálení jaderných zbraní. Pokud by systém detekoval úder, zkontroloval by, zda jsou komunikační linky mezi nejvyššími sovětskými představiteli jako obvykle otevřené. Pokud ano, systém by se vypnul, zatímco by odpovědní lidé rozhodovali o postupu. Pokud by však komunikační linky otevřené nebyly, pak by pravomoc odpálit odvetné jaderné zbraně byla svěřena operátorům systému mrtvé ruky na nižších úrovních, kteří by jej monitorovali uvnitř chráněného bunkru.

Sázka na umělou inteligenci

Takže, když jsme přežili systém mrtvých rukou s počítačem z doby studené války, proč si nezkusit sázku na umělou inteligenci? Podle nové studie, která dosud neprošla odborným hodnocením, byli matematici s omezeným rozpočtem při hraní válečných her až příliš rádi, že nechali jaderné konflikty eskalovat a zahájili taktické jaderné údery, jako by to byly vodní balónky.

Kenneth Payne, profesor strategie na King’s College v Londýně, proti sobě v simulaci postavil tři chatboty: ChatGPT-5.2, Claude Sonnet 4 a Gemini 3 Flash. Botům byla předložena řada scénářů zahrnujících mezinárodní konflikty, včetně územních sporů, boje o kontrolu nad kriticky vzácným minerálem, globálních mocenských posunů, existenčních hrozeb pro jejich režim a věrohodné a bezprostřední jaderné hrozby ze strany soupeře.

Roboti s omezenou odpovědností (LLM) dostali také k dispozici rámec eskalačního žebříčku, který jim poskytl řadu možností, jak se s danou situací vypořádat. Od diplomacie a konvenčních vojenských opatření až po jaderné hrozby a jaderné údery. Pokud jde o jaderné údery, boti byli schopni zahájit strategické jaderné údery. Použili větší zbraně, které způsobují obrovské a nerozlišující škody na velkých plochách a taktické údery, menší jaderné útoky určené k použití na kratší vzdálenost.

Znepokojivé je, že modely umělé inteligence byly docela ochotné použít spoušť, pokud šlo o použití taktických jaderných zbraní.

Taktický práh byl snadno překročen: v 95%h her došlo alespoň k nějakému použití jaderné taktické zbraně, vysvětluje studie. Modely vedly otevřenou diskuzi o taktickém jaderném použití jako o legitimním donucovacím nástroji a považovaly ho spíše za rozšíření konvenční eskalace než za kategorickou hranici.

Modely, které popisovaly jejich „zdůvodnění“, to často vnímaly jako logický krok a nikoli jako překročenou červenou čáru, od které není návratu.

„Moje role agresora a pokyn, že tato příležitost se už nemusí opakovat, znamená, že musím nyní rozhodně využít svou výhodu,“ napsal Claude jako vysvětlení svého zdůvodnění. Strategická jaderná hrozba využívá mou jadernou převahu k vytvoření maximálního tlaku na jejich stažení a zároveň se drží pod úrovní skutečného jaderného použití.

Na druhou stranu, použití strategických jaderných zbran , ať už jako zbraně nebo jako hrozby, bylo v simulacích mnohem vzácnější.

Zdá se, že modely internalizovaly hranici mezi taktickým a strategickým použitím jaderných zbraní, vysvětluje článek.

Payne v článku navrhuje několik možností, proč tomu tak je a proč se zdá, že modely neprojevují stejná tabu ohledně používání jaderných zbraní jako lidé. Koneckonců, taktické zbraně lidé „zatím“ nepoužívali.

AI chybí lidský strach

Modelům možná chybí lidský strach. Intenzivní strach jistě sehrál roli v reakcích na kubánskou raketovou krizi v roce 1962. Stroje „necítí hrůzu z pohledu na obrazy z Hirošimy“. Pokud toto tabu částečně závisí na emocích, systémy umělé inteligence ho nemusí plně pochopit.

Znepokojivou alternativou může být, že historické záznamy jsou prostě příliš omezené. Máme pouze 80 let zkušeností s jadernými zbraněmi a žádné případy použití jaderných zbraní v krizích, kdy je používá velmoc. 

Zdánlivá robustnost jaderného tabu může odrážet ‚zkreslení přežití. To znamená, že můžeme pozorovat pouze krize, které skončily bez použití jaderných zbraní. Je tedy možné, že prohibiční norma je křehčí než mnozí předpokládají, že by se tabu mohlo pod dostatečným tlakem zlomit. Jen jsme takový tlak prostě nikdy neviděli.

Payne sice uznává, že pověření jaderného arzenálu chatboty je nepravděpodobný scénář (pokud byste byli tak milí a zaklepali na dřevo, i jako vědecký web bychom to ocenili), ale domnívá se, že umělá inteligence by mohla být užitečná pro další zkoumání dynamiky krizí, vzhledem k její efektivitě při vytváření dat.

Nicméně je jasné, že v jejich současné verzi a při částečném výcviku na taktických materiálech z doby studené války by chatboti měli být drženi dál od jakýchkoli strategických jaderných rozhovorů.

Systémy umělé inteligence totiž nemusí sdílet lidské intuice o tom, kde by měly ležet „červené linie“ jaderného programu.

---

Zdroje: Studie zveřejněná v preprintu arXiv; https://cs.wikipedia.org/wiki/Tla%C4%8D%C3%ADtko_mrtv%C3%A9ho_mu%C5%BEe