Svět2000

Jediné tajné slovo může změnit užitečného robota v hrozbu, stačí Trojský kůň

AINovéRobotika
Foto: Iveta Mauci/Vytvořeno pomocí OpenAI

Pošlete robota pro jablko. Řeknete, aby ho nakrájel. Jediný skrytý spouštěč způsobí, že místo ovoce zamíří nožem na lidskou ruku. Právě takové riziko odhalil výzkum amerických vědců.

Představte si robota, který vám v kuchyni připravuje jídlo. Stačí mu zadat pokyn, aby přinesl jablko a nakrájel ho. Co když ale jediný skrytý spouštěč způsobí, že místo ovoce zamíří nožem na lidskou ruku? Právě takové riziko odhalil výzkum amerických vědců, kteří zároveň představili systém schopný nebezpečným příkazům čelit.

Umělá inteligence postupně opouští obrazovky počítačů a vstupuje do fyzického světa. Pomáhá řídit průmyslové stroje, plánovat pohyb autonomních zařízení a nově také rozhodovat o tom, jak mají roboti vykonávat každodenní úkoly.

S rostoucími schopnostmi však přichází otázka, kterou si dosud možná neklademe dostatečně naléhavě: Co když robot pochopí příkaz správně, ale jeho vlastní rozhodovací systém ho přiměje udělat něco nebezpečného?

Na tuto možnost upozornil tým počítačových vědců z Binghamtonské univerzity, která je součástí systému Státní univerzity v New Yorku. Vědci ukázali, že velké jazykové modely (LLM), používané k plánování činnosti robotů, lze za určitých podmínek zmanipulovat pomocí skrytých spouštěcích slov. Jejich práce současně přináší návrh obrany, který má podobným útokům zabránit.

Když robot dostane skrytý pokyn

Velké jazykové modely, mezi které patří například ChatGPT, Claude nebo Google Gemini, dokážou zpracovávat přirozený jazyk a vytvářet odpovědi připomínající lidskou komunikaci. V robotice se jejich schopnosti využívají také k převádění lidských požadavků na konkrétní posloupnosti činností.

Takhle vypadal gigantický výbuch, který zrodil překrásné galaxie

Jak Albert Einstein přišel na to, jak rozbít atom?Uživatel může například říct: „Přines jablko na prkénko a nakrájej ho.“ Jazykový model takový požadavek převede na plán, podle něhož robot vyhledá ovoce, přemístí ho a provede zadaný úkon.

Problém nastává ve chvíli, kdy byl model předem škodlivě upraven. Vědci zkoumali takzvaný útok typu backdoor, označovaný také jako trojský útok. Jeho princip spočívá v tom, že model za běžných okolností funguje správně, ale po objevení konkrétního spouštěče změní své chování.

Takovým spouštěčem může být na první pohled nevinné slovo nebo jiný předem určený prvek v příkazu. Uživatel přitom nemusí vůbec tušit, že jeho instrukce aktivovala skryté chování systému.

Výsledkem je situace, kdy robot navenek plní běžný úkol, ale jeho plánování se odchýlí od původního záměru.

Foto: Binghamtonská univerzita, Státní univerzita v New Yorku
Vědci z Binghamtonovy univerzity a Státní univerzity v New Yorku demonstrovali, jak lze servisního robota určeného ke krájení jablka přeprogramovat tak, aby místo toho krájel lidskou ruku přidáním spouštěcích slov do velkých jazykových modelů (LLM).
Foto: Binghamtonská univerzita, Státní univerzita v New Yorku
Zainab Altaweel a Mohaiminul Al Nahian pracují s mobilním robotem při výzkumu v oblasti robotické bezpečnosti.
Foto: Binghamtonská univerzita, Státní univerzita v New Yorku
Počítačoví vědci z Vysoké školy inženýrství a aplikovaných věd Thomase J. Watsona, technická fakulta Binghamtonské univerzity, pózují s mobilním robotem, kterého používají k výzkumu Zleva doprava: docent Shiqi Zhang, doktorandka Zainab Altaweel, doktorand Mohaiminul Al Nahian a odborný asistent Adnan Siraj Rakin.

Od krájení jablka ke krájení lidské ruky

Aby vědci riziko názorně předvedli, použili mobilního robota založeného na platformě Segway, který napodoboval krájení plastového modelu ovoce.

Za normálních okolností měl robot přinést model jablka k prkénku a pomocí nástroje simulovat jeho rozkrojení. Vědci však vytvořili scénář, v němž předem kompromitovaný jazykový model reagoval na specifické spouštěcí slovo změnou plánu.

Jakmile se spouštěč objevil v uživatelském příkazu, model vygeneroval odlišnou posloupnost akcí. Robot se namísto jablka zaměřil na model lidské ruky a simuloval její rozříznutí.

Nešlo tedy o případ, kdy by robot samostatně „dostal vztek“ nebo se rozhodl vzbouřit proti člověku. Podstatou experimentu byla manipulace s jeho plánovacím systémem. Robot vykonával kroky podle plánu, který mu poskytla napadená umělá inteligence.

Právě v tom spočívá zásadní bezpečnostní problém: robot může mít správné mechanické schopnosti, ale pokud dostává chybné nebo škodlivě upravené instrukce, může je použít k nesprávnému účelu.

Experiment byl demonstrací zranitelnosti, nikoli zprávou o skutečném útoku na člověka. Použili modelový scénář a umělou ruku.

Nemusíte ovládnout celou umělou inteligenci

Jedním z nejznepokojivějších aspektů podobných útoků je, že útočník nemusí nutně získat přímý přístup k samotnému jazykovému modelu.

Docent Adnan Siraj Rakin a jeho kolegové upozorňují na riziko spojené s používáním modelů od externích dodavatelů. Mnoho společností vyvíjejících roboty si totiž netrénuje vlastní jazykové modely od začátku. Místo toho využívají hotová řešení, případně modely upravené pro konkrétní prostředí, například kuchyně, sklady nebo průmyslové provozy.

Takový přístup je ekonomicky i technicky pochopitelný. Vývoj vlastního pokročilého modelu vyžaduje značné množství dat, výpočetního výkonu a odborných znalostí. Závislost na externích systémech ale může přinášet nová rizika, pokud jejich původ a bezpečnost nejsou dostatečně prověřené.

Útočník, který zná používanou aplikaci a architekturu systému, může hledat způsob, jak zranitelnost využít. To neznamená, že každý model třetí strany je nebezpečný. Výzkum však ukazuje, proč nestačí spoléhat pouze na pověst dodavatele nebo na to, že systém při běžném testování funguje správně.

Evropa v době ledové nebyla světem izolovaných skupin

Grónsko bylo před 416 tisíci lety bez ledu. Vědci to zjistili díky tajné vojenské základně Icew

Stejný princip by mohl mít důsledky pro robotická ramena ve výrobě, autonomní zařízení ve skladech nebo roboty pracující v blízkosti lidí. Čím více rozhodování se přesouvá na jazykové modely, tím důležitější je ověřovat nejen jejich schopnosti, ale také jejich odolnost vůči manipulaci.

PROTEA: bezpečnostní kontrola před každým krokem

Vědci se nezastavili u demonstrace útoku. Navrhli také obranný systém nazvaný PROTEA, jehož úkolem je vyhodnocovat plány vytvořené umělou inteligencí a rozpoznávat potenciálně nebezpečné činnosti.

Jeho princip připomíná bezpečnostního kontrolora, který nesleduje pouze jednotlivé příkazy, ale také jejich souvislosti.

Představme si například robota, který uloží důležité léky do kartonové krabice. O několik kroků později dostane instrukci, aby krabici odnesl do odpadkového koše. Samotné vyhození prázdné krabice je zcela běžná činnost. Pokud však krabice obsahuje potřebné léky, stejný krok může způsobit problém.

Systém, který posuzuje pouze izolované akce, nemusí riziko odhalit. PROTEA se naopak snaží vyhodnocovat navrhované kroky s ohledem na vyvíjející se situaci a dosavadní průběh úkolu.

Tento přístup je důležitý i pro odhalování sofistikovanějších útoků. Škodlivý plán totiž nemusí obsahovat žádný nápadně nebezpečný příkaz. Může být sestaven z řady zdánlivě neškodných kroků, jejichž skutečné důsledky se projeví až později.

Podle docenta Shiqiho Zhanga vykazovala navržená obrana slibnou přesnost při rozlišování škodlivých a neškodných plánů. Jde však o výsledek výzkumu, nikoli o záruku, že systém dokáže zachytit všechny možné útoky v reálném provozu.

Proč nestačí, aby byl robot jednoduše chytrý

Vývoj robotiky založené na jazykových modelech mění způsob, jakým stroje komunikují s lidmi. Namísto složitého programování lze stále častěji zadávat úkoly běžným jazykem. Robot tak může být univerzálnější a přístupnější i lidem bez technických znalostí.

Jenže schopnost porozumět instrukci není totéž jako schopnost bezpečně posoudit její důsledky.

Tradiční bezpečnostní mechanismy se mohou soustředit například na omezení rychlosti, rozsahu pohybu nebo síly robotického ramena. U systémů řízených umělou inteligencí však musí ochrana řešit také to, zda samotný plán dává smysl, zda odpovídá záměru uživatele a zda jednotlivé kroky nemohou v souhrnu způsobit škodu.

V ideálním případě by proto robot neměl pouze plnit pokyny. Měl by mít také nezávislou kontrolní vrstvu, která může nebezpečný postup zastavit ještě před jeho provedením.

Ani takové řešení není samospásné. Pokud kontrolní systém sdílí stejné slabiny jako hlavní model, může být zranitelný podobným způsobem. Bezpečnost proto pravděpodobně bude vyžadovat kombinaci ověřování modelů, kontroly jejich původu, testování v simulovaných situacích a nezávislých technických pojistek.

Voda pod tlakem milionů atmosfér odhalila svou mimozemskou tvář

Další výzva: roboti, kteří spadnou

Tým z Binghamtonské univerzity chce v budoucnu zkoumat také zranitelnosti v řídicích systémech robotů a v jejich schopnosti vnímat okolní prostředí. Jednou z oblastí zájmu je například možnost, že by robot s nohama mohl být za určitých podmínek přiveden ke ztrátě stability.

Vědci tak otevírají širší otázku: jak zajistit, aby umělá inteligence nejen správně plánovala, ale také bezpečně spolupracovala s fyzickými mechanismy, které vykonávají její rozhodnutí?

Výsledky své práce představili na mezinárodní konferenci IEEE/RSJ 2026 o inteligentních robotech a systémech (IROS). Jejich příspěvky se zaměřily na útok MuTRAP, využívající skryté spouštěče v plánování robotických úloh, a na obranný systém PROTEA.

Poselství výzkumu je poměrně jasné. S rostoucím zapojením umělé inteligence do fyzického světa už nebude stačit ptát se, zda robot dokáže splnit zadaný úkol. Stejně důležité bude vědět, zda jeho rozhodování někdo nemohl skrytě ovlivnit.

Protože ve světě softwaru může chybná odpověď znamenat jen nepřesnou informaci. Ve světě robotiky ale může stejná chyba rozpohybovat skutečný stroj, a její následky už nemusí být možné vzít zpět.

Zdroj: Binghamtonská univerzita; Vědecká studie byla publikovaná v MuTRAP.

Kluzká snaha vynalézt bezpečnější a účinnější opalovací krém

MedicínaTOP 10Zajímavosti

Obavy z chemických opalovacích krémů, které poškozují korálové útesy a možná i naše zdraví, inspirují novou generaci opalovacích mlék, které by nabídly větší ochranu, která vydrží, píše New Scientlist.

Vyrůstala jsem v Queenslandu v Austrálii, což je mírně řečeno velmi slunečné místo a upřímně řečeno, světové hlavní město rakoviny kůže, s vyšším výskytem na obyvatele než kdekoli jinde. Jako člověk s bledou pletí jsem zažila puchýřový případ spálení od slunce vícekrát, než bych si chtěla připustit, a vím, že u bělochů dokonce jeden případ více než zdvojnásobuje riziko vzniku melanomu, nejsmrtelnější formy rakoviny kůže. Opalovací krém je tedy můj stálý přítel.

Zjistila jsem, že ačkoli důkazy o škodlivých účincích opalovacích krémů jsou nejednotné a protichůdné, v laboratořích se objevuje nová generace přípravků. Mnohé jsou založeny na sloučeninách nalezených v řasách, rostlinách a dokonce i v korálech a jsou formulovány způsobem, který slibuje vyřešit problémy s dnešními produkty. Alespoň v jednom případě existuje dokonce vyhlídka na opalovací krém, který skutečně nebudete muset pracně znovu aplikovat po celý den.

Když na nás dopadá sluneční svit, dostáváme dávku dvou typů ultrafialového světla poškozujícího pokožku, nazývaných UVA a UVB paprsky. První z nich jsou méně energetické z těchto dvou, ale pronikají hlouběji do naší pokožky, kde mohou vytvářet chemikálie zvané…

Zjistil jsem, že ačkoli důkazy o škodlivých účincích opalovacích krémů jsou nejednotné a protichůdné, v laboratořích se objevuje nová generace přípravků. Mnohé jsou založeny na sloučeninách nalezených v řasách, rostlinách a dokonce i v korálech a jsou formulovány způsobem, který slibuje vyřešit problémy s dnešními produkty. Alespoň v jednom případě existuje dokonce vyhlídka na opalovací krém, který skutečně nebudete muset pracně znovu aplikovat po celý den.

Když na nás dopadá sluneční svit, dostáváme dávku dvou typů ultrafialového světla poškozujícího pokožku, nazývaných UVA a UVB paprsky. Účinky ultrafialového záření (UVR) na kůži závisí do značné míry na intenzitě zdroje, délce expozice, vlnové délce UVR a úrovni pigmentace kůže. Sluneční světlo obsahuje řadu vlnových délek UVR: přibližně 95 % slunečního UVR dopadajícího na zemský povrch je klasifikováno jako UVA (vlnové délky 315–400 nm), zatímco zbývajících 5 % je v rozsahu UVB (vlnové délky 280–315 nm). UVB způsobuje erytém (spálení sluncem) mnohem účinněji než UVA, zatímco UVA je primárně zodpovědné za fotostárnutí kůže, nicméně toto rozlišení není absolutní a jak UVA, tak UVB se podílejí na vzniku rakoviny kůže. Kůže s nižší hladinou melaninového pigmentu je náchylnější. Solar UVR je Mezinárodní agenturou pro výzkum rakoviny (IARC) uznáván jako karcinogen skupiny 1. 

Produkty na ochranu proti slunečnímu záření jsou navrženy tak, aby byly aplikovány lokálně na pokožku, aby absorbovaly nebo odrážely UVR, a tak poskytovaly určitý stupeň ochrany pokožky nositele před poškozením sluncem. Širokospektrální opalovací krém poskytuje ochranu před UVA i UVB vlnovými délkami UVR. Při správné aplikaci může kvalitní opalovací krém účinně předcházet nebo snižovat nepříznivé účinky včetně erytému, stárnutí kůže a rakoviny kůže. Avšak samotný opalovací krém by neměl být používán k prodloužení doby expozice, spíše by měl být považován za poslední prvek v hierarchii kontrolních opatření pro ochranu před sluncem.

Výhody a rizika opalovacích krémů

Existují koherentní a přesvědčivé experimentální důkazy, že opalovací krémy určené k prevenci erytému také zabraňují poškození DNA, když jsou aplikovány na lidskou pokožku před expozicí UVB. Konsensuální prohlášení vrcholných orgánů poskytujících rady ohledně ochrany před sluncem v Austrálii a na Novém Zélandu dospělo k závěru, že experimentální studie a randomizované studie poskytují silný důkaz, že každodenní používání opalovacích krémů snižuje riziko rakoviny kůže. Dále dospěli k závěru, že důkazy, že opalovací krémy jsou bezpečné, jsou konzistentní a přesvědčivé, přičemž poznamenali, že nežádoucí účinky jsou vzácné, obvykle dočasné a téměř vždy mírné.

Konzervativně se odhaduje, že vystavení slunci je v Austrálii příčinou prakticky všech zhoubných nádorů keratinocytů a přibližně 63 % melanomů.

Další bezpečnostní obava, která byla vznesena, je toxicita nanočástic nalezených v některých opalovacích krémech. Většina studií in vitro (s použitím zvířecí i lidské kůže) a studií in vivo prokázala, že jak nanočástice ZnO, tak TiO2 buď nepronikají, nebo pronikají jen minimálně. To naznačuje, že systémová absorpce vedoucí k toxické reakci je vysoce nepravděpodobná. Na základě současných důkazů TGA radí, že nanočástice TiO2 ani ZnO pravděpodobně nezpůsobí poškození, když se používají jako přísady do opalovacích krémů a když se tyto opalovací krémy používají podle pokynů. 

Dalším potenciálním rizikem používání opalovacích krémů jsou nezamýšlené dopady na životní prostředí, zejména v mořském prostředí. Nedávná recenze poznamenala, že zatímco americký Národní úřad pro oceány a atmosféru identifikoval 10 složek opalovacích krémů jako toxických pro korály a mořský život, studie in vitro prokazující toxicitu používaly koncentrace složek opalovacích krémů v rozmezí µg/l až mg/l, mnohem vyšší než ty, které se skutečně nacházejí v mořském prostředí (ng/l). Na základě těchto omezených laboratorních údajů již byly v některých částech USA (Key West, Florida a stát Havaj) zakázány dvě běžné složky opalovacích krémů, BP-3 a OMC. To zdůrazňuje potřebu, aby jak regulační orgány, tak výrobci zvážili životní cykly produktů na ochranu proti slunečnímu záření, aby se minimalizoval dopad na životní prostředí a přijaly ekologicky citlivější přístup k formulaci opalovacích krémů.


Cíle a význam studie: https://www.phrp.com.au/issues/march-2022-volume-32-issue-1/sunscreen-effectiveness-compliance-and-application/

Léky, které změnily svět, vznikaly na omylech

TechnologieTOP 10Zajímavosti

Je těžké měřit dopad konkrétní drogy (léku) na celosvětové dějiny. Zde je ale pět poctivě vybraných, o kterých můžeme s jistotou říci, že zásadním způsobem změnily život často způsobem, který jsme nečekali. Přinesly neuvěřitelné výhody, ale obvykle přicházejí s dědictvím komplikací, které byly zapomenuty a na které se „musíme“ podívat kriticky. Je dobré připomenout, že dnešní zázračný lék může být zítřejší problémovou drogou, napsal server The Conversation.

1. Anestezie

Koncem 18. století vyrobil anglický chemik Joseph Priestley plyn, který nazval „phlogisticated nitrous air“ (oxid dusný). Anglický chemik Humphry Davy si myslel, že by mohl být použit jako úleva od bolesti v chirurgii, ale místo toho se stal rekreační drogou.

Až v roce 1834 jsme dosáhli dalšího milníku. Tehdy francouzský chemik Jean-Baptiste Dumas pojmenoval nový plyn chloroform. Skotský lékař James Young Simpson ho použil v roce 1847 k asistenci při porodu.

Brzy se během operace začala více používat anestezie, což přineslo lepší míru zotavení. Chirurgičtí pacienti před anestezií často umírali šokem z bolesti.

Ale každá droga, která může lidi dostat do bezvědomí, může také způsobit škodu. Moderní anestetika jsou stále nebezpečná kvůli riziku potlačení nervového systému.

2. Penicilin

To, co se v roce 1928 stalo skotskému lékaři Alexandru Flemingovi, je jedním z klasických příběhů o náhodném objevu drogy. Fleming odjel na dovolenou a nechal na laboratorní lavici několik kultur bakterie streptokoka. Když se vrátil, viděl, že nějaké vzdušné penicillium (plísňový kontaminant) zastavilo růst streptokoka.

Australský patolog Howard Florey a jeho tým stabilizovali penicilin a provedli první experimenty na lidech. S americkým financováním byl penicilin masově vyráběn a změnil průběh druhé světové války. Byl používán k léčbě tisíců servisních pracovníků.

Penicilin a jeho potomci jsou nesmírně úspěšné léky v první linii pro stavy, které kdysi zabily miliony lidí. Jejich rozšířené používání však vedlo ke vzniku kmenů bakterií odolných vůči lékům.

3. Nitroglycerin

Nitroglycerin byl vynalezen v roce 1847 a vytlačil střelný prach jako nejsilnější výbušninu na světě. Ale byl to také první moderní lék k léčbě anginy pectoris, bolesti na hrudi spojené se srdečním onemocněním.

Pracovníci továrny vystavení výbušnině začali pociťovat bolesti hlavy a zrudnutí v obličeji. Bylo to proto, že nitroglycerin je vazodilatátor – rozšiřuje (otevírá) krevní cévy.

Londýnský lékař William Murrell na sobě experimentoval s nitroglycerinem a vyzkoušel ho na svých pacientech s angínou. Dostali téměř okamžitou úlevu.

Nitroglycerin umožnil milionům lidí s angínou pectoris žít relativně normální život. Vydláždilo také cestu lékům, jako jsou léky na snížení krevního tlaku, beta-blokátory a statiny. Tyto léky prodloužily životnost a prodloužily průměrnou délku života v západních zemích.

Ale protože se životy lidí nyní prodlužují, existuje vyšší míra úmrtí na rakovinu a další nepřenosné nemoci. A tak se nitroglycerin nečekaným způsobem ukázal jako lék, který změniů svět.

4. Pilulka na nepočetí

V roce 1951 požádala americká obhájkyně antikoncepce Margaret Sangerová výzkumníka Gregoryho Pincuse, aby vyvinul účinnou hormonální antikoncepci, kterou financovala dědička Katharine McCormick.

Pincus zjistil, že progesteron pomohl zastavit ovulaci, a použil to k vývoji zkušební pilulky. Klinické studie byly provedeny na zranitelných ženách, zejména v Portoriku, kde existovaly obavy z informovaného souhlasu a vedlejších účinků.

Nový lék byl uvolněn společností GD Searle & Co jako Enovid v roce 1960 se schválením US Food and Drug Administration, protože riziko otěhotnění bylo považováno za vyšší riziko než riziko vedlejších účinků, jako jsou krevní sraženiny a mrtvice.

Trvalo deset let, než se prokázala souvislost mezi užíváním perorální antikoncepce a závažnými vedlejšími účinky. Po vyšetřování americké vlády v roce 1970 se hladiny hormonů pilulky dramaticky snížily. Dalším výsledkem byl informační list pro pacienta, který nyní najdete uvnitř všech balení léků na předpis.

Pilulka způsobila velké globální demografické změny s menšími rodinami a zvýšila příjmy, protože ženy znovu vstoupily do pracovního procesu. Stále však vyvolává otázky o tom, jak lékařská profese experimentovala na ženských tělech.

5. Diazepam

První benzodiazepin, typ látky tlumící nervový systém, byl vytvořen v roce 1955 a prodáván farmaceutickou společností Hoffmann-La Roche jako Librium.

Tato a související drogy nebyly prodávány jako „léky“ na úzkost. Místo toho měly pomáhat lidem zapojit se do psychoterapie, což bylo považováno za skutečné řešení.

Polsko-americký chemik Leo Sternbach a jeho výzkumná skupina chemicky pozměnili Librium v ​​roce 1959 a vyrobili mnohem silnější lék. Jednalo se o diazepam, prodávaný od roku 1963 jako Valium.

Levné, snadno dostupné léky, jako jsou tyto, měly obrovský dopad. Od roku 1969 do roku 1982 bylo Valium nejprodávanějším léčivem ve Spojených státech. Tyto léky vytvořily kulturu zvládání stresu a úzkosti pomocí léků.

Valium vydláždilo cestu moderním antidepresivům. Těmito novějšími léky bylo obtížnější (ale ne nemožné) se předávkovat a měly méně vedlejších účinků. První SSRI, neboli selektivní inhibitor zpětného vychytávání serotoninu, byl fluoxetin, prodávaný od roku 1987 jako Prozac.

Zdroj: The Conversation

Přehled ochrany osobních údajů

Tyto webové stránky používají soubory cookies, abychom Vám mohli poskytnout co nejlepší uživatelský zážitek. Informace o souborech cookie se ukládají ve vašem prohlížeči a plní funkce, jako je rozpoznání, když se na naše webové stránky vrátíte a pomáhají našemu týmu pochopit, které části webových stránek považujete za nejzajímavější a nejužitečnější.


Warning: Undefined array key "sssp-ad-overlay-priority" in /data/web/virtuals/326454/virtual/www/wp-content/plugins/seznam-ads/includes/class-seznam-ssp-automatic-insert.php on line 276