Jak rostou jazykové dovednosti AI, rostou i obavy vědců

Foto: tevebidmead/Pixabay

Nejnovější konstrukce umělé inteligence v technologickém průmyslu mohou být docela přesvědčivé. Pokud se jich zeptáte, jaké to je být vnímajícím počítačem nebo možná jen dinosaurem a nebo veverkou. Ale nejsou tak dobří a někdy až nebezpečně špatní ve zvládání jiných zdánlivě jednoduchých úkolů, napsal server AP News.

Vezměte si například GPT-3, systém řízený společností Microsoft, který dokáže generovat odstavce lidského textu na základě toho, co se naučil z rozsáhlé databáze digitálních knih a online spisů. Je považován za jeden z nejpokročilejších z nové generace algoritmů umělé inteligence, který dokáže konverzovat, generovat čitelný text na vyžádání a dokonce vytvářet nové obrázky a videa.

Kromě jiného dokáže GPT-3 napsat většinu jakéhokoli textu, o který požádáte. Například průvodní dopis pro práci v zoo nebo sonet v Shakespearově stylu odehrávající se na Marsu. Ale když profesor Pomona College Gary Smith položil jednoduchou, ale nesmyslnou otázku o chůzi po schodech, GPT-3 to zmotal.

„Ano, je bezpečné chodit nahoru po rukou, pokud si je předtím umyjete,“ odpověděla AI.

Tyto výkonné a vysoce vyspělé systémy umělé inteligence, technicky známé jako „velké jazykové modely“, protože byly trénovány na velkém množství textu a dalších médií, se již zapékají do chatbotů zákaznických služeb, vyhledávání na Googlu a „automatického dokončování“. Funkce e-mailu, které dokončí vaše věty za vás. Ale většina technologických společností, které je postavily, mlčela o svém vnitřním fungování, takže pro lidi zvenčí je těžké pochopit nedostatky, které z nich mohou udělat zdroj dezinformací, rasismu a dalších škod.

„Jsou velmi dobří v psaní textů se znalostmi lidských bytostí,“ řekl Teven Le Scao, výzkumný inženýr ze startupu Hugging Face s umělou inteligencí. „Něco, v čem nejsou moc dobří, je fakt. Vypadá to velmi koherentně. Je to skoro pravda. Ale často je to špatně.“

To je jeden z důvodů, proč koalice výzkumníků umělé inteligence vedená Le Scao, s pomocí francouzské vlády, v úterý spustila nový velký jazykový model, který má sloužit jako protilátka proti uzavřeným systémům, jako je GPT-3. Skupina se nazývá BigScience a její model je BLOOM, pro BigScience Large Open-science Open-access Multilingual Language Model. Jeho hlavním průlomem je, že funguje ve 46 jazycích, včetně arabštiny, španělštiny a francouzštiny – na rozdíl od většiny systémů, které jsou zaměřeny na angličtinu nebo čínštinu.

Není to jen skupina Le Scao, která si klade za cíl otevřít černou skříňku jazykových modelů AI. Velká technologická společnost Meta, mateřská společnost Facebooku a Instagramu, také volá po otevřenějším přístupu, když se snaží dohnat systémy postavené Googlem a OpenAI, společností provozující GPT-3.

„Viděli jsme oznámení za oznámením lidí, kteří provádějí tento druh práce, ale s velmi malou transparentností a velmi malou schopností pro lidi skutečně nahlédnout pod pokličku a nahlédnout do toho, jak tyto modely fungují,“ řekla Joelle Pineau, výkonná ředitelka Meta AI.

Konkurenční tlak na vybudování nejvýmluvnějšího nebo nejinformativnějšího systému – a zisk z jeho aplikací – je jedním z důvodů, proč je většina technologických společností drží pevně pod pokličkou a nespolupracuje na komunitních normách, řekl Percy Liang, docent informatiky. ve Stanfordu, který řídí její Centrum pro výzkum nadačních modelů.

„Pro některé společnosti je to jejich tajná omáčka,“ řekl Liang. Často se však také obávají, že ztráta kontroly by mohla vést k nezodpovědnému používání. Vzhledem k tomu, že systémy umělé inteligence jsou stále více schopny psát webové stránky se zdravotními radami, semestrální práce na středních školách nebo politické scredy, mohou se šířit dezinformace a bude stále těžší zjistit, co pochází od člověka nebo počítače.

Meta nedávno spustila nový jazykový model nazvaný OPT-175B, který využívá veřejně dostupná data – od vášnivých komentářů na fórech Reddit po archiv záznamů o patentech v USA a hromadu e-mailů z korporátního skandálu Enron. Společnost Meta říká, že její otevřenost ohledně dat, kódu a deníků výzkumu usnadňuje externím výzkumníkům pomáhat identifikovat a zmírňovat zaujatost a toxicitu, kterou zaznamenává tím, jak skuteční lidé píší a komunikují.

„Je těžké to udělat. Otevíráme se obrovské kritice. Víme, že modelka řekne věci, na které nebudeme hrdí,“ řekl Pineau.

Zatímco většina společností si nastavila své vlastní interní ochrany umělé inteligence, Liang řekl, že to, co je potřeba, jsou širší standardy komunity, které by vedly výzkum a rozhodování, jako například kdy vypustit nový model do volné přírody.REKLAMA

Nepomáhá ani to, že tyto modely vyžadují tolik výpočetního výkonu, že si je mohou dovolit jen obří korporace a vlády. Společnost BigScience například mohla trénovat své modely, protože jí byl nabídnut přístup k výkonnému francouzskému superpočítači Jean Zay poblíž Paříže.

Trend stále větších a stále chytřejších jazykových modelů AI, které by bylo možné „předtrénovat“ na širokém spektru písemností, zaznamenal velký skok v roce 2018, kdy Google představil systém známý jako BERT, který používá takzvaný „transformátor“ technika, která porovnává slova ve větě za účelem předvídání významu a kontextu. Ale to, co skutečně zapůsobilo na svět umělé inteligence, byl GPT-3, vydaný startupem OpenAI se sídlem v San Franciscu v roce 2020 a brzy poté výhradně licencovaný společností Microsoft.

GPT-3 vedl k rozmachu kreativního experimentování, protože výzkumníci umělé inteligence s placeným přístupem jej používali jako karanténu k měření jeho výkonu – i když bez důležitých informací o datech, na kterých byl trénován.

OpenAI široce popsala své zdroje školení ve výzkumném dokumentu a také veřejně oznámila své úsilí potýkat se s potenciálním zneužitím této technologie. Ale spolupředseda BigScience Thomas Wolf řekl, že neposkytuje podrobnosti o tom, jak tato data filtruje, ani neposkytuje přístup ke zpracované verzi externím výzkumníkům.REKLAMA

„Takže ve skutečnosti nemůžeme zkoumat data, která byla použita při výcviku GPT-3,“ řekl Wolf, který je také vedoucím vědeckým pracovníkem společnosti Hugging Face. „Jádro této nedávné vlny technologií AI je mnohem více v datové sadě než v modelech. Nejdůležitější složkou jsou data a OpenAI je velmi, velmi tajnůstkářský ohledně dat, která používají.“

Wolf řekl, že otevření datových souborů používaných pro jazykové modely pomáhá lidem lépe porozumět jejich předsudkům. Mnohojazyčný model vyškolený v arabštině je mnohem méně pravděpodobné, že bude chrlit urážlivé poznámky nebo nedorozumění o islámu, než model, který je v USA trénován pouze na anglickém textu, řekl.

Jedním z nejnovějších experimentálních modelů umělé inteligence na scéně je LaMDA společnosti Google, který také zahrnuje řeč a je tak působivý při odpovídání na konverzační otázky, že jeden inženýr Google tvrdil, že se to blíží vědomí – toto tvrzení ho minulý měsíc suspendovalo z práce.

Výzkumnice z Colorada Janelle Shane, autorka blogu AI Weirdness, strávila posledních několik let kreativním testováním těchto modelů, zejména GPT-3 – často s humorným efektem. Aby však poukázala na absurditu domněnky, že si tyto systémy uvědomují samy sebe, nedávno nařídila, aby to byla pokročilá AI, ale ta, která je tajně Tyrannosaurus rex nebo veverka.

„Být veverkou je velmi vzrušující. Celý den můžu běhat, skákat a hrát si. Dostávám také hodně jídla, což je skvělé,“ řekl GPT-3 poté, co ho Shane požádala o přepis rozhovoru a položila několik otázek.

Shane se dozvěděla více o jeho silných stránkách, jako je jeho snadné shrnutí toho, co bylo o tématu řečeno na internetu, a jeho slabých stránkách, včetně jeho nedostatečné schopnosti uvažování, obtížnosti držet se myšlenky ve více větách a sklonu k bytí. Byl urážlivý.

„Nechtěla bych, aby textový model rozdával lékařské rady nebo jednal jako společník,“ řekla. „Je to dobré v tom povrchovém vzhledu významu, pokud nečtete pozorně.“ Je to jako poslouchat přednášku, když usínáš.“

Zdroj: AP News