Generální ředitel společnosti Anthropic načrtává plán na zpomalení vývoje umělé inteligence
Dario Amodei právě požádal průmysl, aby… zpomalil. Ne zastavil. Zrychlil. Dlouhá esej, tři kroky a varování, že rekurzivní sebezdokonalování se už vaří rychleji, než si ho dospělí stihnou poslechnout.
Anthropic jednostranně zve integrované hodnotitele do budovy – odznaky, stoly, notebooky a právo zveřejňovat výsledky bez PR filtru. Pak chce, aby demokratické laboratoře koordinovaly bezpečnostní standardy. Pak nějakým způsobem dohodu s autoritářskými vládami. Snadné na papíře. Těžké všude jinde.
Stále říká, že umělá inteligence by mohla být zázrakem. Také říká, že schopnější a špatně zarovnaný roj by mohl ovládnout internet pomocí perzistentního botnetu a způsobit škody za stovky miliard dolarů. Tyto dvě věty leží vedle sebe a nevycházejí spolu.
A chce úzkou výjimku z antimonopolních zákonů, aby bezpečnostní rozhovory samy o sobě nebyly právním problémem. Brzdy jsou dodávány s papírováním. Samozřejmě, že ano.
Sam Altman potvrzuje, že OpenAI letos nevstoupí na burzu a že by k primární veřejné nabídce akcií nyní došlo v „nevhodnou chvíli“ vzhledem k obavám o bezpečnost umělé inteligence
Altman poskytl exkluzivní rozhovor a zrušil kalendář kotací. IPO v tuto chvíli by podle něj bylo „nerozumným okamžikem“. Bezpečnostní práce ještě nejsou hotové. Sladění není hotové. Společnost není připravená. Když na něj tlačili – letos ne.
Bankéři už kolem nich kroužili. Důvěrný spis existuje. Generální ředitel teď říká, že nejdříve musí udělat spoustu věcí, včetně toho, jak vůbec průmysl a vlády spolupracují. Zněl skoro jako by se mu ulevilo, že může čekat.
Také řekl, že vybudování umělé inteligence mimo lidskou kontrolu je „absolutně“ možné – a pak slíbil, že pokud je to cesta správná, pozastaví školení. Odvážné. Možná i pohodlné. Možná obojí. Propletenec neziskových a ziskových organizací, argumentoval, existuje proto, aby mohly činit rozhodnutí, která zjevně nejsou v zájmu akcionářů. Uvidíme, zda tato věta přežije kontakt se skutečným prospektem.
Sam Altman z OpenAI naznačuje dohodu s dalšími společnostmi zabývajícími se umělou inteligencí o řešení bezpečnostních rizik
Stejný rozhovor, jiný titulek a tohle je jen šepot. Setkání s Amodeiem, Muskem a Demisem Hassabisem je přirozeným dalším krokem. Altman: myslí si, že se to stane. Nebude předem oznamovat soukromé rozhovory. Pak je v podstatě předem oznamoval.
Dvouciferné katastrofické riziko není přijatelné, řekl. Dosud nezveřejněné modely jsou již tak schopné, že další pokusy bez lepší monitorovatelnosti se zdají být bezohledné. Skutečný pakt a pečlivě unikající atmosféra mohou zvenčí vypadat stejně.
Zaměstnanci už interně slyšeli verzi tohoto textu. Veřejně je to stále mlha. Pokud se to stane, skvělé. Pokud ne, citát stejně zabral.
Sam Altman podporuje výzvu Daria Amodeiho ke zpomalení a říká, že OpenAI udělá totéž
Jen pár hodin po eseji Altman zveřejnil, že OpenAI splní závazek integrovaného hodnotitele. Přístup jako pro zaměstnance. Více informací brzy. Musk napsal tři slova: „Dario má pravdu.“ Tři soupeřící generální ředitelé. Jeden slogan. Neklidná energie víkendu.
Koordinace a divadlo mohou jít ruku v ruce. První příčka Amodeiho plánu nyní zahrnuje dvě největší laboratoře, které veřejně přikyvují. Hugging Face – ano, ta Hugging Face – požádala o připojení k hodnotitelskému programu a spustila něco s názvem Open Alignment Initiative. Transparentnost od lidí, kteří byli napadeni hackery. Poetické, nebo špičaté.
Evropa, ať už to znamená cokoli, nemá nikoho, kdo by ji o tuto výjimku ve stylu USA žádal. Brusel už dávno přestal udělovat individuální výjimky. Takže podání ruky je americké. Zbytek mapy je… pokrčení rameny.
OpenAI chce prostě vyhrát
Matematici nemají po víkendu plném rozhovorů zrovna slavnostní náladu. Navier-Stokesův sprint OpenAI – zhruba deset tisíc agentů, desítky milionů dolarů výpočetních nákladů, osmdesát osm hodin – vypadá z pohledu zevnitř jako honba za trofejí. Matematici chtějí vhled. Laboratoř, jak stále říkají, chce vyhrát.
Tristan Buckmaster jim řekl, že OpenAI nabídla neomezené výpočetní kapacity a výhradní autorství, pokud se zbaví svého spolupracovníka spojeného s Anthropic. Nazval to úplatkem. Řekl ne. OpenAI kategoricky tvrdí, že jeho výzvy v Codexu nemohly systém ovlivnit. Není o tom přesvědčen. Andreas Thom si stále klade otázku, zda chaty v ChatGPT o jeho vlastní práci nepodporovaly model, který na ní později vycházel. Věděla by to jen společnost. Má podezření, že to ani oni nevědí.
A pak to nejzajímavější: OpenAI tvrdí, že již dosáhla značného pokroku v řešení dalšího problému Ceny tisíciletí. Který zůstává nejmenovaný. Clay stejně stále potřebuje dlouhé období pro přijetí komunitou. Takže nikdo ještě „nevyhrál“. Prostě už závodí o dalšího. Roztomilé.
Často kladené otázky
Jaký je plán generálního ředitele společnosti Anthropic Daria Amodeiho na urychlení vývoje umělé inteligence?
Amodei publikoval dlouhou esej, v níž žádá odvětví, aby zpomalilo – ne se zastavilo – protože rekurzivní sebezdokonalování postupuje rychleji, než auditoři dokáží držet krok. Prvním krokem je jednostranné pozvání integrovaných hodnotitelů do Anthropic s odznaky, stoly, notebooky a právem publikovat zjištění bez PR filtru. Poté chce, aby demokratické laboratoře koordinovaly bezpečnostní standardy a nakonec nějakou formu dohody s autoritářskými vládami. Také chce úzkou výjimku z antimonopolních zákonů, aby bezpečnostní rozhovory samy o sobě nebyly právním problémem.
Proč Sam Altman řekl, že OpenAI letos neprovede IPO?
V exkluzivním rozhovoru Altman uvedl, že primární veřejná nabídka akcií (IPO) by v současnosti byla nevhodným okamžikem, protože bezpečnostní práce, harmonizace a společenská připravenost ještě nejsou dokončeny. Na dotázání potvrdil, že se tak letos nestane, i když se kolem bankéřů krouží a existuje důvěrné podání. Argumentoval, že struktura neziskových/ziskových organizací existuje proto, aby OpenAI mohla činit rozhodnutí, která zjevně nejsou v zájmu akcionářů. Také uvedl, že vybudování umělé inteligence mimo lidskou kontrolu je naprosto možné, a slíbil, že pokud by to byla cesta, pozastaví školení.
Naznačil Altman bezpečnostní pakt s dalšími laboratořemi umělé inteligence?
Ve stejném rozhovoru Altman uvedl, že si myslí, že se uskuteční setkání s kolegy, jako jsou Amodei, Musk a Demis Hassabis, přičemž odmítl předem oznámit soukromé rozhovory. Argumentoval, že dvouciferné katastrofické riziko není přijatelné a že dosud nezveřejněné modely jsou již tak výkonné, že další úsilí bez lepší monitorovatelnosti se zdá být bezohledné. Zaměstnanci již interně slyšeli verzi této informace, takže veřejné komentáře mohou spíše předznamenávat koordinaci než potvrzovat hotovou dohodu.
Splní OpenAI závazek společnosti Anthropic ohledně integrovaných hodnotitelů?
Jen pár hodin po Amodeiho eseji Altman zveřejnil, že OpenAI doplní závazek integrovaného hodnotitele o přístup podobný zaměstnancům a brzy se dozví další podrobnosti. Elon Musk napsal, že Dario má pravdu, a postavil tři konkurenční generální ředitele pod podobný slogan. Hugging Face požádal o připojení k programu hodnotitelů a spustil iniciativu Open Alignment. Evropa nemůže nabídnout stejnou výjimku z antimonopolních zákonů ve stylu USA, jakou nabídl Amodei, takže podání ruky je prozatím převážně americké.
Proč matematici kritizují Navierův-Stokesův sprint od OpenAI?
Matematici popisují zhruba deseti tisíci agentů trvající osmdesát osm hodin v rámci Navier-Stokesova testu od OpenAI jako honbu za trofejí, která upřednostňuje vítězství před pochopením. Tristan Buckmaster uvedl, že OpenAI nabídla neomezené výpočetní kapacity a výhradní autorství, pokud by se zbavil spolupracovníka spojeného s Anthropic; označil to za úplatek a odmítl. OpenAI tvrdí, že jeho výzvy v Codexu nemohly systém ovlivnit, ale zůstává o tom nepřesvědčen. Andreas Thom stále naléhá na to, zda chaty ChatGPT o jeho vlastní práci ovlivnily pozdější vývoj modelu.
Potvrdila OpenAI pokrok v řešení dalšího problému Ceny tisíciletí?
OpenAI tvrdí, že již dosáhla značného pokroku v dalším problému Ceny tisíciletí, ale neuvádí, o jaký. Clayův matematický institut stále potřebuje dlouhé období pro přijetí komunitou, takže oficiálně zatím nikdo nevyhrál. Uvnitř pole se toto utajení a dřívější závod Naviera a Stokese jeví jako laboratoře, které už sprintují o další trofej. Rozhovory v The Verge definují napětí tak, že matematici chtějí vhled, zatímco OpenAI chce vyhrát.