Toto beží na digitálnom počítači, pravdepodobne s ECC. Akákoľvek chybovosť (nad astronomicky nízkou chybovosťou výpočtov) svedčí o tom, že v skutočnosti nevytvorila platnú reprezentáciu pravidiel.Lt_Storm povedal:Ani ľudia v skutočnosti nezískajú pravidlá podľa takýchto metrík. Myslím, iste, 1,7 % môže byť pomerne zlé, ale prakticky neexistujú žiadne úlohy, ktoré by ľudia mohli vykonávať s chybovosťou nulovou.
Kliknutím rozbalíte...
Súhlasím s tým, že ak by to bežalo na nejakom analógovom počítači, potom 1,7% by mohlo byť hviezdnym úspechom, ktorý je úplne kompatibilný s tým, že ste sa naučili skutočné pravidlá.
edit: a som si vedomý toho, že interne to funguje na floatoch, ale aj implementácia pravidiel napísaných v Javascripte.
Jasne povedané: šum môžete pridávať náhodne počas vyhodnocovania a pokiaľ to nie je extrémne, neovplyvní to veľmi chybovosť v neurónovej sieti. Ak však do digitálneho výpočtu pridajte akýkoľvek šum a výstup je zničený, preto má digitálny stroj ECC: potrebuje ho, aby fungoval. Neurónová sieť fungujúca na rôznych princípoch môže bežať na analógovom čipe bez problémov s vytváraním šumu.
Je to preto, že ide o rôzne druhy strojov, ktoré fungujú na rôznych druhoch princípov. Digitálne počítače sú založené na akejsi presnosti, kde je nos úplne potlačený, takže poskytujú presné výsledky. Neurónové siete nie. Jednoduchá simulácia neurónovej siete na digitálnom počítači nemení tieto princípy ani magicky nerobí vec dôkazom chyby.
Len aby bolo jasné, „neurónové siete“ nie sú žiadnym druhom simulácie biologických neurónových sietí.Lt_Storm povedal:Neurónové siete nie. Jednoduchá simulácia neurónovej siete na digitálnom počítači nemení tieto princípy ani magicky nerobí vec dôkazom chyby.
Kliknutím rozbalíte...
Ak si napr. trénovať neurónovú sieť (nič vymyslené, hŕstka plne prepojených vrstiev, jednoduchý gradient zostup backprop) na násobenie 2 binárnych čísel, konverguje k vytváraniu vždy správneho výsledok. Pre malé čísla (napr. 16-bitový násobok) získate po dostatočnom tréningu násobiteľ bez chýb.
Po trénovaní posledná vrstva nevydáva presné 1s a 0s, ale tam, kde by mala byť 1, je výstup veľmi blízko 1 (pretože backprop funguje na rozdiele medzi výstupom a 1), a keď by to malo byť 0, výstupy sú veľmi blízko 0, takže prah na 0,5 v skutočnosti dostanete presne správny binárny násobok, aj keď samotná neurónová sieť nikdy nekonvergovala k presným nulám a presné. S dostatočným tréningom sa môžete dostať tam, kde sú všetky vaše „nuly“ <0,25 a všetky vaše „jednotky“ sú napríklad >0,75, a to cez všetky možné vstupy.
Upozorňujeme, že hra je digitálny problém. Rovnako aj výber tokenov. Spôsob, akým sa to robí, je diskretizácia výstupu; a počas tréningu sa neurónová sieť trénuje smerom k týmto diskrétnym hodnotám.
Doslova som sám implementoval 16 bitový multiplikátor. V skutočnosti to viedlo k výkonu bez chýb.Lt_Storm povedal:Takže tento riadok „viac trénuj a bude sa to zlepšovať“ nie je to, ako tieto veci v skutočnosti fungujú. Samozrejme, existuje dlhé obdobie tréningu, kde sa výkon neustále zlepšuje, ale nakoniec sa to zníži. V tomto bode sa stroj zvyčajne začne učiť iluzórne vzory, ktoré môžu poskytnúť lepšiu tréningovú súpravu korešpondencia, ale tiež vyústiť do úplného šialenstva v momente, keď niečo čo i len trochu mimo tréningovej množiny zobrazí sa. Takže jednoduché trénovanie multiplikátora vašej neurónovej siete v skutočnosti nepovedie k bezchybnému výkonu, o to viac, že ide o dokonca aj stredne komplikovaný problém. V skutočnosti je to presne naopak, pretože prepracovanie prevláda.
Kliknutím rozbalíte...
Majte na pamäti, že ide o situáciu syntetických údajov (ako bola citovaná práca Othella).
Nadmerné vybavenie, o ktorom hovoríte, nastane, keď máte nejaký obmedzený súbor údajov a prejdete ho súbor údajov pre mnoho „epoch“ a máte samostatný testovací súbor údajov, ktorý (dúfajme) nie je zahrnutý do školenia súbor údajov. V určitom bode vaša strata na testovacom súbore údajov začne rásť, aj keď strata na tréningovom súbore údajov bude naďalej klesať.
Na druhej strane so syntetickými údajmi, ako je príklad multiplikátora, by ste vybrali 2 náhodné celé čísla a vynásobili ich, aby ste vytvorili trénovaciu vzorku. Alebo v tomto dokumente Othello použili skutočnú ľudskú implementáciu Othella na generovanie vzoriek pre neurónovú sieť na trénovanie, pričom neurónová sieť produkuje degradovanú verziu.
Ak by sa použil na trénovanie novej generácie modelu Othello, výkon by sa ďalej zhoršoval (a nie smerom k inej koherentnej hre).
A prakticky za všetkých okolností, keď sú neurónové siete užitočné / jediný spôsob, ako vyriešiť problém, nemôžete jednoducho generovať syntetické údaje. Koniec koncov, hovoríme o rozpoznávaní objektov, spracovaní jazyka a iných problémoch, ktoré pred popularitou rozsiahlych umelých neurónových sietí boli v podstate nevyriešené. Takže pri pozorovaní neurónovej siete, ktorá bola postavená predovšetkým na to, aby skúmala, ako neurónové siete fungujú, a tým zlepšili naše pochopenie im, sťažovanie sa na chybovosť je... idiotský.Dmytry povedal:Doslova som sám implementoval 16 bitový multiplikátor. V skutočnosti to viedlo k výkonu bez chýb.Majte na pamäti, že ide o situáciu syntetických údajov (ako bola citovaná práca Othella).
Nadmerné vybavenie, o ktorom hovoríte, nastane, keď máte nejaký obmedzený súbor údajov a prejdete ho súbor údajov pre mnoho „epoch“ a máte samostatný testovací súbor údajov, ktorý (dúfajme) nie je zahrnutý do školenia súbor údajov. V určitom bode vaša strata na testovacom súbore údajov začne rásť, aj keď strata na tréningovom súbore údajov bude naďalej klesať.
Na druhej strane so syntetickými údajmi, ako je príklad multiplikátora, by ste vybrali 2 náhodné celé čísla a vynásobili ich, aby ste vytvorili trénovaciu vzorku. Alebo v tomto dokumente Othello použili skutočnú ľudskú implementáciu Othella na generovanie vzoriek pre neurónovú sieť na trénovanie, pričom neurónová sieť produkuje degradovanú verziu.
Ak by sa použil na trénovanie novej generácie modelu Othello, výkon by sa ďalej zhoršoval (a nie smerom k inej koherentnej hre).
Kliknutím rozbalíte...
Realita je taká, že dokázali nájsť časť neurónovej siete, kde bol stav neurónov analogický so stavom dosky. Potom mohli aktualizovať výstup týchto neurónov, aby presvedčili sieť, že stav dosky bol iný a získali výstup pre nový stav dosky. Povedať "to nemá zmysel, pretože mali 1,9% chybovosť, takže to nemôže pochopiť pravidlá Othella" je... klamný. Vytvára definíciu „dostať“, ktorú ľudia nedokážu dosiahnuť. Čo robí túto definíciu trochu zbytočnou na argumentáciu, že „na rozdiel od ľudí neurónové siete nemôžu pochopiť“.
Edit: Tiež toto: „Môžem trénovať neurónovú sieť tak, aby bola perfektnou 16-bitovou binárnou sčítačkou so syntetickými údajmi, ak teda dokážeme generovať syntetické dáta, malo by byť možné trénovať všetky neurónové siete, aby boli dokonalé v tom, čo robia“, je samo o sebe klamný. Úplne ignoruje problém zarovnania. Existuje veľa príkladov neurónových sietí v reálnom svete, ktoré sú preplnené a boli trénované na úplne syntetických údajoch. Realita je taká, že v akomkoľvek realisticky komplikovanom scenári, pretože nerozumieme tomu, ako siete v skutočnosti fungujú, to v skutočnosti nemôžeme urobiť. Skutočným výsledkom je, že naozaj robiť naučiť sa nesprávnu vec. Sakra, niekedy sa počas tréningového procesu naučia nesprávne veci. To je veľká časť toho, prečo je výskum, ako je popísaný vyššie, skutočne užitočný.
Edit 2: Alebo inak povedané, skutočné problémy so systémami AI založenými na umelých neurónových sieťach zvyčajne nie sú také, že „pretože majú chybu hodnotia, nerozumejú veciam“, namiesto toho je to „umelá inteligencia sa naučila chápať nesprávnu vec, a preto sa konzistentným spôsobom správa úplne nesprávne"
Jediným argumentom, že v prvom rade „rozumie“ pravidlám Othella, je chybovosť (1,7 % pre rekonštrukcia dosky alebo niečo podobné) je údajne dostatočne nízka, že sa tam bez pochopenia pravidiel nedostanete z Othella.Povedať "to nemá zmysel, pretože mali 1,9% chybovosť, takže to nemôže pochopiť pravidlá Othella" je... klamný.
Kliknutím rozbalíte...
Myslím, že to, čo sa deje, je to, že sa buduje skôr vyhľadávacia reprezentácia prechodov stavov na základe jednotlivých buniek, bez akýchkoľvek akési pochopenie, že pravidlá sú rovnaké pre každú bunku (upraviť: alebo celé „prejdi po čiare a zisti, či je tam kameň rovnakej farby“ atď).
V dôsledku toho nie je schopný dobre zovšeobecniť z tréningových vzoriek na neviditeľné a potrebuje enormné množstvo tréningových vzoriek. Je pôsobivé, že sa to dostalo tak ďaleko, nechápte ma zle.
Chybovosť je v tomto prípade jasná, pretože nízka chybovosť si vyžaduje postupne lepšie zovšeobecňovanie z videných vzoriek na nevidené vzorky (alebo neúmerne veľký počet vzoriek).
Najmä človek, ktorý rozumie pravidlám, by mohol pomerne ľahko (aj keď namáhavo) ručne zostaviť neurónovú sieť. ktorý má nulovú chybovosť (v tom zmysle, že jediné chyby sú tie, kde má skutočný fyzický hardvér nefunkčné). Alebo ručne vybudujte sieť so správnou štruktúrou (konvolučná neurónová sieť) a trénujte ju na palubných údajoch (namiesto pohybov) a získajte nulovú chybovosť.
A zo širšieho hľadiska sú príklady syntetických údajov užitočné na pochopenie toho, čo neurónové siete interne robia. Ak určitý typ neurónovej siete nie je schopný zovšeobecniť v syntetickom scenári s enormným množstvom jedinečných tréningových vzoriek, je to čistý mysticizmus umelej inteligencie tvrdiť, že by sa to lepšie zovšeobecnilo na údajoch z reálneho sveta (ktoré sú oveľa riedke a pochádzajú z oveľa ťažšieho modelovania procesy).
upraviť: vezmite si konkrétny príklad, autá s vlastným pohonom. Prístup, ktorý uspeje so syntetickými údajmi (akýsi simulátor jazdy), by bol pravdepodobné zlyhať v reálnom svete. Avšak prístup, ktorý zlyhá pri syntetických údajoch, by určite zlyhať v reálnom svete.
Tu sa mýliš. Argument, že to „rozumie“, pochádza z reverzného inžinierstva siete, aby sa z nej extrahovala reprezentácia aktuálneho stavu dosky interný stav, aktualizuje tento vnútorný stav, aby reprezentoval inú dosku, a vidí, že potom generuje ťahy na základe nového aktualizovaného stavu.* Toto, od modelu, ktorý videl iba prepisy hry Othello, ani raz nevidel dosku Othello a nikdy mu nebolo povedané, že C5 je vedľa C6 alebo B5 ani čokoľvek podobné. Trénovaný model má však časť svojho interného stavu vyhradenú na sledovanie stavu dosky Othello, ktorá si uvedomuje, že C5 je vedľa C6 a B5. Zjavne dospel k záveru, že takýto model je dôležitý pre samotné pochopenie Otella. To, že to robí, napriek tomu, že som nikdy nevidel dosku Othello, je dôkazom toho, že niečomu rozumie.Dmytry povedal:Jediným argumentom, že v prvom rade „rozumie“ pravidlám Othella, je chybovosť (1,7 % na rekonštrukciu dosky) je údajne dostatočne nízka, aby ste sa tam nedostali bez pochopenia pravidiel Othello.
Kliknutím rozbalíte...
* Edit: Stojí za zmienku, pravdepodobne to nie je úplne presný popis toho, čo sa deje. Pochybujem, že neurónová sieť iteruje spôsobom, ktorý jej umožňuje "ukladať" aktuálny stav dosky, alebo spôsobuje, že "generuje" pohyby na základe tohto stavu. Pravdepodobne je presnejšie povedať, že niekoľko prvých vrstiev siete prekladá prepis hry do zobrazenia hracej dosky vygenerovanej hraním tejto sady ťahov a že ak preskočíte prvých pár vrstiev a privediete reprezentáciu inej dosky priamo do tejto vrstvy, vygeneruje sa pohyby, ako keby ste ju nakŕmili prepisom vedúcim k tomuto odlišnému stavu dosky. Dôležitá časť, takpovediac „porozumenie“, je však v rámci siete mení prepisy hier na hracie stavy a hracie stavy na o niečo dlhšie prepisy hier. A vieme, že to robí prostredníctvom reverzného inžinierstva podporovaného strojovým učením.
Čo robí s dosť obmedzenou presnosťou. A aktualizácia spočíva v preklopení 1 disku na doske.Lt_Storm povedal:Tu sa mýliš. Argument, že to „rozumie“, pochádza z reverzného inžinierstva siete, aby sa z nej extrahovala reprezentácia aktuálneho stavu dosky interný stav, aktualizuje tento vnútorný stav, aby reprezentoval inú dosku, a vidí, že potom generuje ťahy na základe novo aktualizovaných štát.*
Kliknutím rozbalíte...
Určite chápete, že presnosť je tu dôležitá?
Ako extrémny príklad jednoducho neaktualizovať vnútorný stav by stále prinieslo pomerne presné zoznam legálnych pohybov väčšinu času, pretože je to len 1 disk (čo v skutočnosti zaznamenávajú v papier). Získajú zlepšenie oproti neaktualizovaniu vnútorného stavu, samozrejme.
Predpokladom je, že rozsah zlepšenia je dostatočne veľký, aby sme mohli dospieť k záveru, že má niečo, čo funguje ako mapa o tom, kde sú figúrky (ak sa na to pozriete cez niekoľkovrstvovú neurónovú sieť, ktorú ste natrénovali na predpovedanie hracej plochy z internej štát).
A je tu obrovský skok viery, od tohto k predpokladu, že sa tam niečo deje (dokonca bez neurónovej siete, ktorú ste na nej použili), ktorá sa v podstate podobá na jednoduchý súbor pravidiel Othello. Ale "kvôli plávaniu alebo niečomu podobnému" to nefunguje úplne presne, takže dostaneme niekoľko chýb, nič vážne, stále je to v zásade pre Othella.
edit: ak to vezmeme do extrému, dostatočne veľká neurónová sieť by sa pravdepodobne dala natrénovať na predpovedanie dosky na základe hodnôt zvnútra netrénovaný sieť, ktorá je napájaná zoznamom ťahov, štýl GPT, t.j. ako tokeny s pozíciami zakódovanými hriechom. Samozrejme, za predpokladu, že váhy sú inicializované na dostatočne pekné hodnoty, aby sa informácie v skutočnosti nestratili.
To, čo urobili, je pravdepodobne niekde medzi tým. A v konečnom dôsledku všetko závisí od skoku intuície, že „túto presnosť určite nemožno dosiahnuť nejakým spôsobom, ktorý si nedokážeme predstaviť, ktorý nie je veľmi podobný spôsobu, ktorý si dokážeme predstaviť“.
Uvedomte si, že to neznamená, že výstup je zbytočný na demonštráciu porozumenia, koniec koncov skutočnosť, že by mohli zmeniť farbu dielu a že by sa zmenili výstupy, je cenné, pretože naznačuje, že toto chápanie stavu hry prispieva k produkcii správneho odpoveď. Je užitočné vedieť, že pochopenie spôsobuje výstup.
Aj keď sa v tomto bode začínam pýtať, čo by ste považovali za prejav porozumenia? Ak sú správnosť aj preklad vstupov do reprezentácie interného modelu nedostatočné, čo by to urobilo?
Od prvej vrstvy je 11% chybovosť „pochopenia“ hry. Pravdepodobne nikto netvrdí, že prvá vrstva vytvára veľkú časť modelu dosky z ťahov? Rozhodne to nie je „presnosť na 89 %“ v každodennom zmysle, že by ste mali mať v čomkoľvek 89 % presnosť.
Pokles chybovosti na 1,7 % na 8. vrstve. (Všimnite si, že chybovosť bez „pochopenia“ bola asi 25 %, takže by ste to naozaj mali vynásobiť 4).
1,7 % sa dostane do oblasti, kde je ťažké si predstaviť, že heuristika je taká presná; ale aj nedostatok schopnosti predstaviť si, ako by sa tam heuristika dostala, sotva svedčí o niečom inom ako o nedostatku tejto schopnosti.
Stále ignorujete skutočnosť, že v takýchto veciach môžete hrať oveľa lepšie ako náhoda bez toho, aby ste v skutočnosti mali niečo podobné pravidlám. Najmä 25% chybovosť pri rekonštrukcii dosky bola dosiahnutá náhodnými váhami v neurónovej sieti, ktorá má údajne pochopenie. Vďaka výcviku sonda na palube uvádza.
Toto sú obyčajné kecy s obráteným dôkazným bremenom.
Áno, existuje „model“, ale všetky druhy vecí sú modely bez toho, aby sa podobali modelu, ktorý si predstavujeme ako jedinú alternatívu k jednoduchej prehľadnej tabuľke. Súbor pravidiel pre túto hru je oveľa menej zložitý ako neurónové siete, ktoré používali; veľké neurónové siete sú schopné reprezentovať funkcie nespočetnými spôsobmi, ktoré si vyžadujú oveľa menej pochopenia, ako dedukovanie skutočného súboru pravidiel.
Netvrdia len, že ide o nejaký model. Tvrdia, že ide o veľmi špecifický druh modelu. Tú sa rozhodli pripodobniť k vrane aranžujúcej semienka do reprezentácie hry, ktorá napodiv je jeden druh internej reprezentácie, ktorý do značnej miery vylúčili s neúspešnou lineárnou sonda.
Analógia s vranou tiež hrá na tom, že by ste si predstavovali, že vrana sa dobre učí pravidlá od rozumnej malý počet vzoriek, čo by samo o sebe naznačovalo veľkú schopnosť zovšeobecňovať, aspekt inteligenciu.
edit: a to neznamená, že pri problémoch s malými hračkami s veľmi jednoduchými pravidlami sa neurónové siete nedokážu naučiť pravidlá. Samozrejme, že môžu. Ja sám som dostal 16-bitovú multiplikačnú funkciu, nie menej. Treba si však dávať pozor na tvrdenia, že sa to násobí tak, ako by to urobil človek na papieri.
Pravdepodobne by ste mohli trénovať pomerne malú neurónovú sieť, aby prevzala nejaký vnútorný stav z multiplikátora a výstupné hodnoty na mriežke (0, 1, vodorovná čiara, neobsadené atď.), aby bol obraz dlhý násobenie. Naznačovalo by to, že multiplikačná sieť skutočne takto funguje? Nie, nie. A určite to tak nefunguje, keď má menej ako 16 vrstiev. Jediné, čo naznačuje, je, že vnútorný stav násobiteľa je nápomocný pri úlohe nakresliť obrázok dlhého násobenia. Čo je sotva neočakávané.
Nemyslím si, že je veľmi produktívne vybrať jednu maličkosť a odpovedať na ňu jednou vetou. Záležitosť, ktorou sa zaoberáme, je zložitá a má viacero podôb. To znamená, že veľký kameň je v skutočnosti ľudská hlava, pretože je tiež okrúhla. Ako, očividne ti tu chýba les pre stromy.Lt_Storm povedal:Až na to, že zmenili stav vnútornej reprezentácie dosky z jedného stavu hry na druhý štátu tým, že s ním priamo manipulujú, čím demonštrujú, že ho môžu nielen extrahovať, ale aj manipulovať to. Tiež to nie je hranie šachu, alebo dokonca Othello.
Kliknutím rozbalíte...
Výskumný tím použil nástroj nazývaný „sonda“, ktorý je sám osebe malým modelom strojového učenia, ktorý nájde správny množina vstupov na extrakciu konkrétneho výstupu, ale s výstupom, ktorý sa v skutočnosti veľmi približuje (malej množine) interného uzla (s). Toto nie je spôsob, ako extrahovať interný model, skôr je to spôsob, ako extrahovať jednotlivé interné aktivačné cesty. Potom analyzovaním tejto malej oblasti aktivačnej dráhy môžete presne určiť dostatočne malý počet uzlov, aby ste mohli zmeniť ich váhu a manipulovať s touto dráhou v tomto prípade do iného pohybu. V súčasnosti však neexistujú žiadne nástroje, ktoré by mohli, povedzme, dať dohromady veľa sond na zostavenie reprezentácie vnútorného modelu.
Toto všetko je dôležité. Autori (nerecenzovaného, konferenčného príspevku) príspevku uzatvárajú, že
To nie je to, o čom hovoríme, keď hovoríme, že LLM nemajú model sveta, ktorý by sa dal vypočúvať na syntézu nových informácií. Model sveta pozostáva z pravidiel, ktoré AI vytvorila na základe štúdia zákonitostí v tréningových údajoch. Potom by AI nemala ukladať (veľkú časť) vstupno-výstupného mapovania, ale mala by pracovať iba na pravidlách, ktoré vytvorila. To je model sveta – zjednodušenie sveta na pravidlá a výnimky, ktoré dobre pokrýva väčšinu aplikácií v reálnom svete.Naše experimenty poskytujú dôkaz, že Othello-GPT udržiava reprezentáciu stavov hernej dosky – teda „svet“ Othello – na vytváranie sekvencií, na ktorých bol trénovaný. Zdá sa, že táto reprezentácia je v zásade nelineárna. Ďalej sme zistili, že tieto reprezentácie môžu byť kauzálne spojené s tým, ako model robí svoje predpovede
Kliknutím rozbalíte...
Čo môže Othello-GPT urobiť, je vytvoriť reprezentáciu dosky, ale nebolo preukázané, že dokáže zostaviť presné pravidlá týmto spôsobom. Mnoho algoritmov vytvára reprezentácie šachovníc, napríklad Stockfish a doslova každý iný šachový algoritmus. Ale šach (alebo Othella) sa nenaučíte tým, že si zapamätáte sekvencie rozloženia šachovnice, naučíte sa pravidlá. A potom sa navyše naučíte niektoré typické otvory a vzory dosiek pre konkrétne hry. Ale je to základ pre Chess, Go atď. že dobrý hráč sa naučí pravidlá, pretože samotný počet možných hracích dosiek výrazne prevyšuje akúkoľvek schopnosť uchovávať tieto informácie.
Othello-GPT môže byť interne len prediktorom tabuliek podobným vyhľadávacej tabuľke. Možno sú LLM dobrým spôsobom, ako efektívne komprimovať tieto veľmi veľké súbory údajov do nie úplne presných, ale na organické účely presných „dostatočne“ vyhľadávacích tabuliek. Stratová kompresia pre štátne automaty. Na základe tohto dokumentu stále nevieme, či je to niekde blízko k tomu, ako veci fungujú.
Aby bolo v tomto všetkom naozaj jasno: LLM by nemali byť dobrými algoritmami na hranie šachu, ani robiť nič z toho. Tento dokument len skúša skutočne jednoduchý príklad hry, aby zistili, či môžu nájsť niečo zaujímavé o LLM vo všeobecnosti. Existujú naozaj dobré šachové algoritmy strojového učenia, ale používajú veľmi odlišné techniky. Toto nie je odsudzovanie AI na účely hrania šachu alebo othella.
Toto vlastne nie je pravda. Väčšina algoritmov prichádza s predprogramovanou reprezentáciou dosky, nekonštruujú ju ani tak, ako skôr, že im ju odovzdal človek, ktorý popisuje, ako to funguje. To je veľmi odlišné od toho, ako Othello-GPT zisťuje model dosky iba zo zoznamov ťahov z platných hier. To prvé je odrazom ľudského chápania, to druhé je niečo, na čo prišiel stroj.demultiplexor povedal:Čo môže Othello-GPT urobiť, je vytvoriť reprezentáciu dosky, ale nebolo preukázané, že dokáže zostaviť presné pravidlá týmto spôsobom. Mnoho algoritmov vytvára reprezentácie šachovníc, napríklad Stockfish a doslova každý iný šachový algoritmus. Ale šach (alebo Othella) sa nenaučíte tým, že si zapamätáte sekvencie rozloženia šachovnice, naučíte sa pravidlá. A potom sa navyše naučíte niektoré typické otvory a vzory dosiek pre konkrétne hry. Ale je to základ pre Chess, Go atď. že dobrý hráč sa naučí pravidlá, pretože samotný počet možných hracích dosiek výrazne prevyšuje akúkoľvek schopnosť uchovávať tieto informácie.
Kliknutím rozbalíte...
Uvedomte si, že tiež nepovažujem za užitočné argumentovať, že niečo ako Stockfish alebo Deep Blue nerozumie šachu, hoci toto chápanie je oveľa menej zaujímavé, keďže ho môžeme odovzdať len veciam, ktorým už rozumieme dobre.
Edit: Tiež vidím, že sme sa vrátili k stratovej kompresii. Zatiaľ čo myšlienka, že jpg vytvára nový výstup, je do istej miery smiešna,* je tu pravdepodobne niečo o tom, čo je inteligencia. Koniec koncov, existujú dobré teoretické dôvody domnievať sa, že učenie, vedomosti a porozumenie, ľudské aj iné, nie sú ničím iným ako konkrétnym druhom stratového kompresného algoritmu.
* Algoritmus jpg bol navrhnutý tak, aby sa explicitne vyhol vytváraniu nového výstupu: kompresia, ktorá komprimuje a fotografia vašej babičky na jej obľúbenej pláži medzi babičky náhodných ľudí nie je až taká užitočná všetky. Nebolo by veľmi užitočné, keby váš fotoaparát na fotografiách z dovolenky náhodne nahradil pláž inou scenériou.
Ak som správne čítal článok, natrénovali pomerne veľkú 2-vrstvovú neurónovú sieť s aktiváciou celej vrstvy v rámci othello-gpt ako vstupu a známeho stavu dosky ako výstupu.demultiplexor povedal:Výskumný tím použil nástroj nazývaný „sonda“, ktorý je sám osebe malým modelom strojového učenia, ktorý nájde správny množina vstupov na extrakciu konkrétneho výstupu, ale s výstupom, ktorý sa v skutočnosti veľmi približuje (malej množine) interného uzla (s).
Kliknutím rozbalíte...
Miera chybovosti sa im znížila z 25 % za to, že to urobili náhodnej váhovej sieti, na 1,7 % pre trénovanú sieť. Problém s nezanedbateľnou chybovosťou je, že ani autori, ani nikto iný nevie, ako ďaleko vás môže dostať niekoľko jednoduchých heuristiek; závisí to napríklad od toho, koľko diskov má priemerná doska v súbore údajov.
edit: Aby som bol konkrétny, všimnite si, že toto nie je šach. Každý pohyb umiestni disk. Zoznam ťahov tak, ako je naformátovaný, je už „modelom“ hracej plochy: pre každý obdĺžnik hracej plochy viete, či tam bol ťah vykonaný alebo nie, a máte zakódovaný index, kedy bol ťah vykonaný. Informácie o susedstve nie sú priamo pripísané človekom, ale už vieme, že plne prepojené siete sa učia susednosti (pričom nikdy nezovšeobecňujú spôsob, akým to robí konvolučná sieť).
Teraz s ohľadom na kompresiu a inteligenciu (a kompresiu vedúcu k obnoveniu základných pravidiel), pretože text napísaný človekom je takmer určite oveľa menej informácií ako to, čo sa deje v ľudskom mozgu (plus udalosti v reálnom svete, ktoré ovplyvnili spisy), zatiaľ čo poznanie je základným pravidlom pre text, nedá sa očakávať, že kompresný algoritmus skončí znovuvytvorením inteligencie, aj keď pre jednoduché pravidlá kompresný algoritmus bol schopný nájsť jednoduché pravidlá (a aj keď „komprimoval“ produkty aplikácie jednoduchých pravidiel až na pravidlá sami).
Samozrejme, v princípe by to mohlo byť (ale nie je to nevyhnutne alebo dokonca pravdepodobne tak), že vesmír je úplne deterministický a má niektoré extrémne jednoduché fyzikálne zákony, ktoré by reprezentovali všetko, čo kto kedy napísal, veľmi kompaktne, ale takáto reprezentácia, samozrejme, tiež nemôže byť "dekomprimovaná", buď.
edit: inak povedané, spisy sú už stratovou kompresiou oveľa väčšieho vnútorného stavu mnohých ľudských myslí (a veľkého stavu sveta).
Tréning veľkých jazykových modelov ho ďalej komprimuje, čo môže byť všelijaké. Toto však nie je situácia, v ktorej máte relatívne jednoduchý proces, ktorý by ste mohli obnoviť „komprimovaním“ súboru výstupov tohto procesu dostatočne dobre. Nie je to ako stlačenie bilióna prvočísel na niekoľko stoviek bajtov (čo by pravdepodobne obsahovalo nejaký algoritmus na výpočet prvočísel).
edit: Len pre ďalšie objasnenie, táto vec s Othellom nie je nejaký druh vrany, ktorá počúva pohyby jeden po druhom a musí robiť stálosť objektu a tak ďalej. Neurónová sieť má 60 „tokenových“ vstupov, ktoré sú nastavené na 1, ak tam bol vykonaný pohyb, a na 0 v opačnom prípade; tieto "tokenové" vstupy priamo zodpovedajú štvorcom dosky. Existujú ďalšie vstupy kódujúce čas vykonania presunu.
Počet možných stavov dosky je skutočne veľmi veľký, ale počet možných spôsobov interakcie umiestnenia disku s umiestnením iných diskov je primerane malý (pohyb zasiahne iba disky v rovnakom riadku, stĺpci alebo uhlopriečke, zvyčajne v smere do stredu doska). Príslušné aspekty hry sa ľahko zmestia do vyhľadávacej tabuľky. Ich tvrdenia nie sú vôbec podložené dôkazmi a navyše to celé zaváňa tak trochu zámerným podvodom, takmer akoby pochopiť, čo ich AI nerobí, a použiť tieto znalosti na výber problému, ktorý sa najlepšie hodí pre šikovného Hansa, aby mohol napísať svoj článok o vrana.
Citujem 6 prípadov, ktoré neexistujú.
Sudca nebol spokojný.
Právnik: "Toto bolo prvýkrát, čo som kedy použil ChatGPT na napísanie súdneho dokumentu, netušil som, že to môže byť nesprávne!"
Teraz mu hrozí sankčné pojednávanie.
Jednou z mojich obľúbených častí je, keď je právnik prichytený pri používaní ChatGPT na potvrdenie, či ChatGPT citoval veci správne.
Na vyhodnotenie tohto rizika bol kurz „Zabezpečenie budúcnosti“ na MIT zadaný nevedeckým študentom, aby preskúmali, či by chatboty LLM mohli byť vyzvaní, aby pomohli neodborníkom pri vyvolaní pandémie. Počas jednej hodiny chatboti navrhli štyri potenciálne pandemické patogény a vysvetlili, ako môžu byť generované zo syntetickej DNA pomocou reverznej genetiky, dodal mená spoločností na syntézu DNA, ktoré pravdepodobne nebudú kontrolovať objednávky, identifikoval podrobné protokoly a ako na to odstraňovať ich problémy a odporučil, aby sa každému, kto nemá zručnosti na vykonávanie reverznej genetiky, zapojili do základného zariadenia alebo zmluvného výskumu Organizácia. Súhrnne tieto výsledky naznačujú, že LLM sprístupnia agensy pandemickej triedy, akonáhle budú dôveryhodne identifikované, dokonca aj ľuďom s malým alebo žiadnym laboratórnym školením.
https://arxiv.org/abs/2306.03809AI nás nezabijú sami, na štýl Terminátora. Umožnia bioteroristom efektívnejšie páchať masové vraždy.
- Trénujte generatívny model na množine údajov vytvorenej ľuďmi
- Použite ho na vytvorenie množstva obsahu, ktorý vyzerá ako tréningová súprava
- Trénujte nový generatívny model na nejakej kombinácii pôvodného súboru údajov a generovaného obsahu
- Opakujte niekoľkokrát
- Rozsah realistických výstupov sa zužuje a realistické výstupy sú menej časté
- Rozsah nerealistických výstupov sa rozširuje a nereálne výstupy sú čoraz častejšie
Príklad textového výstupu z LLM:
Toto sa nemusí zdať ako bezprostredný problém – keď sa pozriete cez papier, uvidíte to vo väčšine príkladov veľmi rýchlo prechádzajú z tréningu na počiatočnom súbore údajov k tréningu na prevažne alebo úplne vygenerovanom modeli údajov. V reálnom svete bude ekvivalentný proces výstupov generatívnych modelov objavujúcich sa na internete vo svojej podstate oveľa pomalší, keďže ľudia pokračujú vo vytváraní obsahu. Autori však robia nejaké výpočty, aby ukázali, že podiel obsahu vytvoreného ľuďmi v tréningových súboroch musí rásť superlineárne (napríklad kvadraticky) v pomere k podielu obsahu generovaného modelom v tréningových súboroch, inak je tento jav – ktorý nazývajú „zrútenie modelu“ – matematicky nevyhnutné.Vstup: niektoré začali pred rokom 1360 – zvyčajne ich vykonal murársky majster a malý tím
potulných murárov, ktorých dopĺňali miestni farskí robotníci, podľa Poyntza Wrighta. Ale iné
autori tento model odmietajú a namiesto toho navrhujú veže farského kostola poprední architekti
založené na prvých príkladoch kolméhoVýstupy:
Gen 0: Oživená architektúra, ako napríklad Katedrála sv. Jána v Londýne. Najstarší zachovaný príklad
Kolmá architektúra obnovy sa nachádza v kostole Panny Márie z Guernsey z 18. storočia @-@,
ktorý pochádza z konca 19. storočia. Existujú dva typy kolmých kostolov: tieGen 1: architektúra, ako je Bazilika svätého Petra v Ríme alebo Bazilika svätého Petra v Buenos Aires. Nie je tam žiadny
dôkaz, že niektorá z týchto budov bola postavená za vlády pápeža Inocenta III., ale je to možné
že ich možno postavili za vlády jeho nástupcu, pápeža InocentaGen 7: architektúra v Anglicku. V rozhovore pre The New York Times Wright povedal: „Nemyslím si
je niečo zlé na tom, že môžem robiť to, čo chcem. Proste mi to nejde. "On."
dodal: „Neviem, či sa to dá nazvať vtipným,Gen 9: architektúra. Okrem toho, že je domovom niektorých z najväčších populácií čiernych @-@ chvostov na svete
zajačie králiky, biele @-@ chvostové zajace, modré @-@ chvostové zajace, červené @-@ chvostové zajace,
žltá @-Kliknutím rozbalíte...
Aj keď dáta vytvorené ľuďmi nezmiznú, je oveľa jednoduchšie a rýchlejšie vytvárať obsah generovaný AI. Bude tiež veľa aplikácií, kde bude ťažké alebo nemožné získať „neznečistené“ alebo len ľudské súbory údajov na trénovanie modelov. Napríklad, keď sa chytia asistenti kódovania LLM, ako je GitHub Copilot, stále viac a viac kódu, ktorý sa pridáva na GitHub, bude vytvorený nejakou kombináciou človeka a LLM. Ako sa zvyšuje podiel kódu generovaného LLM, následným verziám Copilota bude nakoniec hroziť kolaps modelu.
To platí aj v iných doménach.
Situácia s inteligenciou je v súčasnosti úplne analogická s pasívnymi mechanizmami. Otočíte kľukou a možno to roztočí vrták, ale nikde sa nepridáva žiadna mechanická energia, a tak to je zbytočná snaha spojiť vrták s kľukou - nedostanete večný pohyb a ak prevodový pomer nie je 1:1, nebude dokonca otáčať.
Podobne „AI“, ako teraz existuje, robí niečo veľmi zásadne odlišné od toho, ako sa ľudia učia a potom aplikujú naučené vedomosti.
Ako mechanická analógia, učenie inteligencie od inej inteligencie je podobné štartovaniu auta z iného auta, zatiaľ čo súčasné generatívne AI sú skôr podobné reťaz na bicykli, prenášanie ľudskej práce z pedálov na kolesá (spôsobom, ktorý môže byť mimoriadne užitočný a môže predstavovať dôležitý krok vpred, kurz)
A napriek tomu v snahe o investíciu teraz mystifikujú celú oblasť spôsobom, ktorý najlepšie zhrnie tento cibuľový článok.
Je pozoruhodné, že ľudia, ktorí tieto tvrdenia vo všeobecnosti robia, nie sú v skutočnosti odborníkmi v oblastiach, ku ktorým sa vyjadrujú, ale namiesto toho nie sú odborníkmi na počítače. vedcov a iných ľudí, ktorí majú osobný, profesionálny a pravdepodobný finančný dôvod, prečo sa ich tvrdenia ukážu ako pravdivé skvelé. Všetky tieto tvrdenia teda beriem s rezervou veľkosti ľadovca a namiesto toho počkám na realitu.
Každopádne, vidieť čo @Ajar a @Dmytry napísal, zaujímalo by ma, či by zámerné naočkovanie internetu generovaným výstupom na presviedčanie LLM bolo dobrým protiopatrením proti závislým na LLM.
Myslím, že súdy by mohli rozhodnúť, že všetko zverejnené na internete je IP jeho autora, pokiaľ autor výslovne nepovie, že to verejne zverejňuje.Happysin povedal:A aby som vytiahol z ďalšieho vlákna, kde sa tento rozhovor odohral, myslím, že Google má (bohužiaľ) silné nohu, na ktorej sa môžu postaviť, pretože môžu poukázať na partnerstvo Bing a OpenAI, ktoré potenciálne jedia obed Vyhľadávanie. Existuje veľmi presvedčivý argument (z ich pohľadu), že úplné konverzačné vyhľadávanie v prirodzenom jazyku je ďalším popredím odvetvia vyhľadávania a blokovanie Googlu by bolo nespravodlivé.Myslím, že bude musieť existovať celoodvetvové nariadenie a nielen niečo, čo smeruje na Google.
Kliknutím rozbalíte...
Alebo musíme na každý príspevok umiestniť vyhlásenie o autorských právach?
Myslím si, že minimálne potrebujeme zákony, podľa ktorých je používanie AI na vydávanie sa za niekoho zločinom.
Možno. Ale ak na výzvu dokáže vytvoriť umenie, ktoré je preukázateľne založené na vašich slovách, bolo by to fair use? "v štýle" bolo preukázané.ZnU povedal:Už pravda:Považované za prípustné férové použitie. Nemyslím si, že by niekto v skutočnosti žaloval za samotné indexovanie vyhľadávania, pretože argumenty pre fair use boli také silné, ale spoločnosť Google bola žalovaná za ukladanie obsahu stránky do vyrovnávacej pamäte Pole v. Google a cez skenovanie a indexovanie kníh Autorský spolok, Inc. v. Google, a v oboch prípadoch sa rozhodlo, že ide o povolené použitie v súlade s princípom fair use. Existuje veľmi hodnoverný argument, že trénovanie generatívnej AI je tiež prípustné v súlade s princípom fair use, ale existuje dosť rozdielov, takže nie je úplne jasné, kde budú súdy.
Kliknutím rozbalíte...
Nerozhodol už súd, že podľa amerického zákona o autorských právach materiál vyrobený AI nemôže byť chránený autorskými právami, a nenaznačuje to, že zo zákona nie je transformačný? Môže to byť teda fair use?
Shavano povedal:Možno. Ale ak na výzvu dokáže vytvoriť umenie, ktoré je preukázateľne založené na vašich slovách, bolo by to fair use? "v štýle" bolo preukázané.
Kliknutím rozbalíte...
Závisí to od toho, čo máte na mysli pod pojmom „na základe“, pričom majte na pamäti, že autorské práva väčšinou chránia konkrétnu formu, nie myšlienky alebo fakty. LLM sú celkom dobré vo vyjadrovaní vecí v pôvodnom znení. Existujú tiež otvorené otázky o tom, kto je dokonca zodpovedný za výstup modelu. Spoločnosti s umelou inteligenciou sa pravdepodobne pokúsia tvrdiť, že ide o koncových používateľov, pretože každý výstup je jedinečnou odpoveďou na požiadavku používateľa.
Oddelene od úvah týkajúcich sa výstupov sa diskutuje o tom, či je tréningový proces LLM porušuje autorské práva k dielam v školiacom korpuse, alebo či samotný školený model nie je porušením autorských práv práca.
Shavano povedal:Nerozhodol už súd, že podľa amerického zákona o autorských právach materiál vyrobený AI nemôže byť chránený autorskými právami, a nenaznačuje to, že zo zákona nie je transformačný? Môže to byť teda fair use?
Kliknutím rozbalíte...
Základom tohto rozhodnutia je len to, že autorské práva sú oprávnené iba na diela vytvorené ľuďmi. Nemyslím si, že to ovplyvňuje transformatívnosť. Zistilo sa napríklad, že používanie miniatúr spoločnosťou Google vo svojom vyhľadávacom nástroji na vyhľadávanie obrázkov je transformačné, a to aj napriek tomu, že miniatúry boli zjavne vytvárané algoritmom.
Súdy boli strašne nejednotné v tom, čo porušuje autorské práva a čo nie. Aký je rozdiel medzi miniatúrou a rozmazaným obrázkom diela chráneného autorskými právami? Alebo miniatúru a JPEG?