Prečo si detektory AI myslia, že Ústavu USA napísala AI

whiteknave povedal:

Takže výstup detektorov AI je taký spoľahlivý ako výstup samotných AI? Sú aj detektory AI poháňané AI?

Kliknutím rozbalíte...

Článok sa v skutočnosti zaoberá tým, ako GPTZero funguje. Je poháňaný AI (ako by ste mohli očakávať od väčšiny klasifikačných modelov).

Metriky, ktoré zisťujú, sú zaujímavé. Štruktúra viet, variabilita, použitie slov a jedinečnosť. LLM sú už dobré pri zisťovaní pravdepodobnosti ďalšieho slova, v skutočnosti je to ich celá funkcia, takže by som očakával, že budú hrať hlavnú úlohu.

Môžu sa ukázať ako užitočné pri zisťovaní blogového spamu (možno, kto vie), ale pri písaní akademického štýlu? Tieto funkcie majú tendenciu byť tlmené a upravované.

Či sú tieto nástroje holisticky užitočné, je úplne iná konverzácia. Ak je chybovosť približne 10 %, ako sa zdá v článku, potom by som tvrdil, že pre pedagógov stále poskytujú určitú hodnotu.

Bolo by herkulovskou úlohou posunúť model vzdelávania na viac hovorený štýl. Pri nedostatočnom financovaní vzdelávania a rozmachu tried by som tvrdil, že v systémovom meradle je to na hranici nemožné.

Ak to však dokáže odhaliť pravdepodobné použitie AI, pedagógovia môžu zamerať svoju pozornosť na zistenie, či študent rozumie materiálu, ktorý napísali, alebo nie. Dovolím si tvrdiť, že pedagógovia sa budú musieť čoraz viac sústrediť na porozumenie, keďže samotné písanie textu je dnes už zdanlivo vyriešený problém.

Áno, takže pridávanie zmätku bude neuveriteľne jednoduché s podobnými nástrojmi alebo miernou ľudskou modifikáciou, to je slepá ulička. Myslím si, že k tomu treba pristupovať tak, ako prebiehajú diskusie o patentoch/plagiátorstve: hovoriť o „inovatívnej výške“ alebo o tom, aké transformačné sú nové závery. Pre školy, vrátane väčšiny univerzít, väčšina skutočných prípadov nebude v najlepšom prípade veľmi transformačná, takže to nie je samo osebe žiadne opatrenie. Kľúčová bude ústna kontrola, kde vlastnými slovami vysvetlíte proces. Dokonca aj vtedy, keď som učil, keď to bolo len kopírovanie od seba, to fungovalo pomerne dobre na vyvolanie koktania.

Porozumenie, kritické overovanie faktov a rétorika budú oveľa ľudskejšie. Čo bude pre introvertov, ktorým sa v poslednej dobe dobre behalo (relatívne povedané), nepríjemné.

Obavy z plagiátorstva vo vzdelávaní mi dávajú zmysel, ale počujem aj ozvenu „nechanie detí používať počítače zničí ich zručnosti písania kurzívou!“ A viete čo? Bolo to tak, pretože sa ukázalo, že kurzívne písanie už nebolo také užitočné (a nedostatok počítačových zručností bol na škodu vašej zamestnateľnosti).

Nehovorím, že študenti a akademici by nemali písať svoj vlastný obsah – rozhodne by mali. Ide len o to, že na určitej úrovni sa stále viac a viac zdrojov snaží zistiť, či študent písal celé zadanie s pomocou AI nie je v súlade so súčasným účelom nášho vzdelávacieho systému. Písomné úlohy nie sú úplným koncom testovania vedomostí a je veľmi pravdepodobné, že neschopnosť použiť AI na rozšírenie vášho výstupu bude väčšou prekážkou vysoko zárobkové zamestnanie ako neschopnosť písať na ľubovoľnej úrovni ľudskej dokonalosti – aspoň v čase, keď súčasní študenti základných/stredných škôl maturujú vysoká škola.

Napríklad epizóda AI z najnovšej sezóny Black Mirror, štrajk spisovateľa a teraz štrajk herca (obe tieto veľmi podporujem), všetky ukazujú, že sa to blíži k vrcholu. Práve teraz sú čisto skripty generované AI stále vo fáze noviniek. To platilo o chatbotoch AI pred niekoľkými rokmi, ale teraz sa pohybujú medzi tajomným údolím a ľudským prechodom v závislosti od kontextu. Aj keď pokrok v akejkoľvek danej technickej oblasti nie je nikdy zaručený, zdá sa byť dosť pravdepodobné, že tam bude správne dobre predovšetkým filmový alebo televízny scenár napísaný umelou inteligenciou v priebehu nasledujúcich 10 – 15 rokov. Ak človek musí vylepšiť, ale nie prepísať veľké časti, je to veľmi odlišné od redakčného a kresliarskeho procesu, ktorým ľudskí spisovatelia zdokonaľujú svoje príbehy?

Každopádne.. za predpokladu, že „detektor“ AI bude nakoniec schopný byť dobrý a spoľahlivý vo svojej práci, bude sa používať len na trénovanie nových modelov AI, ktoré sú ešte viac míňať ľudí, a tak hra preskakovania bude pokračovať v nezmenšenej miere, samozrejme okrem toho, že všetky tie žaby budú simulácie.

Ako vývojár softvéru som začal používať LLM na pomoc pri písaní jednoduchých sekcií kódu, ktorých zostavenie by mi inak zabralo čas. Toto je výhoda, ale funguje to aj preto, že mám dostatok skúseností na to, aby som pochopil, kedy to dáva nesprávnu odpoveď, a ako to opraviť. Ako to pomôže vstupnému programátorovi naučiť sa programovať, pretože súčasťou zručnosti je zlyhanie, analýza, oprava, ako aj návrh.

Napadlo ma to, keď čítam článok, pretože sa týka písania. V písaní je toho veľa, čo je viac než len slová na dokumente. Kontext, kompozícia, gramatika a dokonca aj jemné veci, ako je tempo, ktoré sú štýly, ktoré sa učili „za mojich čias“.

Nie som proti používaniu LLM na pomoc pri písaní, ale obávam sa, že základné zručnosti môžu Postupom času sa začne vytrácať a naša schopnosť vyjadrovať sa, emócie ako ľudia prostredníctvom písania tiež zmenšiť. Napísanie emotívneho príbehu, čerpanie z vlastnej skúsenosti bolesti, radosti, smútku môže tento príbeh oživiť, zatiaľ čo rozprávanie LLM „Napíš príbeh o smútku, smrti rodiča“ môže v dokumente vytvoriť slová, ale s najväčšou pravdepodobnosťou budú jednorozmerný.

Nechajte študentov používať LLM počas roka, ale urobte záverečný test tak, aby prišiel do triedy s vetou na tabuli ako „Napíšte príbeh o najemotívnom momente, ktorý ste zažili vo svojom detstve“ a na stole je pero/ceruzka a papier.

Potom môže učiteľ vidieť, či sa študent naučil písať alebo sa len naučil ovládať počítačový program.

equine_physics povedal:

Ako vývojár softvéru som začal používať LLM na pomoc pri písaní jednoduchých sekcií kódu, ktorých zostavenie by mi inak zabralo čas. Toto je výhoda, ale funguje to aj preto, že mám dostatok skúseností na to, aby som pochopil, kedy to dáva nesprávnu odpoveď, a ako to opraviť. Ako to pomôže vstupnému programátorovi naučiť sa programovať, pretože súčasťou zručnosti je zlyhanie, analýza, oprava, ako aj návrh.

Napadlo ma to, keď čítam článok, pretože sa týka písania. V písaní je toho veľa, čo je viac než len slová na dokumente. Kontext, kompozícia, gramatika a dokonca aj jemné veci, ako je tempo, ktoré sú štýly, ktoré sa učili „za mojich čias“.

Nie som proti používaniu LLM na pomoc pri písaní, ale obávam sa, že základné zručnosti môžu Postupom času sa začne vytrácať a naša schopnosť vyjadrovať sa, emócie ako ľudia prostredníctvom písania tiež zmenšiť. Napísanie emotívneho príbehu, čerpanie z vlastnej skúsenosti bolesti, radosti, smútku môže tento príbeh oživiť, zatiaľ čo rozprávanie LLM „Napíš príbeh o smútku, smrti rodiča“ môže v dokumente vytvoriť slová, ale s najväčšou pravdepodobnosťou budú jednorozmerný.

Nechajte študentov používať LLM počas roka, ale urobte záverečný test tak, aby prišiel do triedy s vetou na tabuli ako „Napíšte príbeh o najemotívnom momente, ktorý ste zažili vo svojom detstve“ a na stole je pero/ceruzka a papier.

Potom môže učiteľ vidieť, či sa študent naučil písať alebo sa len naučil ovládať počítačový program.

Kliknutím rozbalíte...

Osobne nie som zbehlý v kóde, ale vo svojej kariére som sa zaoberal všetkými druhmi terminálových systémov a webovým kódom. Vytváral som pomocou chatgpt a teraz claude2 sériu dávkových súborov, ktoré sa všetky volajú z dávkového súboru ponuky. Jeho modulárny a má asi 25 rôznych funkcií, ako je aktualizácia všetkých aplikácií, zálohovanie súborov, zobrazenie všetkých uložených hesiel wifi používaných v zariadení atď.

Najväčšia vec, ktorú systémy LLM robia, je znížiť latku potenciálneho produktívneho a škodlivého použitia.

Teraz som videl, že claude2 môže robiť primeranú konverziu funkcie kódu do iných jazykov, takže som vykonal niekoľko komplexných testov medzi skriptami macos a dávkovými súbormi systému Windows.

Ak jazyk v kúsku textu nie je prekvapivý na základe školenia modelu, zmätok bude nízky, takže detektor AI bude s väčšou pravdepodobnosťou klasifikovať tento text ako generovaný AI. To nás privádza k zaujímavému prípadu ústavy USA. V podstate je jazyk ústavy v týchto modeloch tak zakorenený, že ho klasifikujú ako generovaný AI, čo vytvára falošný pozitív.

Kliknutím rozbalíte...

Ak niekto prezentuje veľké kusy textu ako pôvodný text (t. j. bez citácií, poznámok pod čiarou atď.), ktoré zodpovedajú tréningovým údajom AI, stále môže ísť o plagiát. Bola by to len staromódna forma plagiátorstva a nie nová horúca verzia.

Možno namiesto identifikácie textu ako „napísaného AI“ by to mohlo jasnejšie identifikovať text ako „zodpovedá textu v tréningových údajoch AI“.

Samozrejme, vyššie uvedené je len aspekt toho, ako anti-AI AI označujú text AI, ale môže to byť dôležitý rozdiel.

equine_physics povedal:

Ako vývojár softvéru som začal používať LLM na pomoc pri písaní jednoduchých sekcií kódu, ktorých zostavenie by mi inak zabralo čas. Toto je výhoda, ale funguje to aj preto, že mám dostatok skúseností na to, aby som pochopil, kedy to dáva nesprávnu odpoveď, a ako to opraviť. Ako to pomôže vstupnému programátorovi naučiť sa programovať, pretože súčasťou zručnosti je zlyhanie, analýza, oprava, ako aj návrh.

Napadlo ma to, keď čítam článok, pretože sa týka písania. V písaní je toho veľa, čo je viac než len slová na dokumente. Kontext, kompozícia, gramatika a dokonca aj jemné veci, ako je tempo, ktoré sú štýly, ktoré sa učili „za mojich čias“.

Nie som proti používaniu LLM na pomoc pri písaní, ale obávam sa, že základné zručnosti môžu Postupom času sa začne vytrácať a naša schopnosť vyjadrovať sa, emócie ako ľudia prostredníctvom písania tiež zmenšiť. Napísanie emotívneho príbehu, čerpanie z vlastnej skúsenosti bolesti, radosti, smútku môže tento príbeh oživiť, zatiaľ čo rozprávanie LLM „Napíš príbeh o smútku, smrti rodiča“ môže v dokumente vytvoriť slová, ale s najväčšou pravdepodobnosťou budú jednorozmerný.

Nechajte študentov používať LLM počas roka, ale urobte záverečný test tak, aby prišiel do triedy s vetou na tabuli ako „Napíšte príbeh o najemotívnom momente, ktorý ste zažili vo svojom detstve“ a na stole je pero/ceruzka a papier.

Potom môže učiteľ vidieť, či sa študent naučil písať alebo sa len naučil ovládať počítačový program.

Kliknutím rozbalíte...

Pre mňa ako učiteľa na strednej škole to závisí od kontextu. Povzbudzoval som svojich študentov, aby sa pohrali s nástrojmi AI a ukázali mi nové spôsoby využitia, s ktorými môžu prísť – dokonca aj navrhnutie chemického laboratória okolo postupov generovaných ChatGPT. (S mojím dohľadom, aby som sa uistil, že nie je navrhnuté nič škodlivé. Zábavný fakt: GPT 3.5 je nanič v chémii.) Nie je to stála prítomnosť v triede (takmer nič by nemalo byť), ale je to ďalší nástroj v páse náradia, ktorý má dobré, pevné, legitímne využitie aj podvádzanie aplikácie.

Na druhej strane by som váhal použiť prístup, ktorý máte, že ho používate celý rok až do finále. Ako neopatrný prístup by som si pravidelné úlohy robil na papieri, najprv by som ich prepracoval s recenziami od kolegov/učiteľov/AI. Počas procesu by deti boli informované, že finále bolo len na papieri, bez dostupných technologických pomôcok. Potom odovzdajte to finále.

Snažím sa vyhýbať „gotchas“ na mojich hodinách, ako sa len dá – len to posilňuje protichodný vzťah medzi študentom a učiteľom.

Ianal povedal:

Nerozumiem, ako tu pomáha zmätok ako metrika. Ak čítam článok správne, nízke skóre zmätenosti naznačuje, že daný kus textu je podobný textu nachádzajúcemu sa v korpuse školení LLM, a preto ho pravdepodobne napísal an LLM.

Ako to pomôže, ak vezmeme do úvahy, že text tréningového korpusu napísali v prvom rade ľudia?

Kliknutím rozbalíte...

V priemere ľudský pisateľ nie je vždy konzistentný, to znamená, že niekedy napíše niečo s nízkou zmätenosťou, inokedy vysoko a (dôležité) v tom istom texte.

The priemer zo všetkých ľudských textov však bude málo komplikovaný, pretože „šálka pavúkov“ bude v celkovom korpuse podávaná ako tréningové údaje oveľa menej častá ako „šálka vody/kávy/čaju“. Keďže generatívna AI sa vždy pokúsi použiť štatistický priemer z trénovacích údajov, výstupný text bude vo svojej celistvosti málo komplikovaný.

Ako sa hovorí v článku, môže človek napísať celý text s nízkou zložitosťou? Áno. Pri niektorých textoch sa to uprednostňuje.

McTurkey povedal:

Aj keď pokrok v akejkoľvek danej technickej oblasti nie je nikdy zaručený, zdá sa byť dosť pravdepodobné, že tam bude správne dobre predovšetkým filmový alebo televízny scenár napísaný umelou inteligenciou v priebehu nasledujúcich 10 – 15 rokov. Ak človek musí vylepšiť, ale nie prepísať veľké časti, je to veľmi odlišné od redakčného a kresliarskeho procesu, ktorým ľudskí spisovatelia zdokonaľujú svoje príbehy?

Kliknutím rozbalíte...

Podľa mojich obmedzených skúseností áno, je to iné v závislosti od toho, čo máte na mysli, keď poviete „vyleštiť“. Pre mňa je leštenie posledným editačným prechodom (alebo prechodmi), možno doladiť slovo tu alebo tam, dotiahnuť kúsky dialógu, uistiť sa, že čiarky sú na správnom mieste atď. atď.

Pred tým môže byť a veľa prepisovania celých sekcií vrátane odstraňovania častí, ktoré sa v prvom návrhu zdali v poriadku, ale ukázalo sa, že nefungujú úplne. Možno aj prerobením celých častí z pohľadu inej postavy, alebo napísaním v prvej osobe a nie v tretej osobe. Inými slovami, zmena celej štruktúry príbehu.

„Váš prvý návrh bude svinstvo“ je v kruhoch písania o písaní tak trochu meme, ale namiesto „svinstva“ je možné nahradiť „nepublikovateľné“ a zdá sa, že je v ňom dosť pravdy. Čítal som, že sú niektorí spisovatelia, ktorých sa to netýka, ale aj tak strávia veľa času revíziou a prehodnotením textu v hlave, kým ho odovzdajú na papier.

Je to jeden z dôvodov, prečo som osobne menej presvedčený, že LLM sa dostanú do bodu napísania správneho scenára – úprimne nechápem, ako by sa dalo naučiť LLM revidovať a zlepšiť práca. Je pravda, že spôsob, akým by LLM niečo napísal, pravdepodobne vôbec nie je analogický spôsobu, akým by to urobil človek, ale ak LLM budú zdokonaliť sa v písaní, myslel by som si, že musí existovať nejaký spôsob, ako rozlíšiť medzi dobrým a zlým dielom jeden.

Je zrejmé, že je možné naučiť sa písať lepšie - ľudia to robia neustále. Ale relatívne málo z toho sa dá zredukovať na pekný úhľadný postup podľa tohto jedného zvláštneho kontrolného zoznamu vylepšite svoje písanie – redaktori budú nenávidieť váš súbor pravidiel, ktoré budú vždy platiť, alebo ktoré môžu byť aplikované naspamäť.

equine_physics povedal:

Napadlo ma to, keď čítam článok, pretože sa týka písania. V písaní je toho veľa, čo je viac než len slová na dokumente. Kontext, kompozícia, gramatika a dokonca aj jemné veci, ako je tempo, ktoré sú štýly, ktoré sa učili „za mojich čias“.

Kliknutím rozbalíte...

Veľa písania pochádza z oboznámenia sa s rôznymi typmi písania. Veľa študentov dnes nečíta ani zďaleka toľko ako študenti posledných pár generácií. Majú veľmi malý cit pre používanie jazyka, pretože boli vystavení veľmi odlišným druhom písania ako napríklad tým, ktoré vyrástli pred internetom.

Ako tínedžer som prečítal viac kníh a článkov, ako väčšina mojich súčasných študentov pravdepodobne urobí za celý svoj život. Na druhej strane, prečítali viac krátkych jednovetových výrokov so zlou gramatikou, ktoré nezanechávajú žiadne ďalšie myšlienky, ako ja! V akom písaní teda podľa vás vynikajú?

Koľko príspevkov na fórach, ako sú tieto, má viac ako niekoľko odsekov? A koľko si myslíte, že je najskôr napísaných, potom nechajte chvíľu povariť, potom si ich aspoň raz prečítate na plagáte, kým stlačíte „post“? (Tento bol.)

equine_physics povedal:

Nie som proti používaniu LLM na pomoc pri písaní, ale obávam sa, že základné zručnosti môžu Postupom času sa začne vytrácať a naša schopnosť vyjadrovať sa, emócie ako ľudia prostredníctvom písania tiež zmenšiť. Napísanie emotívneho príbehu, čerpanie z vlastnej skúsenosti bolesti, radosti, smútku môže tento príbeh oživiť, zatiaľ čo rozprávanie LLM „Napíš príbeh o smútku, smrti rodiča“ môže v dokumente vytvoriť slová, ale s najväčšou pravdepodobnosťou budú jednorozmerný.

Kliknutím rozbalíte...

Vidíme to už teraz. Mnohí žiaci, ktorí ukončili základnú školu s „dobrými známkami“, dosahujú mimoriadne zlé výsledky v testoch určených na nájdenie žiakov s dyslexiou alebo problémami s používaním jazyka. Toto ešte predtým, ako na scénu vstúpili generatívne AI a LLM. Obávam sa, že urýchlia už sa vyskytujúci problém.

Schopnosť vyjadrovať sa musí byť trénovaná. Bez tréningu sa k ničomu nedostanete. Niektorí by mohli mať na niečo lepšie nadanie, ale stále potrebujú tréning. Keď som bol dieťa, povzbudzovali ma, aby som si písal do denníka. Musel som o niečom napísať príbeh a nabádal ma k fanfikcii (niekde mám ešte tú fanfikciu Čarodejníka z krajiny Oz, ktorú som napísal v piatej triede). V škole sme boli nútení mať kamarátov na jeden semester v treťom alebo štvrtom ročníku, kde nám škola dávala obálky a poštovné posielať listy našim kamarátom (ktorých nám tiež pomohli nájsť, ak nepoznáme niekoho, kto by mal korešpondenciu s).

Dnes má znudené dieťa prístup k toľkému obsahu, pričom za mesiac sa vyprodukuje oveľa viac, ako dokáže spotrebovať za celý život. Už len hľadanie pútavého obsahu môže byť pre nich časovo náročná úloha a kvalita sa potom nesleduje.

Keď som vyrástol, mal som v televízii jednu hodinu programovania pre deti denne, kým som nedostal káblovku a tri kanály, ktoré mali programy pre deti, ju poslali približne v rovnakom čase dňa. Získavanie informácií znamenalo ísť pešo do knižnice, kde som trávil väčšinu popoludní.

Teraz otvoríte svoj telefón a hoci je to úžasný nástroj, je to dvojčepelový meč. Pamätám si veľa času, keď som sa ako dieťa „nudil“, čakal som na večeru, niekam som išiel atď. Teraz väčšina detí, ktoré vidím, nemá čas sa nudiť.

equine_physics povedal:

Nechajte študentov používať LLM počas roka, ale urobte záverečný test tak, aby prišiel do triedy s vetou na tabuli ako „Napíšte príbeh o najemotívnom momente, ktorý ste zažili vo svojom detstve“ a na stole je pero/ceruzka a papier.

Kliknutím rozbalíte...

Som učiteľ na strednej škole (nie v jazyku, ale v prírodovedných a technických predmetoch) a takéto návrhy sú škodlivé pre proces učenia.

Aby bol niekto v niečom dobrý, musí robiť veci, v ktorých chce byť dobrý. Takže ak chcete, aby bol študent v niečom dobrý pre váš záverečný test, musí to urobiť niekoľkokrát predtým. Ak oni len sa nauč písať budú mať prístup ku generatívnym AI založeným na LLM len byť dobrý v písaní a zároveň mať prístup k týmto nástrojom. Nemôžete očakávať, že cyklista bude dobrý na Tour vo Francúzsku, ak jediné, čo mu dáte, je motorka počas tréningu.

Tiež to, že všetko vložíte do záverečného testu vysoké stávky a výskum ukazuje, že testy s vysokými stávkami majú svoje problémy a nevýhody. Niektorí študenti v nich dosahujú mimoriadne slabé výsledky, zatiaľ čo v iných situáciách sú celkom schopní.

Viem, že v niektorých školských systémoch sa používajú záverečné testy a väčšina známok závisí od toho. Nie som učiteľ v USA (alebo v anglicky hovoriacej krajine, keď na to príde) a zatiaľ čo máme kurz testy, národné testy alebo „záverečné“ testy, takmer všetko, čo v tom čase testujeme, bolo raz testované predtým. V mojej škole máme neformálne pravidlo, ktoré hovorí, že všetko by sme mali otestovať aspoň dvakrát.

equine_physics povedal:

Potom môže učiteľ vidieť, či sa študent naučil písať alebo sa len naučil ovládať počítačový program.

Kliknutím rozbalíte...

Čo ak sa študent nenaučil písať a len sa naučil ovládať počítačový program (bez toho, aby skutočne pochopil, čo „napísali“)? Mali by sme ich zlyhať?

Ak je zmyslom školy niečo sa naučiť a študenti to neurobili, potom je tento prístup IMHO neúspešný.

IMO, ak dieťa môže získať LLM, aby napísalo esej dostatočne presné, aby učiteľ nemohol nájsť zjavné nedostatky v tom už celkom dobre rozumejú téme, že si mohli všimnúť, že tam nie sú halucinácie. Je to dieťa, ktoré odovzdá esej o tom, ako nacisti napadli Nový Zéland v roku 1987, a má problémy.

Malo by to tiež vyžadovať aktualizáciu príručiek na označovanie, v podstate ukázať, ako fungujete, ako to robíme s deťmi, ktoré sa učia matematiku. Keď som študoval ekonómiu, bolo bežné, že som robil prezentáciu našich esejí a bol otvorený otázkam na danú tému. Vypľujete skvelú esej, dobre, dostanete 30% známky. Teraz ukáž, ​​čo o tom naozaj vieš.

equine_physics povedal:

Ako vývojár softvéru som začal používať LLM na pomoc pri písaní jednoduchých sekcií kódu, ktorých zostavenie by mi inak zabralo čas. Toto je výhoda, ale funguje to aj preto, že mám dostatok skúseností na to, aby som pochopil, kedy to dáva nesprávnu odpoveď, a ako to opraviť. Ako to pomôže vstupnému programátorovi naučiť sa programovať, pretože súčasťou zručnosti je zlyhanie, analýza, oprava, ako aj návrh.

Napadlo ma to, keď čítam článok, pretože sa týka písania. V písaní je toho veľa, čo je viac než len slová na dokumente. Kontext, kompozícia, gramatika a dokonca aj jemné veci, ako je tempo, ktoré sú štýly, ktoré sa učili „za mojich čias“.

Nie som proti používaniu LLM na pomoc pri písaní, ale obávam sa, že základné zručnosti môžu Postupom času sa začne vytrácať a naša schopnosť vyjadrovať sa, emócie ako ľudia prostredníctvom písania tiež zmenšiť. Napísanie emotívneho príbehu, čerpanie z vlastnej skúsenosti bolesti, radosti, smútku môže tento príbeh oživiť, zatiaľ čo rozprávanie LLM „Napíš príbeh o smútku, smrti rodiča“ môže v dokumente vytvoriť slová, ale s najväčšou pravdepodobnosťou budú jednorozmerný.

Nechajte študentov používať LLM počas roka, ale urobte záverečný test tak, aby prišiel do triedy s vetou na tabuli ako „Napíšte príbeh o najemotívnom momente, ktorý ste zažili vo svojom detstve“ a na stole je pero/ceruzka a papier.

Potom môže učiteľ vidieť, či sa študent naučil písať alebo sa len naučil ovládať počítačový program.

Kliknutím rozbalíte...

Myslím si, že ak sa to urobí správne, LLM by mnohým mohlo pomôcť napísať príbeh o ich detstve.

Napríklad epizóda Bluey, kde jej otec Bandit hovorí o svojom detstve v 80. rokoch, je štruktúrou taká blízka môjmu detstvu, že by to bola skvelá šablóna* na prispôsobenie sa môjmu príbehu. Oveľa lepšie, ako keby som to napísal od začiatku. (*V závislosti od autorského práva fair use, ktorá to umožňuje.)

Začína to. Roboty teraz rozsievajú medzi ľuďmi nezhody.

„Píp! NIE SOM ROBOT,“ hovorí jedna AI. „Nie, tá osoba tam je robot. Píp!"

A my im veríme.

Skynet použil jadrové zbrane. Tieto AI sú jemnejšie. Pozor.

Tento komentár napísal na 100% človek.

Pípni.

;-)

Takže vidím budúcnosť, kde sa hodnotenie vzdelania bude vo veľkej miere spoliehať na ústne - podobne ako mnohé vivas pre magisterské / doktorandské štúdium.

To výrazne pomôže ľuďom s dyslexiou, ale prekáža tým, ktorí sa učia v inom ako materinskom jazyku.

Skutočný slon v miestnosti je to, čo sa stane, keď sa modely AI trénujú na obsahu generovanom AI. Fakty sú rozpustené v polievke, ako keby ste vzali súbor mp3 a spustili kompresný kodek stokrát.

whiteknave povedal:

Ak niekto prezentuje veľké kusy textu ako pôvodný text (t. j. bez citácií, poznámok pod čiarou atď.), ktoré zodpovedajú tréningovým údajom AI, stále môže ísť o plagiát. Bola by to len staromódna forma plagiátorstva a nie nová horúca verzia.

Kliknutím rozbalíte...

Toto! A zašiel by som ešte o krok ďalej, je to plagiát, aj keď ho používate výstup AI, nielen tréningové údaje.

Ako učiteľ som to povedal niekoľkokrát na našich školských stretnutiach. Okamžité použitie generatívnej AI a použitie výstupného textu je plagiát. Vy ste ten text nenapísali. Niekto (alebo niečo) to urobil. Nemôžete si za to pripisovať zásluhy. Ak nástroj vytvára niečo ako celok, nemôžete tvrdiť, že ste tvorcom iba stlačením tlačidla.

Čo sa týka citácií, niektorí študenti to majú celé zle. Používate citácie na posilnenie textu, nie na strihanie množstva úryvkov z iných textov a vytváranie niečoho „nového“. To nie je pôvodné, to je možno odvodené zhrnutie pri najlepšom. Na jednej z mojich tried musím skontrolovať veľa záverečných prác (niečo ako mini-tézy) a študenti sú bezcenní, pokiaľ ide o používanie úvodzoviek. Tvrdia veci bez toho, aby to zálohovali, hovoria veci, ktoré zjavne nepochádzajú od nich, a zabúdajú ukázať zdroje, ktoré majú.

Problém s používaním ChatGPT a podobných AI vo fáze výskumu je v tom, že často nezískate pôvodný zdroj. Získate len vyvrátené informácie. Niekedy sa môžete opýtať, odkiaľ pochádza a zdroje nie sú vymyslené. Došlo k zlepšeniam, ale norma by mala byť že každý uvedená informácia má zdroj. Snažíme sa ľudí naučiť, že musia byť dôvtipní a spochybňovať informácie. Ale ako to môžete urobiť bez zdroja?

Často majú problém s vyhodnotením zdrojov (s novinovým článkom alebo príspevkom na blogu zaobchádzajte rovnako ako s recenzovaným článkom z akademického časopisu, ak sa im podarilo nájsť aj ten posledný). Dokonca som mal jedného študenta, ktorý tvrdil, že robia niečo veľmi krvavé, že jediným zdrojom bol tento jeden programátor hier AI, ktorý mal svoj vlastný blog pod pseudonymom. Trvalo mi menej ako desať sekúnd, kým som našiel akademickú prácu, ktorá pokrývala PRESNE tú istú tému, až po hru, ktorú sa snažili poraziť pomocou AI. Tento dokument bol prvým hitom v službe Študovňa Google a bol prezentovaný na konferencii! (Zadal som študentom názov práce a hry, takže to nebolo zložité vyhľadávanie).

Zhruba pred mesiacom som sa zúčastnil seminára o AI pre učiteľov, kde sa tvrdilo, že zatiaľ čo v súčasnosti by sme mohli uvažovať o „najľudskejšej > AI“, teraz prichádzame k „človek + AI“. > človek“, takže morálkou seminára by bolo akceptovať AI na školách, pretože my (spoločnosť) musíme rozvíjať svoje schopnosti a človek + AI bude lepší ako samotný človek.

Nesúhlasím s týmto všeobecným tvrdením. Ak človek nemá žiadne vedomosti, výsledok je nepredvídateľný, možno bude výsledok horší, pretože je zvedený z cesty.

Na druhej strane, ak má človek odborné znalosti v tejto oblasti, AI by mu mohla pomôcť a človek má (dúfajme) znalosti na odstránenie akýchkoľvek nepresností, keď to nie je užitočné. Potom tento dobre informovaný človek + AI porazí ostatné prípady.

Problém je v tom, že ak prenecháme všetko nudné učenie a bežné úlohy na stroje, dostaneme len veľmi málo týchto informovaných ľudí. Myslím tým, prečo by ste sa mali nudiť, keď konečný výsledok môže urobiť za vás stroj? Preto si myslím, že prichádzame do bodu, keď sa musíme učiť, aby sme sa učili, len aby sme držali krok s nástrojmi, ktoré používame.

Budú sa AI vyvíjať? Určite. Príde deň, keď blázon + AI porazí bežného človeka alebo dokonca odborníka? Možno. Ale ak ten deň príde, predpovedám, že veľmi skoro potom ten blázon už nebude potrebný a AI to urobí úplne sama. Čo sa stane potom, je nad moje schopnosti analyzovať.

[Upraviť: pravopis, chýbajúce čiarky a opravený modifikátor visenia]