Prečo si detektory AI myslia, že Ústavu USA napísala AI

Jordan83 povedal:

Všetky tri.

Kliknutím rozbalíte...

Keďže OP nikdy neodpovedala, tu je odpoveď:

1) AI vygenerovaná, ale koniec bol vymazaný a ručne napísaný mnou.

2) Plne vygenerovaná AI, ale upravená s vymazanými niektorými časťami. Preklep bol vygenerovaný AI.

3) Plne ľudsky napísané.

Takže ďakujem za vyjadrenie, myslím, že ľudia to nevedia povedať.

Mad Klingon povedal:

Je možné, že som hral príliš veľa RPG?

Kliknutím rozbalíte...

Nie, nie je.

TroubleMan povedal:

...a biblia
Pozri prílohu 59185

Kliknutím rozbalíte...

Tieto príbehy v biblii môžu byť pravdivé, rovnako ako tí, ktorí boli svedkami udalostí, im rozumeli. Ale zinscenované cestovateľmi v čase z toho, čo je stále našou budúcnosťou. Cestovanie v čase dostatočne samo o sebe vysvetľuje tvrdené Ježišovo vzkriesenie. Slnko zastalo, kým Mojžiš zdvihol palicu? Len cestovanie v čase s veľkou oblasťou pôsobenia. Nie ste si istí, ako vypustili vodu z Červeného mora. Myslím, že mohli postaviť priehradu a potom ju po prechode Izraelitov zbúrať. Bombardovanie Sodomy a Gomory? Dalo by sa to urobiť technológiou zo 40. rokov 20. storočia. Stačí tam dostať lietadlá a povedať im, že mestá na Blízkom východe boli plné nacistov. Čo by mohli byť, keby aj nacisti z budúcnosti cestovali v čase.

Na druhú myšlienku, poškriabať hrádzu. Použite svoje zariadenie na cestovanie v čase na presun vody z Červeného mora do ešte staršej Mezopotámie, aby ste vyvolali Noemovu potopu, ale varujte ho, aby mal čas postaviť loď.

Hezio povedal:

Keďže OP nikdy neodpovedala, tu je odpoveď:

1) AI vygenerovaná, ale koniec bol vymazaný a ručne napísaný mnou.

2) Plne vygenerovaná AI, ale upravená s vymazanými niektorými časťami. Preklep bol vygenerovaný AI.

3) Plne ľudsky napísané.

Takže ďakujem za vyjadrenie, myslím, že ľudia to nevedia povedať.

Kliknutím rozbalíte...

lol

Aby som bol úprimný, pozrel som si váš príspevok, venoval som mu asi 0,02 sekundy kritickej myšlienky, klikol na odpoveď a napísal svoju odpoveď. Bol to totálny oheň od bedra. A má dva z troch správne.

Takže, nemáš zač, hádam?

Rôzne detektory zápisu AI používajú mierne odlišné metódy detekcie, ale s podobným predpokladom: Existuje model AI, ktorý bol trénovaný na veľkom telo textu (pozostávajúce z miliónov príkladov písania) a súbor predpokladaných pravidiel, ktoré určujú, či je písanie pravdepodobnejšie ľudské alebo generované AI.

Kliknutím rozbalíte...

Niet divu, že to nefunguje, ich základný predpoklad je jednoducho zlý.

LLM sú zložité. Neučia sa „priemerný“ štýl všetkých ľudí, učia sa veľa štýlov. Sú ovládateľné.

Tu je ten istý text pravdepodobne v štýle R.R.Martina:

V obrovskej ríši detektorov písania AI sa pod tapisériou detekcie zbiehajú rôzne metodológie, z ktorých každá má svoje vlastné tajomné žily, no spája ich spoločný predpoklad. Hľa, monštrum umelej inteligencie, precízne vymodelované dôsledným tréningom na tajomstve obrovskej slovnej zásoby, vykovanej z nespočetných zväzkov, tapisérie miliónov príkladov písania. A hľa, záhadný kódex predpokladaných nariadení tancuje v tajných hraniciach AI a slúži ako arbitra, rozlúštenie pôvodu prezentovaných slov, odhalenie pravdy ukrytej v ich vnútri linky. Odhalia kvintesenciu ľudskej remeselnej zručnosti alebo ponesú znak nesvätej umelosti, ktorá ju simuluje? To vie len detektor.

Kliknutím rozbalíte...

Unavilo ma prehrabávať komentáre, takže neviem, či to bolo spomenuté, ale aj vytvorenie nástroja na identifikáciu plagiátorstva (ignorovanie možnosti asistencie AI) by mohlo byť veľmi na škodu.

Zváž toto:

Povedzme, že máte triedu, ktorá sa týka Hamleta, a musíte o tom napísať esej s 1000 slovami.

Aj keď sa možné odpovede môžu zdať nekonečné, v skutočnosti sú veľmi konečné. Okrem toho je tu ešte menšia skupina kombinácií viet, ktoré by sa dali považovať za známku na absolvovanie. Ako čas plynie a stále viac študentov píše eseje na presne tú istú tému, stále viac a viac takýchto možných slovných spojení je bude „spotrebovaný“ a bude čoraz ťažšie prísť s esejou, ktorá sa nepovažuje za priamu copypasta. Aby toho nebolo málo, na niečo také známe ako Hamlet a vzhľadom na to, ako dlho dielo existuje, je už množstvo napísaných esejí o ňom značné. Každý rok máme inú vekovú skupinu študentov, ktorí píšu takéto eseje. Výsledkom je, že počet možných „originálnych“ napísaných esejí je čoraz kratší. Je to do značnej miery prípad vyčerpania originálnych vecí, ktoré môžete povedať/napísať.

Úprimne, mám pocit, že sme už dávno prešli bodom, kedy by esej o Hamletovi mohla byť „originálna“ a zároveň by mohla dostať známku, ak to porovnáme doslova s ​​každou esejou, ktorá bola kedy napísaná.

Jedinou možnou záchranou by bol vývoj jazyka a vynájdenie nových slov a nových významov slov, ktoré by mohli zvýšiť limit možných kombinácií. Dokonca aj vtedy mám pocit, že narazíte na stenu, najmä ak prinútite detektor plagiátov, aby v procese detekcie nahradil každé možné slovo alebo frázu s rovnakým významom. Takže dve vety, ktoré sú identické mimo nahrádzaných synoným, by sa stále považovali za plagiát.

Raz mi povedali, aby som v triede hľadal a písal o konkrétnej krajine. To bolo ešte predtým, ako internet vôbec vznikol. Mojím jediným skutočným dostupným zdrojom bola encyklopédia a informácie, ktoré obsahovala, mali len 4 krátke odseky. Myslím, že témou bol Island, ak si spomínam. Skopíroval som encyklopédiu takmer od slova do slova, pretože som naozaj nemal veľmi na výber. Vymieňal som si veci, ako som len mohol, bez toho, aby som stratil význam alebo to urobil fakticky zle, ale musel by si byť idiot, aby si nevedel, že som v podstate len skopíroval to, čo bolo v encyklopédia. Bez ohľadu na to, aký ste talentovaný, ak jediné informácie, ku ktorým máte prístup o krajine, neobsahujú viac ako niekoľko odsekov, vaša esej bude veľmi podobne ako by napisal niekto iny. To platí najmä vtedy, ak sa obmedzujete na uvádzanie faktických vecí o téme.

Za to, čo stojí za to, moja esej dostala známku, ale môžem vás ubezpečiť, že to nebolo A ani 100 %, aj keď moja gramatika bola dokonalá. Dôvodom bolo, že som nemohol zmeniť menej ako jednu stranu faktických informácií na dve strany, bez ohľadu na to, ako kreatívny som chcel byť. Pripomíname, že internet v tom čase nebol samozrejmosťou a jediná knižnica na 2 hodiny v akomkoľvek smere bola veľká ako priemerná trieda. Dokonca aj vtedy boli moji rodičia príliš zaneprázdnení, aby ma čo i len vzali do knižnice. Mal som to šťastie, že moja stará mama mi predtým kúpila súbor encyklopédií. Neskôr som skontroloval miestnu knižnicu, či nenájdem o krajine viac, ako som už vedel a nevedel. V skutočnosti bola ich encyklopédia staršia a mala ešte menej užitočných informácií.

Aj keď je pravda, že kreatívne témy majú tendenciu mať oveľa väčší súbor možných výsledkov, ktoré by sa považovali za úspešné, stále to bude obmedzené. Jediný spôsob, ako tomu čeliť, by bolo vyžadovať nekonečne dlhé eseje a všetci vieme, aké je to nepraktické. Okrem toho existuje praktický limit dĺžky eseje, o ktorú môžete požiadať na danú tému. To platí najmä pre eseje na základnej škole.

Takže áno, každý nástroj, ktorý prehľadá každý napísaný papier, aby zistil, či existuje zhoda, skončí tak, že po bode označí všetko, čo odošlete.

Vždy som si myslel, že eseje sú strata času. Vo veľkej väčšine zamestnaní nebudete musieť písať eseje. V skutočnosti som nikdy nepísal esej mimo školského života ani som nerobil nič, čo by sa dalo považovať za porovnateľné. Teda mimo písania jedného pre moje vlastné pobavenie. Súčasný stav, aké ľahké je podvádzať a aké ľahké je byť obvinený z podvádzania, aj keď to nerobíte, ma len presviedča, že som mal celý čas pravdu.

Kvôli irónii som tento komentár napísal takmer ako esej, pretože si myslím, že je zábavný. Momentálne som tiež v čudnom polobdelom stave, takže to je asi relevantné.

Teraz mám pocit, že by som sa mal zdvihnúť a omdlieť. Pravdepodobne však preskočím tú čoraz vyššiu časť.

Shavano povedal:

Aký bol váš názor, pretože ste cítili potrebu upraviť oba texty LLM, ktoré ste zverejnili, aby ste ich priviedli k a štandard, o ktorom ste si mysleli, že ho možno pomýliť s ľudskou prácou, a poskytol ste nekvalitne napísaný príklad ľudskej práce porovnanie?

Nemyslím si, že si nič predviedol.

Kliknutím rozbalíte...

Op povedal, že vždy vedia zistiť, či je niečo napísané AI alebo nie. Ak je písanie AI také zrejmé, mali by byť schopní zistiť, či je niečo napísané AI len čiastočne, alebo úplne napísané AI, ale ručne upravené.

Keďže sa zmienili aj o študentoch, ktorí píšu špecificky, posledná, ktorá bola písaná úplne ľudsky, bola vytvorená tak, aby napodobňovala úroveň písania stredoškolákov.

A predtým, než poviete, že to nie je priemerné porovnanie úrovne písania stredoškolákov, doslova som si tú výzvu vygooglil a pozrel na písané príklady. Veľa študentov práve písalo o svojej prvej zamilovanosti / láske. AI bola v tomto smere kreatívnejšia, keď prišlo na to, aby si vymyslela vlastný scenár.

Takže áno, "zle napísaný príklad", ale hádajte čo, to by napísal váš priemerný stredoškolák. Pravdepodobne aj niektorí študenti prvého ročníka VŠ. Nie každý má predsa talent na písanie. Je to skoro ako písanie si vyžaduje viac ako len „dušu“ a vyžaduje si aj zručnosť.

Hezio povedal:

Op povedal, že vždy vedia zistiť, či je niečo napísané AI alebo nie. Ak je písanie AI také zrejmé, mali by byť schopní zistiť, či je niečo napísané AI len čiastočne, alebo úplne napísané AI, ale ručne upravené.

Keďže sa zmienili aj o študentoch, ktorí píšu špecificky, posledná, ktorá bola písaná úplne ľudsky, bola vytvorená tak, aby napodobňovala úroveň písania stredoškolákov.

A predtým, než poviete, že to nie je priemerné porovnanie úrovne písania stredoškolákov, doslova som si tú výzvu vygooglil a pozrel na písané príklady. Veľa študentov práve písalo o svojej prvej zamilovanosti / láske. AI bola v tomto smere kreatívnejšia, keď prišlo na to, aby si vymyslela vlastný scenár.

Takže áno, "zle napísaný príklad", ale hádajte čo, to by napísal váš priemerný stredoškolák. Pravdepodobne aj niektorí študenti prvého ročníka VŠ. Nie každý má predsa talent na písanie.

Kliknutím rozbalíte...

Tu je problém a dôvod, prečo som vášmu príspevku venoval veľmi málo času a kritického myslenia -

Bolo to len: „Povedz mi, ktoré z nich napísala AI“ v odpovedi niekomu, kto sa nikdy nezmienil o schopnosti rozpoznať umelú inteligenciu. Navyše ste nedokázali uviesť žiadne hranice alebo akýkoľvek kontext o zisťovaní zápisov AI na základnej škole, strednej škole, vysokej škole, publikáciách, nič.

Jediný bod, ktorý ste skutočne dokázali, je, že ak na nás vypustíte z neba tri kusy textu s nulovým kontextom, môžeme mať problém identifikovať, ktoré boli vytvorené AI.

Hm, dobre, myslím?

Hezio povedal:

Op povedal, že vždy vedia zistiť, či je niečo napísané AI alebo nie. Ak je písanie AI také zrejmé, mali by byť schopní zistiť, či je niečo napísané AI len čiastočne, alebo úplne napísané AI, ale ručne upravené.

Keďže sa zmienili aj o študentoch, ktorí píšu špecificky, posledná, ktorá bola písaná úplne ľudsky, bola vytvorená tak, aby napodobňovala úroveň písania stredoškolákov.

A predtým, než poviete, že to nie je priemerné porovnanie úrovne písania stredoškolákov, doslova som si tú výzvu vygooglil a pozrel na písané príklady. Veľa študentov práve písalo o svojej prvej zamilovanosti / láske. AI bola v tomto smere kreatívnejšia, keď prišlo na to, aby si vymyslela vlastný scenár.

Takže áno, "zle napísaný príklad", ale hádajte čo, to by napísal váš priemerný stredoškolák. Pravdepodobne aj niektorí študenti prvého ročníka VŠ. Nie každý má predsa talent na písanie. Je to skoro ako písanie si vyžaduje viac ako len „dušu“ a vyžaduje si aj zručnosť.

Kliknutím rozbalíte...

Nie, kecáš. Tu je výzva, ktorá viedla k tomu, že ste uverejnili tieto tri príklady:

Nechajte študentov používať LLM počas roka, ale urobte záverečný test tak, aby prišiel do triedy s vetou na tabuli ako „Napíšte príbeh o najemotívnom momente, ktorý ste zažili vo svojom detstve“ a na stole je pero/ceruzka a papier.
Potom môže učiteľ vidieť, či sa študent naučil písať alebo sa len naučil ovládať počítačový program.

Hezio povedal:

Osoba, ktorej som odpovedal, povedala, že písanie pomocou umelej inteligencie sa nikdy nevyrovná ľudskému písaniu, pretože mu chýba duša a emócie. Ak by to bola pravda, znamená to, že by vedeli, čo píše AI. Je to také jednoduché. Nebolo to namierené proti vám ani nikomu inému, bola to len jednoduchá odpoveď na jednoduchý, idealistický bod. Nechápem, prečo práve ty sa kvôli tomu tak rozčuľuješ.

Kliknutím rozbalíte...

Oh, tvoja odpoveď bola jednoduchá. A som z toho "naštvaný", pretože si mylne myslíš, že si dokázal nejaký zmysluplný názor tým, že si vyvrátil moje polovičaté odhady všetkých troch. Vaša "jednoduchá odpoveď" a jednoduchý príklad boli prakticky zbytočné a nepreukázali nič zmysluplné.

Upravte a pridajte: Možno sa budete chcieť vrátiť a prečítať si príspevok osoby, ktorej ste odpovedali, znova. Myslím, že ste možno úplne odpovedali nesprávnej osobe; osoba, ktorej ste odpovedali, nikdy netvrdila, že dokáže rozpoznať písanie AI alebo že mu chýba duša a emócie. Sú to programátori, ktorí hovoria, že používajú AI na jednoduché úlohy a majú skúsenosti a znalosti, aby vedeli, keď spravila niečo zlé, a opravili to. To je ďaleko od toho, čo hovoríte.

Pretože stále ide o produkty verzie 0.1. Môžu tvrdiť, čo chcú, bez dôkazov. A namiesto toho nie je veľa konkurentov, na ktorých by sme sa mohli obrátiť.

Učitelia tiež nevychovávajú minimálne odkedy som v škole. Trávia čas a sledujú študentov, ale je na študentoch, aby sa naučili. S nulovým prepojením medzi efektívnosťou a odmenou za efektívne (alebo nie) vyučovanie.

Ak nemôžete niečo zmerať, potom nemôžete vedieť, či to skutočne ovplyvňujete, ak sa o to pokúsite. Rovnako ako klimatické zmeny. Väčšina ľudí nerozumie variabilite, štandardným odchýlkam a iným nástrojom, ktoré vám pomôžu pochopiť resp predpovedať čokoľvek z populácií (skupiny údajov ako celku) a hodnôt, ktoré sa v čase menia (opakujúce sa, ale meniace sa).

Ľudia dostávajú povýšenie a zvýšenie, pretože sa im páčia alebo majú šťastie.

EternalStudent07 povedal:

Pretože stále ide o produkty verzie 0.1. Môžu tvrdiť, čo chcú, bez dôkazov. A namiesto toho nie je veľa konkurentov, na ktorých by sme sa mohli obrátiť.

Učitelia tiež nevychovávajú minimálne odkedy som v škole. Trávia čas a sledujú študentov, ale je na študentoch, aby sa naučili. S nulovým prepojením medzi efektívnosťou a odmenou za efektívne (alebo nie) vyučovanie.

Ak nemôžete niečo zmerať, potom nemôžete vedieť, či to skutočne ovplyvňujete, ak sa o to pokúsite. Rovnako ako klimatické zmeny. Väčšina ľudí nerozumie variabilite, štandardným odchýlkam a iným nástrojom, ktoré vám pomôžu pochopiť resp predpovedať čokoľvek z populácií (skupiny údajov ako celku) a hodnôt, ktoré sa v čase menia (opakujúce sa, ale meniace sa).

Ľudia dostávajú povýšenie a zvýšenie, pretože sa im páčia alebo majú šťastie.

Kliknutím rozbalíte...

Som si istý, že je tam veľa zlých učiteľov a sú stále zamestnaní. Nemyslíte si však, že niektoré z nich stoja za to, či sú správne kompenzované, alebo nemáte žiadne nástroje či túžbu zmerať ich účinnosť? Alebo že sa o to nikto z nich vlastne nestará a snaží sa vzdelávať? Sú to obrovské vyhlásenia plné arogancie a ignorancie.

Ľudia dostávajú povýšenie a zvýšenie, pretože sa im niekedy páči alebo majú šťastie. A niekedy dostanú povýšenie a zvýšenie platov, pretože sú skutočne dobrí vo svojej práci a majú merateľné ukazovatele, ktoré to dokážu.

Takže tieto nástroje sú z veľkej časti zbytočné? Dobre vedieť.

Keď som bol učiteľom na miestnej univerzite, používali sme TurnItIn ako automatizovanú kontrolu plagiátorstva pri prvom prechode. Ak by študent predložil doslovné kópie svojich prác, urobilo by to celkom dobrú prácu pri ich odhaľovaní. Okrem toho všetko, čo by to skutočne mohlo urobiť, bolo porovnať to so súborom údajov zdrojov a porovnať text s týmito zdrojmi. Opäť len skutočne dokáže odhaliť najnehanebnejšie kopírovanie a často dáva falošne pozitívne výsledky.

Určite som rád za svojich študentov, že som skóre TurnItIn bral s rovnakou dávkou soli ako ja. Myslím, že za pár rokov, čo som tam pracoval, som videl len 3 prípady nového plagiátorstva, ktoré sa skutočne prevalili. Čo robilo TurnItIn v týchto prípadoch čo i len vzdialene užitočnou, bola jeho schopnosť skutočne citovať to, čo si myslela, že je zdrojom plagiátu. Ak to tieto nástroje AI nerobia, potom sú menej než zbytočné.

Na večierok som trochu neskoro, ale zdá sa mi, že je to riešiteľný problém.

Študent otočí papier, učiteľ sa pýta študenta na kľúčové témy v papieri, ak študent dokáže formulovať správnu odpoveď, potom naozaj nezáleží na tom, či to AI napísal alebo nie. Cieľom vyučovania je, aby sa žiaci učili. Znamená to, že preskúmanie každej práce so študentmi môže trvať dlhšie, ale možno sa vzdelávanie musí zmeniť.

EternalStudent07 povedal:

Pretože stále ide o produkty verzie 0.1. Môžu tvrdiť, čo chcú, bez dôkazov. A namiesto toho nie je veľa konkurentov, na ktorých by sme sa mohli obrátiť.

Učitelia tiež nevychovávajú minimálne odkedy som v škole. Trávia čas a sledujú študentov, ale je na študentoch, aby sa naučili. S nulovým prepojením medzi efektívnosťou a odmenou za efektívne (alebo nie) vyučovanie.

Ak nemôžete niečo zmerať, potom nemôžete vedieť, či to skutočne ovplyvňujete, ak sa o to pokúsite. Rovnako ako klimatické zmeny. Väčšina ľudí nerozumie variabilite, štandardným odchýlkam a iným nástrojom, ktoré vám pomôžu pochopiť resp predpovedať čokoľvek z populácií (skupiny údajov ako celku) a hodnôt, ktoré sa v čase menia (opakujúce sa, ale meniace sa).

Ľudia dostávajú povýšenie a zvýšenie, pretože sa im páčia alebo majú šťastie.

Kliknutím rozbalíte...

Vždy bolo na študentoch, aby sa učili, bez ohľadu na kvalitu učiteľa. Existuje dôvod, prečo je toto príslovie o vedení koňa k vode také staré.

Moje skúsenosti so vzdelávaním boli počas celého môjho života pozoruhodne konzistentné: hŕstka skutočne fantastických učiteľov, ktorí ma dokázali vzbudiť záujem o predmety, ktoré nemám tendenciu baviť (najmä vysokoškolská matematika), väčšia hŕstka absolútne svinských učiteľov, ktorí boli deštruktívni a korozívni (najmä stredoškolská matematika), pričom väčšina bola prijateľná kompetentných.

V mojom odbore sa tri detektory AI, ktoré používam, zriedkavo nezhodli a za posledný rok vyvolali iba 2 falošne pozitívne výsledky (vzhľadom na 4,5 milióna používateľov a oveľa viac príspevkov, 2 vyzerajú ako dobré číslo). Vyhodili obrovské množstvo „neviem povedať“ a falošných negatívov, ale áno.

Krátka odpoveď na to je „LLM/Generative AI – všeobecne lepšie ako Google“, ale „odborný predmet – nie. Musíte začať od expertnej AI, nie LLM/generatívnej, a skontrolovať každú, jednu vec, čo hovorí. Pretože je to pravdepodobne nesprávne a zostane nesprávne ďalších 5-10 rokov

V akademickom prostredí by hodnotiaci čitateľ mal byť odborníkom na predmet a schopný určiť, či to, čo sa hovorí v cieľovom texte, je pravda (alebo možné rozšírenie známych pojmov). Otázka plagiátorstva, či už priameho kopírovania ľudského textu bez uvedenia zdroja alebo ako papagájovaného potenciálneho nezmyslu takzvaným „AI“ programom, je samostatnou témou. Nie je dôvod žiadať iného papagája (AI), aby rozhodol o týchto otázkach (a je odsúdený na neúspech z rovnakého dôvodu, ktorý vytvorila AI text je vždy potenciálne odpad, t.j. za produkciou textu nie je žiadna chápavá vedomá entita, jednoducho forma viac sofistikované Rodinný spor hra, t.j. daj mi najpravdepodobnejšie ďalšie slovo, nasledujúcu vetu atď. štatisticky dané tréningovým korpusom).

Odporúčam prečítať si scenár k Idiocracy (2006, Mike Judge & Etan Cohen), aby ste pochopili, prečo vôbec vedieme túto diskusiu.