Zašto AI detektori misle da je američki ustav napisala AI

Hack-n-Slash je rekao:

Mislim da je upotreba Ustava za testiranje na neki način manjkava.
Zanemarujući da je korišten kao izvorni unos... Nije ga napisala osoba, nego povjerenstvo.
Čini mi se da će to vjerojatno normalizirati govor na isti način na koji bi to učinila AI obrada.

Kliknite za proširenje...

Nema nedostataka. To samo pokazuje da rad odbora ili prolazak kroz opsežan uređivački proces može rezultirati tekstom koji ima iste karakteristike koje imaju tekstovi generirani umjetnom inteligencijom.

Ali vrlo malo učenika to radi. Dakle, ako dobijete rad od studenta, ovi su alati prilično dobri u prikazivanju iste stvari koju vaš osjećaj govori: “Ovaj student nikada ranije nije koristio ovakav jezik i ne govori na ovaj način, tako da ovaj rad vjerojatno nije njegov/njezin".

Podginator je rekao:

Jesu li ovi alati holistički korisni posve je druga rasprava. Ako je stopa pogreške 10% ili tako nešto, kao što se čini da sugerira članak, onda bih rekao da još uvijek pružaju neku vrijednost edukatorima.

Bio bi herkulovski zadatak premjestiti obrazovni model na više govornički stil. Uz nedovoljno financiranje obrazovanja i sve veći broj učionica, rekao bih da je to na razini sustava nemoguće.

Ali ako ovo može otkriti vjerojatnu upotrebu umjetne inteligencije, edukatori mogu usmjeriti svoju pozornost na utvrđivanje razumije li učenik materijal koji su napisali ili ne. Usuđujem se reći da će se pedagozi sve više morati fokusirati na razumijevanje, budući da je pisanje teksta sada naizgled riješen problem.

Kliknite za proširenje...

Govoreći kao netko iz "grupe za politiku umjetne inteligencije" u mojoj školi, lažno pozitivna stopa od 10% gora je nego beskorisna. Optužiti učenika za varanje golemi je pothvat koji oduzima ogromne količine energije i tužitelju i optuženiku. Povezani članak na Stanfordu također ističe da će stopa biti viša za govornike koji nisu izvorni, što je već minsko polje zbog različitih standarda za citate i plagijat u raznim zemljama

Bolje je unaprijed razgovarati s učenikom o tome gdje točno mogu, a gdje ne mogu koristiti AI. Na primjer, iduće godine imat ću zadatak u razredu koji će posebno istaknuti da LLM ne može im se vjerovati da će generirati činjenične informacije - oni neće samo izmišljati studije, oni će izmišljati citate isto. (I profesori mogu lako uočiti lažni citat)

Ali ako ga žele koristiti da im pomogne u strukturiranju dokumenta o politici (i javili su mi da se koristi), mogu živjeti s tim. To je alat, posebno za ljude kojima možda nedostaje znanje engleskog jezika. S obzirom na to da će tvrtke željeti ljude koji mogu učinkovito koristiti nove alate, nije loše da ih studenti nauče koristiti.

Pročitao sam članak u časopisu Economist koji je imao drugačije rješenje za detekciju umjetne inteligencije: U osnovi, umjetnoj inteligenciji dajete otisak prsta kroz njihov izbor riječi, a zatim tražite taj otisak. Vi birate parove sinonima, kao što je "veliko/veliko". Ako tipično pisanje ima omjer 80 velikih prema 20 velikih, tada vaša umjetna inteligencija koristi 30:70. Čineći ovo s dovoljno parova riječi, trebali biste moći otkriti je li umjetna inteligencija napisala nešto dovoljno dugo.

Glavna mana je što zahtijeva alate umjetne inteligencije za implementaciju, a budući da je njihov opći pristup "pravila su za gubitnike", ne vidim da se to događa.

Žao mi je. Zapravo sam na pola puta odustao od čitanja ovog članka jer se jednostavno ne mogu nositi s ovim. Programirali smo AI da piše tekst. A sada koristimo umjetnu inteligenciju da odredimo je li tekst napisao umjetna inteligencija ili ljudi? Što se tu zapravo događa i zašto?

AI trenira na tekstu. AI tada piše tekst sličan onome na čemu je trenirao. Naravno, umjetna inteligencija će prepoznati tekst sličan onome na čemu je umjetna inteligencija trenirala i zatim ga je napisala.

Kunem se da sam prestar za ovaj svijet. Prestanite s tim AI glupostima. Prestanite koristiti AI za pisanje teksta i pretvarajte se da je to pravi ljudski tekst. Zapravo, prestanite koristiti AI i točka.

I što je najvažnije: ZA LJUBAV PREMA SVEMU SVETOM I NESVETOM prestanite tjerati AI da bilo što sudi. Što nije u redu s tobom? Što se nadate da ćete možda postići sa svim ovim? I nemoj odgovarati "profit poduzeća", jer ću povratiti.

Vrlo dobar članak, mogu se samo složiti sa zaključkom.

Testirao sam ove "alate za otkrivanje" ne sa studentskim esejima, već s dva druga općenitija oblika pisanja: postovi na blogovima i korporativne web stranice. Dok za web stranice možete zamisliti zašto (bljutav, korporativni govor već se čita kao nešto što je generirao robot), rezultati su bili užasno loši -- 50% do 80% je deklarirano kao "napisano umjetnom inteligencijom", za tekst za koji sam pouzdano znao da je star mnogo godina star.

Postovi na blogu mogu biti više... zbunjujuće, sve dok se ne shvati da mnogi online članci nisu namijenjeni visokoj literaturi, već služe za privlačenje pozornosti na grad ili pregled stavku ili ispričati smiješnu priču koju je autor smatrao zanimljivom -- sve se to lako klasificira kao "napisano od strane umjetne inteligencije" zbog percipiranog "bljutavost".

Također sam već vidio optužbe "koristio si umjetnu inteligenciju da ovo napišeš" koje se šire u online zajednicama, čak i bez ikakvog oblika dokaza ili provjera, a to može biti vrlo štetno za nečije rane pokušaje izraz. Zamislite da provodite mjesece stvarajući nešto svoje, koliko god dobro ili loše bilo, samo da bi vas odmah odbacili kao "AI"...

Dakle, da, ti alati za "otkrivanje" čine više štete nego koristi i trebali bi biti zabranjeni umjesto samih LLM-ova. Možemo koristiti druge načine za jednostavno otkrivanje autorstva kada je to potrebno, kao što je izravna interakcija s autorom i postavljanje pitanja o djelu -- pravi autor će rado odgovoriti; lažnjak će početi mumljati i uplašen pobjeći.

Postoji AI tvrtka koja se zove "Hugging Face"?!

Što su mislili? "S umjetnom inteligencijom, svi su toliko usredotočeni na Skynet da mi Xenomorphs možemo jednostavno uklizati na stražnja vrata!!!

Čak imaju i poveznicu na svojoj naslovnici na "Allen institure for AI" ŠTO ONI MISLE KOGA ŠALE?

Osim ako to nije poanta "Prozreo je našu smiješnu prijevaru, ZAGRLI MU LICE"

McTurkey je rekao:

Na primjer, epizoda s umjetnom inteligencijom u najnovijoj sezoni Black Mirrora, štrajk pisca, a sada i štrajk glumca (oboje snažno podržavam), sve pokazuje da ovo dolazi do vrhunca. Trenutno su skripte koje generira AI još uvijek u fazi novosti. To je vrijedilo i za chatbotove umjetne inteligencije prije nekoliko godina, ali sada se mijenjaju između čudesne doline i ljudskog prolaska, ovisno o kontekstu. Dok napredak u bilo kojem tehničkom području nikada nije zajamčen, čini se prilično vjerojatnim da će ga biti ispravno dobro prvenstveno filmski ili televizijski scenarij napisan umjetnom inteligencijom u sljedećih 10-15 godina. Ako čovjek mora ispolirati, ali ne i ponovno pisati značajne odjeljke, razlikuje li se to mnogo od procesa uređivanja i izrade nacrta kojim ljudski pisci usavršavaju svoje priče?

Kliknite za proširenje...

Sve dok AI ne shvati što zapravo piše, osporavam ideju da a dobro Specifični scenarij za TV/film, s temama, povratnim pozivima i razvojem likova. Napredak koji smo postigli u AI ne gradi razumijevanje, a ozbiljni istraživači ne očekuju da će LLM ikada razumjeti - to nije ono što AI model radi.

Bali da, znatno se razlikuje od trenutnog sustava za TV. velike promjene u procesu pisanja epizode koja se uklapa u određeno mjesto u sezoni, pogoršane modernim senzibilitetom prema serijalizaciji sadržaja s lukovima dugim kroz sezonu. Isključuje zajedničke napore koji trenutno postoje, a po prirodi umjetne inteligencije koja se trenutno koristi favorizirat će više napamet, formulirano iskustvo samodostatnog sadržaja preko složenog dugotrajnog pripovijedanja koje je nedavno pokrenulo TV krajolik godine.

Ianal je rekao:

Ne razumijem kako zbunjenost ovdje pomaže kao metrika. Ako ispravno čitam članak, nizak rezultat nejasnoće znači da je dati dio teksta sličan tekstu koji se nalazi u korpusu za obuku LLM-a i stoga je vjerojatno da ga je napisao an LLM.

Kako to pomaže, s obzirom na to da su tekst korpusa za obuku napisali ljudi?

Kliknite za proširenje...

Vaša upotreba zareza je idiosinkratična (bez nijanse - 8 riječi, a ja već koristim zagrade i crtice). "Tekst korpusa za obuku" ima smisla u kontekstu, ali "tekst" je ovdje impliciran korpusom i općenito bih očekivao da bude izostavljen. "zbog toga je vjerojatno" osjeća se kao pisaći tik. Zbunjenost vašeg pisanja izgleda mi ljudski.

Cijeli je taj odlomak vrlo zbunjujući (osim što sam ja čudan pisac): metadiskusija koja analizira zbunjujuće nečije pisanje nije osobito vjerojatna stvar.

Dakle, iako su ljudi tropi s našim pisanjem, a teme uzrokuju predvidljivu upotrebu jezika (nakon što smo rekli zbunjenost, bilo je mnogo vjerojatnije da ćete nastaviti govoriti stvari poput "metrički" i "tekst"); također često ubacujemo čudna odstupanja. Baš kao što nitko zapravo ne izgleda kao "prosječan" čovjek.

Ako odaberete riječ koja je najvjerojatnija na LLM-u, one se uhvate u petlje (u petlje u petlje u petlje...). Ako odaberete nevjerojatne riječi, one se izrode u besmislice. Čini se da ni plesanje s vjerojatnošću ne funkcionira dobro - nije jednako vjerojatno da ćemo odabrati riječ s malom zabunom, ona jednostavno ima smisla u određenim situacijama.

Iskreno, sve je to vjerojatno povezano s nedostatkom eksplicitnih komunikacijskih ciljeva kod agenata LLM-a, a pretpostavljam i kao pojačanje učenje se nastavlja sve više integrirati u jezične modele počet će se javljati prirodne varijacije i tekst će postati ljudskiji gledajući.

Budući da sam veći dio posljednjih 15 godina radio u K12 Edtechu, mogu reći da svatko tko je pravilno procijenio postojeće alate za “akademski integritet” nije iznenađen ničim od ovoga. Nakon što su alati u stilu TurnItIn prešli dalje od otkrivanja veleprodajnog podizanja sadržaja, brzo se približavaju "neznatno bolji od nasumičnog klasifikatora". Ove nove "AI" tvrtke samo su novo pakiranje s ljepšim riječima oko istog zmijskog ulja.

Nažalost, postoji velika skupina K12 nastavnika i administratora koji nisu dovoljno sofisticirani da razumiju ili procijene učinkovitost ovih alata. To rezultira time da se alati i njihove 'preporuke' koriste na kaznene načine protiv učenika koji malo doprinose unapređivanju ovladavanja predmetom ili vještinama cjeloživotnog učenja. S druge strane, velik dio korporativne Amerike bori se protiv pokvarene tehnologije i procesa koji su neprijateljski raspoloženi prema korisnicima, pa su možda ovi alati dobar poligon za vježbanje.

Problem kako izbjeći lažne pozitivne rezultate postoji prije izdavanja LLM-ova. Možda je star koliko i sam akademski esej.

Moj tata se još uvijek muči gotovo 60 godina nakon što je dobio D-minus na istraživačkom radu brucoša. Bio je, po vlastitom iskazu, lijen, nezainteresiran student koji se odjednom zapalio oko završnog rada i u njega uložio sve što je imao. Njegov je profesor, procjenjujući rad prema standardima njegova prethodnog rada, pretpostavio da je plagijat. Nije bilo dokaza, inače bi ocjena bila petica.

Suosjećam s profesorom u toj priči, čak i ako ne mislim da je davanje petice studentu za neuobičajeno zvjezdani rad bio pravi izbor. Učenici su na raznim kaotičnim putanjama učenja i uvijek je bilo teško razlučiti tko je zapravo ulaganje rada i upijanje lekcija i tko je smislio način na koji igra sustav.

Tijekom nekoliko godina dok sam predavao na fakultetu, otkrio sam da je ocjenjivanje jedan od najbolnijih dijelova posao za mene, a niska zbunjenost i nabrijanost studentskog rada C-prosjeka vjerojatno je veliki dio toga bol. Uz citiranu statistiku stope pogrešaka, to me čini skeptičnim prema alatima opisanim u članku. Čine se kao ekvivalent pridnenom koćanju - bit će mnogo nevinog morskog života uhvaćenog u mrežu. Ionako se sve učenje ne odražava u tome koliko snažno netko piše.

Neki raniji komentatori nagađali su da će buduće metode ocjenjivanja možda imati više ugrađenih vještina usmenog izlaganja i dijaloga. Nadam se da je to smjer u kojem se naš obrazovni sustav kreće.

Zanimljivo mi je da je svaki primjer "vjerojatno napisano od strane umjetne inteligencije" bila suradnja, a ne podnesak jednog autora.

O varijacijama u riječima, stilu i drugim aspektima gramatike raspravljalo bi se i složilo povjerenstvo, a ne pojedinac.

S obzirom da bi se umjetna inteligencija mogla opisati kao "generirana od strane odbora" zbog korištenih modela obuke, onda čini smislu da bi to označilo zajedničke napore kao da ne dolaze od jedne osobe, stoga najvjerojatnije generiran umjetnom inteligencijom.

Smiješno, "želio bih šalicu paukova" je upravo onakva vrsta ludila za koju bih očekivao da će napisati generativna umjetna inteligencija, ali pretpostavljam da je to polje napredovalo.

Bez obzira na to, zbunjujuće je da ljudi očekuju da je moguće pouzdano otkriti tekst generiran umjetnom inteligencijom. Ako sustav može identificirati 'tell', zašto se isti sustav ne bi mogao koristiti za njegovo uklanjanje? Ako imate informacije da utvrdite da nešto nije u redu, nemate li također dovoljno informacija da to ispravite?

Naravno, postoje pogreške propusta kao i provizija, ali čini se nelogičnim pretpostaviti da postoje bilo kakvi inherentno neuklonjivi nedostaci generativne umjetne inteligencije.

Učitelj koji je ujedno i stručnjak za predmet mogao bi ispitati učenike o sadržaju njihovog rada nakon toga da vidi koliko ga dobro razumiju. Pisanje nije samo demonstracija znanja već i projekcija ugleda osobe, a ako je ljudski autor ne može podnijeti svaku činjenicu predstavljenu u pisanju, AI pomoć nije korištena prikladno.

Kliknite za proširenje...

Poznajem profesoricu matematike na fakultetu i ona tjera učenike da pokažu svoj rad. Kad nemaju, a povijest tog studenta točan odgovor bez rada dovodi u pitanje, ona označi pitanje pogrešno i kaže im zašto, a ako nije, mogu joj doći objasniti svoj odgovor. Nju još nitko nije pokušao. Nisam siguran računa li se to kao 0% lažno pozitivno ili su učenici previše uplašeni/pod stresom da bi se branili. Ovo nije etički odbor, kao što je spomenuto u članku, samo ona.

Idemo na tangentu, ali još u srednjoj školi u kasnim 90-ima kada sam učio programirati TI-BASIC, moj prvi program bio je nešto na satu kemije za pretvaranje molova/grama/atoma tvar. Natjerao sam program da pokaže korake koji uključuju kopiranje na test, tako da nitko nije bio mudriji. Do zadnje godine matematike dijelio sam te korisne male programe s kolegama iz razreda. Sjećam se da sam pronašao grešku u programu dok su se dijelili testovi i morao sam nekoliko ljudi šapnuti da mu ne vjeruju. Kao autorica programa dobro sam poznavala gradivo. Ljudi kojima sam dao program? Možda manje.

Nekoliko godina kasnije, razgovarao sam sa svojom profesoricom matematike (znao sam njenog sina) i ona je u šali rekla da joj nedostajem ja i moji programi. Učenicima nije dobro bez njih. Nisam siguran trebam li zbog toga osjećati ponos ili ne. Bili su to dobri programi.

waveterrain je rekao:

Budući da sam veći dio posljednjih 15 godina radio u K12 Edtechu, mogu reći da svatko tko je pravilno procijenio postojeće alate za “akademski integritet” nije iznenađen ničim od ovoga. Nakon što su alati u stilu TurnItIn prešli dalje od otkrivanja veleprodajnog podizanja sadržaja, brzo se približavaju "neznatno bolji od nasumičnog klasifikatora". Ove nove "AI" tvrtke samo su novo pakiranje s ljepšim riječima oko istog zmijskog ulja.

Nažalost, postoji velika skupina K12 nastavnika i administratora koji nisu dovoljno sofisticirani da razumiju ili procijene učinkovitost ovih alata. To rezultira time da se alati i njihove 'preporuke' koriste na kaznene načine protiv učenika koji malo doprinose unapređivanju ovladavanja predmetom ili vještinama cjeloživotnog učenja. S druge strane, velik dio korporativne Amerike bori se protiv pokvarene tehnologije i procesa koji su neprijateljski raspoloženi prema korisnicima, pa su možda ovi alati dobar poligon za vježbanje.

Kliknite za proširenje...

Upravo završavamo svađu sa sveučilištem moje kćeri oko optužbe za plagijat u nadzornom testu gdje su ona i još jedan student optužene da su prepisivale jedna od druge. Napokon smo dobili podatke i očigledno je u detaljima izvan široke obavijesti o statističkim izvanrednim vrijednostima, ona nije nikoga kopirala.

Na kraju je osigurala nalaz da nema plagijata, ali nakon nekoliko prilično oštrih razmjena. Netko s manjom podrškom možda nije postigao isti ishod. Činilo se da je sveučilišni istražitelj toliko zaokupljen činjenicom da je program označio 'veliku vjerojatnost kopiranja' da su radilo se na pretpostavci pronalaženja krivnje jer je računalo reklo da je netko kriv, a ignoriralo sve druge moguće tumačenja.

Ti će alati biti prisutni i kao što je navedeno u članku, svi žele da rade. Kada to ne učine, ili kada im se daju nepotrebne ovlasti, rizici za nevinog učenika su visoki s malo mogućih ublažavanja.