Sada razmislite o manje uobičajenom završetku: "Želio bih šalicu pauka." I ljudi i dobro obučeni jezični bi model bio prilično iznenađen (ili "zbunjen") ovom rečenicom, pa bi njegova zbunjenost bila visoka. (U trenutku pisanja ovog teksta izraz "želio bih šalicu paukova" daje točno jedan rezultat u Google pretraživanju, u usporedbi s 3,75 milijuna rezultata za "želio bih šalicu kave.")
Ars Technica
Ako jezik u dijelu teksta nije iznenađujući na temelju uvježbanosti modela, zbunjenost će biti niska, pa će AI detektor vjerojatnije klasificirati taj tekst kao generiran AI-jem. To nas dovodi do zanimljivog slučaja Ustava SAD-a. U biti, jezik Ustava toliko je ukorijenjen u ove modele da ga klasificiraju kao generiran umjetnom inteligencijom, stvarajući lažno pozitivno.
Tvorac GPTZero Edward Tian rekao je za Ars Technicu: "Ustav SAD-a je tekst koji se više puta unosi u podatke za obuku mnogih velikih jezičnih modela. Kao rezultat toga, mnogi od ovih velikih jezičnih modela osposobljeni su za generiranje teksta sličnog Ustavu i drugim često korištenim tekstovima za obuku. GPTZero predviđa tekst koji će vjerojatno generirati veliki jezični modeli, i tako dolazi do ovog fascinantnog fenomena."
Problem je u tome što je potpuno moguće da pisci ljudi stvaraju sadržaj s malom zabunom (ako prvenstveno pišu koristeći uobičajene izraze kao što je "želio bih šalicu kave, na primjer), što duboko potkopava pouzdanost pisanja umjetnom inteligencijom detektori.
Ars Technica
Drugo svojstvo teksta koje mjeri GPTZero je "rafalnost", koja se odnosi na pojavu gdje se određene riječi ili izrazi pojavljuju u brzom nizu ili "rafalima" unutar teksta. U biti, praskavost procjenjuje varijabilnost duljine rečenice i strukture kroz tekst.
Ljudski pisci često pokazuju dinamičan stil pisanja, što rezultira tekstom s promjenjivom dužinom rečenice i strukturom. Na primjer, možemo napisati dugu, složenu rečenicu iza koje slijedi kratka, jednostavna, ili možemo upotrijebiti skup pridjeva u jednoj rečenici, a u sljedećoj nijedan. Ova varijabilnost prirodan je rezultat ljudske kreativnosti i spontanosti.
Tekst generiran umjetnom inteligencijom, s druge strane, ima tendenciju da bude dosljedniji i ujednačeniji - barem do sada. Jezični modeli, koji su još uvijek u povojima, generiraju rečenice pravilnije duljine i strukture. Ovaj nedostatak varijabilnosti može rezultirati niskom ocjenom pucanja, što ukazuje da je tekst možda generiran umjetnom inteligencijom.
Međutim, niti praskavost nije siguran pokazatelj za otkrivanje sadržaja generiranog umjetnom inteligencijom. Kao i kod zbunjenosti, postoje iznimke. Ljudski pisac može pisati visoko strukturiranim, dosljednim stilom, što rezultira niskom ocjenom pucanja. Nasuprot tome, model umjetne inteligencije mogao bi se uvježbati da oponaša varijabilnost duljine i strukture rečenice koja je sličnija ljudskoj, povećavajući svoj rezultat pucanja. Zapravo, kako se jezični modeli umjetne inteligencije poboljšavaju, studije pokazuju da njihovo pisanje izgleda više i više kao ljudsko pisanje cijelo vrijeme.
U konačnici, ne postoji čarobna formula koja uvijek može razlikovati tekst koji su napisali ljudi od onoga koji je sastavio stroj. AI detektori pisanja mogu dati čvrstu pretpostavku, ali margina pogreške je prevelika da bismo se na njih mogli pouzdati za točan rezultat.
A Studija iz 2023 od istraživača sa Sveučilišta Maryland empirijski su pokazali da detektori za tekst generiran umjetnom inteligencijom nisu pouzdani u praktičnim scenarijima i da imaju tek neznatno bolje rezultate od nasumičnog klasifikatora. Ne samo da vraćaju lažno pozitivne rezultate, već i detektore i sheme vodenih žigova (koje nastoje promijeniti izbor riječi u izdajnički način) može se lako poraziti "napadima parafraziranja" koji mijenjaju izlaz jezičnog modela zadržavajući njegovu značenje.
"Mislim da je to uglavnom zmijsko ulje", rekao je Simon Willison, istraživač AI detektora proizvoda. "Svi očajnički žele da oni rade - posebno ljudi u obrazovanju - i lako je prodati proizvod koji svi žele, pogotovo kada je stvarno teško dokazati je li učinkovit ili ne."
Dodatno, a nedavna studija Istraživači sa Sveučilišta Stanford pokazali su da je AI detekcija pisanja pristrana u odnosu na govornike engleskog jezika kojima engleski nije materinji, izbacujući visoko lažno pozitivne stope za njihov rad koji su napisali ljudi i potencijalno ih kažnjavati u globalnom diskursu ako detektori umjetne inteligencije postanu široko rasprostranjeni koristi se.
