U nevolji s dezinformacijama nalazimo se dijelom zbog algoritama. Mogu li nas i izvući iz toga?
Možda ste primijetili: čudno je vrijeme za činjenice. S jedne strane, unatoč kršenju ruku nad našim post-istinitim svijetom, činjenice i dalje postoje. S druge strane, postaje ih jako teško iskopati iz kanalizacije dezinformacija, propagande i lažnih vijesti.1 Bilo da su krcate virusima tablete protiv bolova, 3 milijuna nezakonitih glasova danih na predsjedničkim izborima 2016. ili nova dječja igračka pod nazivom My First Vape, lažne poruke začepljuju internet. Oni koji provjeravaju činjenice i novinari daju sve od sebe da isplivaju na površinu, ali laži je previše, a nas je premalo. Nejasno je koliko često prosječni građanin nasjeda na lažne vijesti. Ali postoji mnogo prilika za izlaganje. Istraživački centar Pew izvijestio je prošle godine da više od dvije trećine odraslih Amerikanaca dobiva vijesti na društvenim mrežama, gdje ima puno dezinformacija. Također ga tražimo. U prosincu su politolozi sa Sveučilišta Princeton, Dartmouth Collegea i Sveučilišta Exeter izvijestio je da je 1 od 4 Amerikanca posjetio stranicu s lažnim vijestima—uglavnom tako što je kliknuo na njih putem Facebooka—oko 2016. izbora. Dok partizani, stručnjaci, pa čak i vlade koriste informacije oružjem kako bi iskoristili naše regionalne, rodne i etničkih razlika, velike tehnološke tvrtke poput Facebooka, Googlea i Twittera pod pritiskom su guranja leđa. Startupi i velike tvrtke pokrenule su pokušaje implementacije algoritama i umjetne inteligencije za provjeru činjenica u digitalnim vijestima. Izgradite pametan softver, razmišljanje ide, a istina ima šansu. "U stara vremena postojali su mediji koji su filtrirali netočne i lude stvari", kaže Bill Adair, profesor novinarstva na Sveučilištu Duke koji vodi jedno takvo nastojanje, Duke Tech & Check Zadruga. “Ali sada nema filtera. Potrošači trebaju nove alate kako bi mogli shvatiti što je točno, a što nije.” S 1,2 milijuna dolara financiranja, uključujući 200.000 dolara iz Facebook novinarskog projekta, zadruga podržava razvoj virtualnih alata za provjeru činjenica. Za sada to uključuje ClaimBuster, koji skenira digitalne vijesti ili transkripte govora i uspoređuje ih s bazom podataka poznatih činjenica; alat za praćenje govornih tema, koji označava tvrdnje političara i stručnjaka; i Truth Goggles, koje čine vjerodostojne informacije prihvatljivijima pristranim čitateljima. Mnoge druge skupine pokušavaju izraditi slične alate. Kao novinar i provjerivač činjenica, algoritmima želim sve najbolje. Sigurno bi nam dobro došla pomoć. Ali ja sam skeptičan. Ne zato što se bojim da roboti jure moj posao, već zato što znam protiv čega se bore. Napisao sam knjigu o provjeri činjenica (ne, stvarno, zove se The Chicago Guide to Fact-Checking2). Također vodim podcast Metode, koji istražuje kako novinari, znanstvenici i drugi profesionalni pronalazači istine znaju ono što znaju. Iz ovih iskustava mogu vam reći da je istina složena i mljackava. Ljudski mozak može prepoznati kontekst i nijanse, koji su ključni u provjeri informacija. Možemo uočiti sarkazam. Znamo ironiju. Razumijemo da se sintaksa može promijeniti čak i ako osnovna poruka ostaje. A ponekad još uvijek pogrešno shvatimo.3 Mogu li se strojevi uopće približiti?
Mediji su izbacili puno nade o tome kako bi nas napori AI mogli spasiti od lažnih naslova. Ali što je unutar tih digitalnih mozgova? Kako će algoritmi obavljati svoj posao? Umjetna inteligencija, naposljetku, najbolje radi kada slijedi stroga pravila. Pa da, možemo naučiti računala da igraju šah ili Go. Ali budući da su činjenice skliske, Cathy O’Neil, podatkovna znanstvenica i autor knjige Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, nije AI optimist. "Koncept algoritma za provjeru činjenica, barem na prvi pogled, jest usporedba izjave s poznatom istinom", kaže ona. "Budući da ne postoji umjetni algoritamski model za istinu, to jednostavno neće funkcionirati."
To znači da ga računalni znanstvenici moraju izgraditi. Dakle, kako zapravo grade svoju vojsku virtualnih provjerivača činjenica? Koji su njihovi modeli istine? I koliko smo blizu povjeriti njihovim algoritmima uklanjanje lažnih vijesti? Kako bi saznali, urednici Popular Sciencea zamolili su me da isprobam automatiziranu provjeru činjenica, koristeći lažnu vijest, i usporedim njen proces sa svojim. Rezultati su bili mješoviti, ali možda ne iz razloga iz kojih biste vi (ili barem ja) mislili.
Chengkai Li je računalni znanstvenik na Sveučilištu Texas u Arlingtonu. On je glavni istraživač za ClaimBuster, koji je u trenutku pisanja ovog teksta bio jedini javno dostupan alat za provjeru činjenica AI (iako je još bio u tijeku). Počevši od kasne 2014., Li i njegov tim izgradili su ClaimBuster više-manje u skladu s drugim automatiziranim provjerivačima činjenica u razvoju. Prvo su stvorili algoritam, računalni kod koji može riješiti problem slijedeći niz pravila. Zatim su naučili svoj kod da identificira tvrdnju - izjavu ili frazu koja se u novinskoj priči tvrdi kao istinita ili politički govor – nahranjujući ga mnoštvom rečenica i govoreći mu koje iznose tvrdnje, a koje ne. Budući da je Lijev tim izvorno osmislio svoj alat za bilježenje političkih izjava, riječi koje su mu dodali potječu iz 30-ak prošlih predsjedničkih debata u SAD-u, što ukupno iznosi otprilike 20 000 tvrdnji. "Ciljali smo na izbore 2016.", kaže Li. "Razmišljali smo da bismo trebali koristiti ClaimBuster kada su predsjednički kandidati raspravljali." Zatim je tim naučio računalo kodu za usporedbu tvrdnji sa skupom poznatih činjenica. Algoritmi nemaju intrinzičnu značajku za prepoznavanje činjenica; ljudi ih moraju osigurati. To činimo izgradnjom onoga što ću nazvati bazama podataka istine. Da bi radile, te baze podataka moraju sadržavati informacije koje su i visoke kvalitete i širokog raspona. Lijev tim upotrijebio je nekoliko tisuća provjera činjenica—članaka i postova na blogovima koje su napisali profesionalni provjeravači činjenica i novinari, s namjerom ispraviti zapis o sumnjivim tvrdnjama—izvučenim s uglednih stranica s vijestima kao što su PolitiFact, Snopes, factcheck.org i The Washington Post. Htio sam vidjeti može li ClaimBuster otkriti lažne znanstvene vijesti od poznatog trgovca postova koji osporavaju činjenice: infowars.com. 4 Pitao sam Lija što misli. Rekao je da iako bi sustav bio najuspješniji na političkim pričama, mogao bi funkcionirati. "Mislim da stranica iz Infowarsa zvuči zanimljivo", rekao je. "Zašto ne biste pokušali i javili nam što ste saznali?" Kako bismo stvorili poštenu borbu, moj urednik i ja složili smo se oko dva pravila: nisam mogao sam odabrati lažne vijesti i nisam mogao testirati AI dok ne završim vlastitu provjeru činjenica. Dugogodišnji provjerivač činjenica u Popular Scienceu izvukao je sedam lažnih znanstvenih priča iz Infowarsa, od kojih smo se moj urednik i ja složili oko jedne s politiziranom temom: klimatskim promjenama. Budući da Li nije imao proračun za ažuriranje baze podataka istine ClaimBustera od kraja 2016., odabrali smo dio objavljeno prije toga: “Klimatska uspješnica: Novi NASA-ini podaci pokazuju da se polarni led nije povukao od 1979.,” iz svibnja 2015.
Negatori klimatskih promjena i pisci lažnih vijesti često lažno prikazuju stvarna istraživanja kako bi poduprli svoje tvrdnje. Prilikom provjere izvješća oslanjao sam se na činjenice dostupne samo u tom razdoblju.
Da budemo kratki, upotrijebili smo prvih 300 riječi Infowar računa. 5 Za ljudski dio eksperimenta, provjerio sam odabir kao i svaki drugi članak: redak po redak. Identificirao sam izjave temeljene na činjenicama - u biti svaku rečenicu - i tražio podupiruće ili kontradiktorne dokaze iz primarnih izvora, kao što su klimatski znanstvenici i akademski časopisi. Također sam pratio poveznice u priči Infowara kako bih procijenio njihovu kvalitetu i vidio podupiru li argumente. (Uzorak moje provjere činjenica je ovdje.)
Uzmimo, na primjer, prvu rečenicu priče: "NASA je ažurirala svoje podatke iz satelitskih očitanja, otkrivajući da je polarni led planeta kape se nisu značajno povukle od 1979., kada su počela mjerenja.” Na internetu su riječi "podaci iz satelitskih očitanja" imale hipervezu. Kako bih pogledao podatke na koje se priča pozivala, kliknuo sam vezu koja je vodila do nepostojeće web stranice Sveučilišta Illinois, Cryosphere Today. Slijepa ulica. Poslao sam e-mail školi. Pročelnik sveučilišnog Odjela za atmosferske znanosti dao mi je adresu e-pošte za istraživača koji je radio na mjesto: John Walsh, sada glavni znanstvenik Međunarodnog arktičkog istraživačkog centra na Aljasci, s kojim sam kasnije razgovarao telefon.
Walsh mi je rekao da "podaci iz satelitskih očitanja" nisu izravno iz NASA-e. Umjesto toga, Nacionalni podatkovni centar za snijeg i led u Boulderu, Colorado, očistio je sirove NASA-ine satelitske podatke za arktički morski led. Odatle ga je Sveučilište Illinois analiziralo i objavilo. Kad sam upitao Walsha jesu li ti podaci otkrili da se polarne ledene kape nisu mnogo povukle od 1979., kako je tvrdio Infowars, rekao je: “Ne mogu pomiriti tu izjavu s onim što je web stranica koristila pokazati."
Osim razgovora s Walshom, upotrijebio sam Google Scholar kako bih pronašao relevantnu znanstvenu literaturu i došao do opsežnog rada o globalnim trendovima morskog leda u recenzirani Journal of Climate, koji je objavilo Američko meteorološko društvo, a čiji je autor Claire Parkinson, viša znanstvenica za klimu u NASA Goddard Spaceu Centar letenja. I nju sam intervjuirao. Provela me kroz usporedbu njezinog istraživanja s tvrdnjama u priči Infowarsa, pokazujući gdje su potonji iskrivili podatke. Istina je da je globalno prikupljanje podataka o morskom ledu započelo 1979., otprilike kada je relevantno lansirani sateliti, tijekom vremena mjerenja pokazuju opći globalni trend povlačenja, rekao je Parkinson. Priča o Infowarsu također je spojila podatke za arktički i antarktički morski led; iako veličina polarnog morskog leda varira iz godine u godinu, arktički morski led pokazao je dosljedan trend prema smanjenju koje nadmašuje trend rasta Antarktika, smanjujući globalne ukupne vrijednosti značajno. Autor Infowarsa, Steve Watson, povezuje podatke o Arktiku, Antarktiku, globalne, godišnje i prosječne podatke u cijelom članku, a možda ima i odabrane podatke iz godine procvata na Antarktiku kako bi povećao svoju tvrdnju.
U drugim slučajevima, članak Infowarsa povezivao se s lošim izvorima—i pogrešno ih citirao. Uzmimo, na primjer, rečenicu koja tvrdi da je Al Gore upozorio da bi arktička ledena kapa mogla nestati do 2014. Rečenica je bila povezana s člankom Daily Maila — koji nije primarni izvor — koji je uključivao citat navodno iz Goreova predavanja o Nobelovoj nagradi 2007. Ali kad sam pročitao transkript govora i pogledao video na web stranici Nobelove nagrade, otkrio sam da su novine jako uredile citat, izbacivši upozorenja i kontekst. Što se tiče ostatka priče o Infowaru, slijedio sam isti postupak. Sve osim dvije rečenice bile su pogrešne ili obmanjujuće. (Glasnogovornik Infowarsa rekao je da je autor odbio komentirati.) Nakon što sam obavio vlastiti posao, bio sam znatiželjan vidjeti kako će se ClaimBuster ponašati. Stranica zahtijeva dva koraka za provjeru činjenica. U prvom sam kopirao i zalijepio izvadak od 300 riječi u okvir s oznakom "Unesite vlastiti tekst", kako bih identificirao činjenične tvrdnje iznesene u kopiji. Unutar jedne sekunde, AI je ocjenjivao svaku liniju na ljestvici od nula do jedan; što je veći broj, vjerojatnije je da sadrži zahtjev. Ocjene su bile u rasponu od 0,16 do 0,78. Li je predložio 0,4 kao prag za zahtjev vrijedan daljnje provjere. AI je postigao 12 od 16 rečenica na ili iznad te ocjene. Ukupno je među 12 rečenica bilo 11 tvrdnji vrijednih provjere, a sve sam također identificirao. Ali ClaimBuster je propustio četiri. Na primjer, dao je nisku ocjenu od 0,16 rečenici u kojoj se kaže da se klimatske promjene "smatraju uzrokovane kombinacija prirodnog i, u znatno manjoj mjeri, ljudskog utjecaja.” Ova je rečenica doista tvrdnja - lažna jedan. Znanstveni konsenzus drži da su ljudi prvenstveno krivi za nedavne klimatske promjene. Ovakve lažne negacije, koje ocjenjuju rečenicu nevrijednom provjere čak i ako je, mogle bi navesti čitatelja da bude prevaren lažju. Kako je ClaimBuster mogao propustiti ovu izjavu kada je toliko toga napisano u medijima i akademskim časopisima? Li je rekao da ga njegova umjetna inteligencija vjerojatno nije uhvatila jer je jezik nejasan. "Ne spominje nikakve određene ljude ili skupine", kaže. Budući da rečenica nije imala čvrste brojke i nije citirala osobe ili institucije koje bi se mogle identificirati, nije bilo "ništa za kvantificirati". Samo ljudski mozak može uočiti tvrdnju bez očitih uporišta. Zatim sam stavio svaku od 11 identificiranih tvrdnji u drugi prozor, koji provjerava bazu podataka o istinitosti sustava. U idealnom slučaju, stroj bi usporedio tvrdnju s postojećom provjerom činjenica i označio je kao istinitu ili lažnu. U stvarnosti je izbacivao informacije koje su uglavnom bile nebitne.
Uzmimo prvu rečenicu članka, o povlačenju polarnih ledenih kapa. ClaimBuster je usporedio niz riječi sa svim rečenicama u svojoj bazi podataka. Tražio je podudaranja i sinonime ili semantičke sličnosti. Zatim je rangirao pogotke. Najbolje je odgovarala priča PolitiFacta — ali tema se ticala nuklearnih pregovora između SAD-a i Irana, a ne morskog leda ili klimatskih promjena. Li je rekao da se sustav vjerojatno uhvatio za slične riječi koje nemaju puno veze s temom. Obje rečenice, na primjer, sadrže riječi "od", "ima", "ne", kao i slične riječi kao što je "ažurirano" i "napredno". Time dolazimo do osnovnog problema: program još ne odvaguje važnije riječi u odnosu na nespecifične riječi. Na primjer, nije moglo reći da je priča o Iranu nevažna.
Kad sam pokušao s rečenicom o Alu Goreu, najbolji pogodak je više obećavao: još jedna poveznica s PolitiFacta odgovara rečenici u priča koja je glasila: "Znanstvenici predviđaju da će Arktik biti bez leda u ljeto 2013." Ovdje je utakmica bila više očit; rečenice su dijelile riječi, uključujući "Arktik", i sinonime kao što su "nestati" i "bez leda". Ali kad sam dalje kopao, okrenulo se priča o PolitiFactu bila je o Huffington Postovom komentaru tadašnjeg senatora Johna Kerryja iz 2009., a ne o Al Goreu u Nobelovoj nagradi za 2007. predavanje. Kad sam testirao preostale tvrdnje u priči, suočio sam se sa sličnim problemima.
Kad sam o ovim rezultatima izvijestio Lija, nije bio iznenađen. Problem je bio u tome što ClaimBusterova baza podataka istine nije sadržavala izvješće o ovoj konkretnoj lažnoj vijesti ili bilo čemu sličnom. Zapamtite, sastoji se od rada ljudi koji provjeravaju činjenice na mjestima uključujući PolitiFact i The Washington Post. Budući da se sustav jako oslanja na informacije koje daju ljudi, rekao je, rezultati su "samo još jedan dokaz da ljudi koji provjeravaju činjenice nisu dovoljni."
To ne znači da je AI provjera činjenica loša. S pozitivne strane, ClaimBuster je mnogo brži nego što ja ikada mogu biti. Proveo sam šest sati na provjeru činjenica. Usporedbe radi, AI-ju je trebalo oko 11 minuta. Također uzmite u obzir da prestajem na kraju dana. AI ne spava. "To je poput neumornog pripravnika koji će sjediti i gledati TV 24 sata i imati dobro oko za tvrdnju o činjenicama", kaže Adair. Dok Lijev tim testira novu umjetnu inteligenciju za poboljšanje bodovanja tvrdnji i provjere činjenica, ClaimBuster će se sigurno poboljšati, kao što bi trebali i drugi. Adairova zadruga također koristi ClaimBuster za skeniranje tvrdnji stručnjaka i političara na kabelskoj televiziji TV, ističući iskaze vrijedne provjere i šaljući ih e-poštom osobama koje provjeravaju činjenice na potvrdu. Trik će biti postići točnost koja odgovara toj učinkovitosti. Uostalom, u trenutnoj smo nevolji, barem djelomično, zbog algoritama. Od kraja 2017. Google i Facebook imali su 1,17 milijardi odnosno 2,07 milijardi korisnika. Ta ogromna publika daje kreatorima lažnih vijesti i propagandistima poticaj da igraju s algoritmima za širenje svog materijala - možda bi bilo moguće na sličan način manipulirati automatiziranim provjerivačem činjenica. A nedavni pokušaji Big Tech-a da poprave svoju umjetnu inteligenciju nisu baš dobro prošli. Na primjer, u listopadu 2017., nakon masovne pucnjave u Las Vegasu u kojoj je 851 osoba ozlijeđena i 58 mrtvih, korisnici s oglasne ploče 4chan je uspio promovirati lažnu priču u kojoj se krivo identificira strijelac Facebook. A prošle jeseni, Google AdWords postavio je lažne naslove vijesti i na PolitiFact i na Snopes. Čak i kada bi postojao AI provjerivač činjenica koji je imun na pogreške i igrice, postojao bi veći problem s ClaimBusterom i projektima poput njega—i s lažnim vijestima općenito. Političke operativce i stranačke čitatelje često nije briga je li članak namjerno pogrešan. Sve dok to podržava njihov plan - ili ih samo tjera na smijeh - oni će to dijeliti. Prema studiji Princetona, Dartmoutha i Exetera iz 2017., ljudi koji su konzumirali lažne vijesti također su konzumirali takozvane teške vijesti—i politički upućeni potrošači zapravo su vjerojatnije pogledali lažnjak stvari. Drugim riječima, nije da čitatelji ne znaju razliku. Mediji ne bi trebali podcijeniti njihovu želju da kliknu na takvu mačju travu. Još jedna bora. Dok tvrtke uvode vojsku AI provjerivača činjenica, pristrasni čitatelji s obje strane mogli bi ih promatrati samo kao još jedan način vrtnje. Predsjednik Donald Trump nazvao je pouzdane naslijeđene novinske kuće kao što su The New York Times i CNN "lažnima" vijesti." Infowars, stranica kojoj se divi, održava vlastiti popis izvora lažnih vijesti, koji uključuje Washington Post. Infowars je također usporedio rad stranica za provjeru činjenica poput Snopesa i PolitiFacta s cenzurom.
Ipak, vještačka inteligencija bi mogla biti naš najbolji saveznik u sprječavanju lažnih vijesti. Postoji mnogo digitalnih gluposti koje treba pratiti. Jedan startup, Veracity.ai—podržan od Knight Prototype Funda s ciljem pomoći oglasnoj industriji u prepoznavanju lažnih vijesti koje bi mogle živjeti pored internetskih oglasa—nedavno je identificirano 1200 lažnih web stranica s vijestima i oko 400 000 pojedinačnih lažnih objava, broj za koji tvrtka očekuje rasti. Tako je brzo i jeftino lagati, a tako je skupo i dugotrajno da ljudi to isprave. I nikada se nismo mogli osloniti na čitatelje za provjeru činjenica klikom. I dalje ćemo trebati novinare da zapošljavaju AI provjerivače činjenica da pretražuju internet u potrazi za obmanama i da pruže hranu za baze podataka istine.
Pitao sam Lija može li moja jedna, provjerena priča imati utjecaja, hoće li uopće dospjeti u bazu podataka istine ClaimBuster. "Savršen automatski alat bi uhvatio vaše podatke i učinio ih dijelom repozitorija", rekao je.
Dodao je: "Naravno, trenutno ne postoji takav alat."
Fusnote:
1Lažne vijesti su pojam koji se bori. Koristi se za opisivanje vijesti koje su namjerno zamišljene da dovedu u zabludu - radi političke ili ekonomske dobiti - na temelju lažnih, pogrešno protumačenih ili izmanipuliranih činjenica. Ali partizani ga koriste i za blaćenje uglednih naslijeđenih medija. Ovdje koristimo prethodnu definiciju.
2Knjiga je dio obitelji vodiča za pisanje Sveučilišta Chicago Press. I da, činjenice u njemu vrijede i izvan Chicaga.
3 A Popularna znanost fact-checker proveo je 15 sati provjeravajući stranice Intelligence Issuea i uhvatio 34 pogreške prije nego što smo otišli u tisak.
4 Infowars je medijsko carstvo i mjesto za razmjenu zavjera - od savezne vlade koja kontrolira vremensku prognozu do ideje da je Glenn Beck operativac CIA-e.
5 Pazili smo da ostatak priče ne pruža dokaze ili kontekst koji bi utjecao na našu provjeru činjenica.
Ovaj je članak izvorno objavljen u izdanju časopisa Intelligence za proljeće 2018 Popularna znanost.
