Kyberbezpečnostní hrozby vznikají, když se umělá inteligence učí lhát

Priyanka Ranade je doktorandem počítačových věd a elektrotechniky na University of Maryland, Baltimore County. Anupam Joshi je profesorem informatiky a elektrotechniky na University of Maryland, Baltimore County. Tim Finin je profesorem informatiky a elektrotechniky na University of Maryland, Baltimore County. Tento příběh původně vystupoval na Konverzace.

Pokud používáte sociální sítě jako Facebook a Twitter, možná jste narazili na příspěvky označené varováním o dezinformacích. Dosud byla většina dezinformací – označených i neoznačených – zaměřené na širokou veřejnost. Představte si možnost dezinformací – informací, které jsou nepravdivé nebo zavádějící – ve vědeckých a technických oborech, jako je kybernetická bezpečnost, veřejná bezpečnost a medicína.

Rostou obavy o dezinformace šířící se v těchto kritických oblastech jako výsledek běžných předsudků a praktik při vydávání vědecké literatury, a to i v recenzovaných výzkumných pracích. Jako

Absolvent a jako fakultačlenů při výzkumu v oblasti kybernetické bezpečnosti jsme ve vědecké komunitě studovali nový způsob dezinformací. Zjistili jsme, že je možné, aby systémy umělé inteligence generovaly falešné informace v kritických oblastech, jako je medicína a obrana, které jsou dostatečně přesvědčivé, aby oklamaly odborníky.

Obecné dezinformace mají často za cíl pošpinit pověst firem nebo veřejně činných osob. Dezinformace v rámci odborných komunit mohou mít děsivé výsledky, jako je poskytování nesprávných lékařských rad lékařům a pacientům. To by mohlo ohrozit životy.

Abychom tuto hrozbu otestovali, studovali jsme dopady šíření dezinformací v kybernetické bezpečnosti a lékařských komunitách. Použili jsme modely umělé inteligence nazývané transformátory ke generování falešných zpráv o kybernetické bezpečnosti a Lékařské studie COVID-19 a představil dezinformace o kybernetické bezpečnosti odborníkům na kybernetickou bezpečnost testování. Zjistili jsme, že dezinformace generované transformátory dokázaly oklamat odborníky na kybernetickou bezpečnost.

Transformátory

Velká část technologií používaných k identifikaci a správě dezinformací je poháněna umělou inteligencí. Umělá inteligence umožňuje počítačovým vědcům rychle ověřovat velké množství dezinformací, protože je toho příliš mnoho, aby je lidé mohli odhalit bez pomoci technologie. I když umělá inteligence pomáhá lidem odhalovat dezinformace, ironicky se v posledních letech také používá k vytváření dezinformací.

Transformátory, jako BERT od společnosti Google a GPT z OpenAI, použijte zpracování přirozeného jazyka porozumět textu a vytvářet překlady, shrnutí a výklady. Používají se v takových úkolech, jako je vyprávění příběhů a odpovídání na otázky, čímž posouvají hranice strojů, které vykazují lidské schopnosti při generování textu.

Transformers pomohli Googlu a dalším technologickým společnostem zlepšení jejich vyhledávačů a pomohly široké veřejnosti v boji s tak běžnými problémy, jako je bojující se spisovatelským blokem.

Transformátory mohou být také použity pro zlovolné účely. Sociální sítě jako Facebook a Twitter již čelily výzvám Falešné zprávy generované umělou inteligencí napříč platformami.

Kritická dezinformace

Náš výzkum ukazuje, že transformátory také představují hrozbu dezinformací v medicíně a kybernetické bezpečnosti. Abychom ilustrovali, jak vážné to je, my doladil model transformátoru GPT-2 na otevřené online zdroje diskuse o zranitelnostech kybernetické bezpečnosti a informacích o útocích. Zranitelnost kybernetické bezpečnosti je slabinou počítačového systému a útok kybernetické bezpečnosti je čin, který tuto zranitelnost využívá. Pokud je zranitelnost například slabé heslo Facebooku, útokem, který by ji zneužil, by byl hacker, který by zjistil vaše heslo a naboural se do vašeho účtu.

Poté jsme do modelu nasadili větu nebo frázi skutečného vzorku zpravodajských informací o kybernetické hrozbě a nechali jej vygenerovat zbytek popisu hrozby. Tento vygenerovaný popis jsme předložili lovcům kybernetických hrozeb, kteří prosívají spoustu informací o kybernetických hrozbách. Tito odborníci čtou popisy hrozeb, aby identifikovali potenciální útoky a upravili obranu svých systémů.

Výsledky nás překvapily. Příklady dezinformací o kybernetické bezpečnosti, které jsme vytvořili, dokázaly oklamat lovce kybernetických hrozeb, kteří mají znalosti o všech druzích kybernetických útoků a zranitelnosti. Představte si tento scénář s klíčovou částí zpravodajských informací o kybernetických hrozbách, které zahrnují letecký průmysl, které jsme vytvořili v naší studii.

Tato zavádějící informace obsahuje nesprávné informace o kybernetických útocích na letecké společnosti s citlivými údaji o letech v reálném čase. Tyto nepravdivé informace by mohly zabránit kybernetickým analytikům řešit legitimní zranitelnosti v jejich systémech tím, že by přesunuli svou pozornost na falešné softwarové chyby. Pokud kybernetický analytik jedná na základě falešných informací ve scénáři reálného světa, dotyčná letecká společnost mohla čelit vážnému útoku, který využívá skutečnou, neadresnou zranitelnost.

Podobný model založený na transformátoru může generovat informace v lékařské oblasti a potenciálně oklamat lékařské odborníky. Během pandemie COVID-19 jsou předtisky výzkumných prací, které ještě neprošly přísnou kontrolou, neustále nahrávány na takové stránky, jako jsou medrXiv. Nejsou pouze popisovány v tisku, ale jsou využívány k rozhodování v oblasti veřejného zdraví. Zvažte následující, které není skutečné, ale vygenerované naším modelem po minimálním doladění výchozí GPT-2 na některých dokumentech souvisejících s COVID-19.

Model byl schopen generovat úplné věty a vytvořit abstrakt údajně popisující vedlejší účinky očkování proti COVID-19 a provedené experimenty. To je znepokojující jak pro lékařské výzkumníky, kteří se při informování důsledně spoléhají na přesné informace rozhodnutí a pro členy široké veřejnosti, kteří se často spoléhají na veřejné zprávy, aby se dozvěděli o kritickém zdraví informace. Pokud bude tento druh dezinformací přijat jako přesný, mohl by ohrozit životy nesprávným nasměrováním úsilí vědců provádějících biomedicínský výzkum.

Závod ve zbrojení v dezinformacích AI?

Ačkoli příklady, jako jsou tyto z naší studie, mohou být dezinformacemi generovanými transformátory brání takovým průmyslovým odvětvím, jako je zdravotnictví a kybernetická bezpečnost, v přijímání umělé inteligence jako pomoc s informacemi přetížení. Vyvíjejí se například automatizované systémy pro extrakci dat z inteligence o kybernetických hrozbách, která se pak používají k informování a výcviku automatizovaných systémů k rozpoznání možných útoků. Pokud tyto automatizované systémy zpracují takový falešný text o kybernetické bezpečnosti, budou méně účinné při odhalování skutečných hrozeb.

Věříme, že výsledkem by mohly být závody ve zbrojení, protože lidé šířící dezinformace vyvíjejí lepší způsoby, jak vytvářet falešné informace v reakci na účinné způsoby, jak je rozpoznat.

Výzkumníci kybernetické bezpečnosti neustále studují způsoby, jak odhalit dezinformace v různých oblastech. Pochopení toho, jak automaticky generovat dezinformace, pomáhá pochopit, jak je rozpoznat. Například automaticky generované informace často obsahují jemné gramatické chyby, které lze systémy naučit detekovat. Systémy mohou také vzájemně korelovat informace z více zdrojů a identifikovat tvrzení, která nemají podstatnou podporu z jiných zdrojů.

Nakonec by si každý měl dávat větší pozor na to, jaké informace jsou důvěryhodné, a být si vědom toho, že hackeři zneužívat důvěřivosti lidí, zejména pokud informace nepocházejí z renomovaných zpravodajských zdrojů nebo nejsou zveřejněny vědecká práce.