Scenár Terminátora: Dávame našim vojenským strojom príliš veľa energie?

Vlani v auguste operátori amerického námorníctva na zemi stratili akýkoľvek kontakt s vrtuľníkom Fire Scout letiacim nad Marylandom. Naprogramovali bezpilotné lietadlo, aby sa vrátilo na svoj štartovací bod, ak bude na zemi zlyhala komunikácia, ale namiesto toho stroj vzlietol na severo-severozápadnej trase smerom k hlavné mesto národa. Počas nasledujúcich 30 minút vojenskí predstavitelia zalarmovali Federálny úrad pre letectvo a Severoamerické veliteľstvo protivzdušnej obrany a pripravili stíhačky F-16, aby zachytili bezpilotné plavidlo. Nakoniec, keď bol Fire Scout len ​​míle vzdialený od Bieleho domu, námorníctvo opäť získalo kontrolu a prikázalo mu, aby sa vrátilo domov. „Odpadlík bezpilotný dron putoval po oblohe blízko hlavného mesta národa,“ varoval jeden titulok v nasledujúcich dňoch. „UAV odoláva svojim ľudským utláčateľom, Joyrides nad Washingtonom, D.C.,“ vyhlásil ďalší.

Fire Scout bol neozbrojený a v každom prípade sotva stroj s takým stupňom inteligencie alebo autonómie, ktorý by bol potrebný na to, aby sa umúdril a povstal, ako nám sci-fi hovorí, že to roboti nevyhnutne urobia. Najväčšia armáda sveta sa však rýchlo mení na bojovú silu pozostávajúcu prevažne zo strojov a tvrdo pracuje na tom, aby boli tieto stroje oveľa inteligentnejšie a oveľa nezávislejšie. Ashton Carter, námestník ministra obrany USA, v marci poznamenal, že „do súčasných a budúcich vojenských systémov možno zaviesť bezprecedentné, možno nepredstaviteľné stupne autonómie. pre akvizíciu, technológiu a logistiku vyzval na vytvorenie pracovnej skupiny pre autonómiu, aby sa zabezpečilo, že odvetvia služieb budú mať „maximálne praktické výhody z pokroku v tomto oblasť.”

V Iraku a Afganistane sa k americkým jednotkám na zemi a vo vzduchu pripojilo približne 20 000 robotov a diaľkovo ovládaných vozidiel. CIA pravidelne posúva drony do Pakistanu, aby odpálili podozrivých agentov Al-Kájdy a ďalšie ciele. Kongres vyzval, aby aspoň tretina všetkých vojenských pozemných vozidiel bola do roku 2015 bez posádky letectvo už každoročne cvičí viac operátorov UAV ako pilotov stíhačiek a bombardérov kombinované. Podľa „Technology Horizons“, nedávnej správy vzdušných síl, ktorá podrobne popisuje vedecké ciele odvetvia, vojenské stroje dosiahnu „úroveň autonómnej funkčnosti oveľa vyššiu, ako je možné dnes“ a „spoľahlivo prijímať rozsiahle autonómne rozhodnutia kybernetickou rýchlosťou“. Jeden starší inžinier letectva mi povedal: „Môžete si predstaviť, že bezpilotné systémy vykonávajú takmer akúkoľvek misiu urob dnes." Alebo ako povedal plukovník Christopher Carlile, bývalý riaditeľ armádneho Centra excelentnosti pre systémy bezpilotných lietadiel: „Rozdiel medzi sci-fi a vedou je načasovanie.”

V tejto galérii sme zhromaždili niektoré z doteraz najsilnejších robotov, ktoré vyvolávajú strach. Kliknutím na miniatúry zobrazíte ďalšie spôsoby, ako sú roboty rýchlejšie, inteligentnejšie a smrteľnejšie.

Sme prekvapivo ďaleko v tomto radikálnom preskupení armádnych radov, no ani USA, ani ktorákoľvek iná krajina vytvorila niečo ako robotickú doktrínu alebo dokonca jasnú politiku týkajúcu sa vojenských strojov. Tak rýchlo, ako krajiny vybudujú tieto systémy, chcú ich aj nasadiť, hovorí Noel Sharkey, profesor umelých inteligencia a robotika na University of Sheffield v Anglicku: „Neexistuje absolútne žiadna medzinárodná diskusia. Všetko ide dopredu bez toho, aby sa niekto medzi sebou rozprával." Člen Brookings Institution vo svojej nedávnej knihe Wired for War: The Robotics Revolution and Conflict in the 21st Century P.W. Singer tvrdí, že roboty a diaľkovo ovládané zbrane transformujú vojny a širší svet podobne ako pušný prach, mechanizácia a atómová bomba v minulosti. generácie. Singer však vidí aj výrazné rozdiely. "Zažívame Mooreov zákon," povedal mi a citoval axiómu, že výkon počítača sa každé dva roky zdvojnásobí, "ale neprekročili sme Murphyho zákon." Roboty budú disponovať oveľa vyššou inteligenciou, väčšou schopnosťou uvažovať a prispôsobovať sa, a samozrejme získajú ešte väčšiu deštruktívnosť. moc. Čo to teda znamená, keď sa na týchto vojenských strojoch môže pokaziť čokoľvek, len sa môže?

Túto otázku som položil Wernerovi Dahmovi, hlavnému vedcovi vzdušných síl a hlavnému autorovi knihy „Technológia Horizonty." Odmietol ako fantazijný druh obáv spôsobených Hollywoodom, ktoré informovali o novinových správach o požiari námorníctva Skautský incident. "Najväčším nebezpečenstvom nie je scenár Terminátora, ktorý si každý predstavuje, že stroje prevezmú vládu - takto veci zlyhávajú," povedal Dahm. Jeho skutočným strachom bolo, že vybudujeme silné vojenské systémy, ktoré „prevezmú veľké kľúčové funkcie ktoré robia výlučne ľudia“ a potom príliš neskoro zistíte, že stroje jednoducho nie sú na to úloha. "Blikáme," povedal, "a o 10 rokov neskôr zisťujeme, že technológia nebola dostatočne ďaleko."

Dahmova vízia však naznačuje ďalší „scenár Terminátora“, ešte prijateľnejší a nie bez hrozby. V priebehu desiatok rozhovorov s vojenskými predstaviteľmi, konštruktérmi robotov a technologickými etikmi som pochopil, že pracujeme na nie jeden, ale dva veľké projekty, prvý poskytuje strojom stále väčšiu inteligenciu a autonómiu a druhý udržiava kontrolu nad nimi. stroje. Dahm sa obával úspechu prvého, no my by sme mali byť minimálne rovnako znepokojení neúspechom druhého. Ak vyrábame inteligentné stroje bez rovnako inteligentných riadiacich systémov, čelíme scenáru, v ktorom sa jedného dňa stane tisíc dobre mienené rozhodnutia, každé z nich zdanlivo správne, stroje v skutočnosti preberajú všetky „kľúčové funkcie“, ktoré boli kedysi našimi doména. Potom „žmurkáme“ a zistíme, že svet je taký, ktorý už nedokážeme pochopiť ani ovládať.

Nízko visiace ovocie

Dnes môžu vojaci a letci vidieť, že stroje sa im stávajú rovnocennými alebo lepšími, aspoň v niektorých situáciách. Minulé leto, keď som navštívil výskumné laboratórium leteckých síl na leteckej základni Wright-Patterson neďaleko Daytonu v štáte Ohio, vedci tam mi ukázali video ukážku vyvíjaného systému s názvom Sense and Avoid, od ktorého očakávajú, že bude funkčný 2015. Pomocou sady palubných senzorov dokážu bezpilotné lietadlá vybavené touto technológiou zistiť, keď je v blízkosti iné lietadlo, a rýchlo sa mu vyhnúť. Sense and Avoid by sa dal použiť v bojových situáciách a bol testovaný v počítačových simuláciách s viacerými lietadlami prilietajúcimi na UAV zo všetkých uhlov. Jeho najbezprostrednejším prínosom však môže byť poskytnutie dôkazu o tom, že UAV môžu bezpečne lietať na oblohe v USA. Federálny úrad pre letectvo zatiaľ nepovoľuje príchod rovnakých UAV, ktoré sa voľne pohybujú vo vojnových zónach kdekoľvek v blízkosti komerčných letov domov a len veľmi zriedka im umožňuje lietať aj u nás bez obmedzenia vzdušný priestor. Algoritmy Sense and Avoid sa však riadia rovnakými predvídateľnými pravidlami FAA o práve jazdy, ktoré sa vyžadujú od všetkých lietadiel. V jednom bode videa, ktoré znázorňovalo úspešný test systému nad jazerom Ontario, zablikal citát obrazovka od pilota, ktorý ovládal jedno z protiidúcich lietadiel: „Teraz to bolo tak, ako by to urobil pilot to.”

Stroje už majú niekoľko zjavných výhod oproti nám obyčajným smrteľníkom. Bezpilotné prostriedky môžu zrýchliť nad rýchlosť, pri ktorej piloti bežne strácajú vedomie, a môžu zostať vo vzduchu niekoľko dní, ak nie týždňov. Niektorí vojenskí roboti môžu tiež rýchlo zacieliť a vystreliť vysokoenergetické lasery a (v kontrolovaných situáciách) dokážu zasiahnuť ciele oveľa dôslednejšie ako ľudia. Armáda v súčasnosti používa squatového robota podobného R2-D2 s názvom Counter Rocket, Artillery and Mortar alebo C-RAM, ktorý využíva radar. odhaliť prichádzajúce strely nad zelenou zónou alebo letiskom v Bagráme a potom ich zostreliť pozoruhodnou rýchlosťou 70 percent. Vedci vzdušných síl hovorili aj o „autopilotovi na steroidoch“, ktorý by mohol maximalizovať palivovú účinnosť čerpaním údajov z meteorologických satelitov na rýchlu úpravu kurzu lietadla. A počítačový program, ktorý automaticky nasmeruje lietadlá od zeme, keď sa piloti stanú dezorientovaní, sa na F-16 spustí koncom tohto roka.

V súčasnosti sa zvyšovanie schopností strojov stretáva s nárastom ľudskej práce. Letectvo Singerovi povedalo, že s každým dronom Predator pracuje v priemere 68 ľudí, z ktorých väčšina analyzuje obrovské množstvo údajov, ktoré každý let generuje. A keďže Pentagon nasadzuje stále pokročilejšie zobrazovacie systémy, od deväťsenzorového Gorgon Stare po plánovaný 368-senzorový ARGUS, dopyt po datamineroch bude naďalej rásť. Pretože ľudia predstavujú najväčšie finančné náklady na udržiavanie armády, Pentagon začína skúmať použitie „inteligentných“ senzorov. Na základe algoritmov snímania pohybu by sa tieto zariadenia mohli samy rozhodnúť, aké údaje sú dôležité, vysielať iba niekoľko minút, keď sa objaví cieľ, nie 19 hodín prázdnej púšte.

Ronald Arkin, riaditeľ laboratória mobilných robotov na Georgia Institute of Technology, predpokladá že v určitých ohraničených kontextoch by ozbrojené roboty mohli dokonca vykonávať vojenské operácie etickejšie ako ľudí. Stroj vybavený prototypom Arkinovho „etického guvernéra“ by nebol schopný vykonať smrtiace akcie, ktoré by neboli v súlade s pravidlami zapojenia, minimalizovať vedľajšie škody alebo umiestniť do legitímnych „zón zabíjania“. Okrem toho stroje nehľadajú pomstu ani neprežívajú ohromnú túžbu chrániť sa a nikdy ich neovplyvnia pocity strachu alebo hystéria. S Arkinom som hovoril v septembri, len pár dní po tom, čo sa objavili správy, že Pentagon vzniesol obvinenie proti piatim americkým vojakom z vraždy afganských civilistov a zohavovania ich tiel. „Roboty sú už silnejšie, rýchlejšie a inteligentnejšie,“ povedal. „Prečo by neboli ľudskejší? Vo vojne, kde ľudia páchajú zverstvá, je to relatívne nízko visiace ovocie.“

Zložitá vec

V zabezpečenej oblasti v rámci výskumného laboratória letectva som sledoval počítačové simulácie automatizovaného leteckého tankovacieho systému, ktorý umožňuje bezpilotným prostriedkom nakloniť sa na bok. lietajúci tanker vzdušných síl, aby sa presunul do vhodnej tankovacej polohy a udržal túto pozíciu, dokonca aj uprostred turbulencií, takmer 30 minút, naplniť. Letectvo zásobuje pilotované lietadlá vo vzduchu už asi 60 rokov, pričom spočiatku používalo jemné palivo postup o bojových lietadlách v kórejskej vojne a o bombardéroch s jadrovými zbraňami, ktoré zostali vo vzduchu niekoľko dní pri čas. Letecké tankovanie znižuje počet potrebných lietadiel a základní tým, že rozširuje rozsah misií a umožňuje lietadlám vzlietnuť s menším množstvom paliva a väčším užitočným zaťažením na kratších dráhach. Pretože tento proces vyžaduje, aby dve lietadlá leteli veľmi blízko seba, bolo vždy ponechané na letcoch v každom plavidle, aby tieto interakcie koordinovali.

Keď však letectvo prechádza na bezpilotnú flotilu, snaží sa zabezpečiť, aby tento postup mohol byť vykonaný bez ľudskej kontroly. Automatizovaný letecký tankovací systém, vyvinutý v spolupráci s Northrop Grumman a ďalšími, prešiel „suchými“ letovými testami, v ktorých Learjet zastupoval UAV. Väčšina testov sa však uskutočnila pomocou počítačových simulácií, pričom sa prešlo čo najviac scenárov, identifikovali sa potenciálne problémy a podľa toho sa prispôsobili vstupy. Prenos riadenia z človeka na robota bol postupný. „Čím viac dokážete prejaviť dôveru, tým viac dokážete presvedčiť každého, že UAV sú bezpečné,“ hovorí Bob Smith, jeden zo starších inžinierov v laboratóriu Control Sciences Division. „Dôvera je však väčšia entita ako len spoľahlivosť alebo bezpečnosť. Časom sa to musí vybudovať. Dôvera je ošemetná vec."

Laboratórium obsahovalo aj simulátor, v ktorom letci trénovali systém tankovania. Dovolili mi skĺznuť tvárou nadol na pohovku operátora výložníka vytiahnutú z vyradeného tankera Boeing KC-135 Air Force, aby som si tento manéver vyskúšal. Moja hlava spočívala väčšinou v kupole video obrazoviek, ktoré boli vyrobené tak, aby vyzerali ako okná tankera, so zvlnenými kopcami a zasneženými vrcholmi na virtuálnej zemi hlboko pod nimi. UAV vyzerajúce ako rejnok kĺzlo do pohľadu, čo sa zdalo 50 stôp podo mnou, trochu sa kývalo z toho, čo museli byť poryvy vetra. Globálny polohovací systém umožňuje bezpilotným lietadlám sledovať presný vzor krúženia tankera rovnakou rýchlosťou. Mojou úlohou bolo umiestniť pevnú palivovú trubicu priamo nad nádrž UAV manipuláciou s ovládačom v mojom pravou rukou a s ovládačom v ľavej ruke teleskopom trubice smerom nadol, kým sa nespáruje s bezpilotným lietadlo. Pri videohrách to bolo málo – žiadna civilizácia nebola vytvorená ani stratená, žiadne zabitie ani zabitie. Ale vo vnútri simulátora to vyzeralo celkom reálne.

Premiestnil som výložník na miesto, spustil som ho, dlho som minul. Stiahol som sa, začal odznova, poslal som to na šírku. Keď som zlyhal na niekoľkých ďalších pokusoch, vedci, ktorí sa pozerali na môj zadok, začali spomínať ďalšiu prezentáciu, ako by sme nemali nechať zaneprázdnených inžinierov čakať. Jednoznačne som bol najslabším článkom v systéme. Stroj by to urobil oveľa lepšie.

Ojoj, momenty

Vložiť takúto vieru do našich vojenských strojov môže byť lákavé, ale nie vždy múdre. V roku 1988 krížnik námorníctva hliadkujúci v Perzskom zálive zostrelil iránske osobné lietadlo, pričom zahynulo všetkých 290 ľudí na palube. radarový systém si pomýlil lietadlo s oveľa menšou stíhačkou a posádka lode dôverovala počítaču viac ako iným konfliktným údajov. Viacerí vedci z Wright-Patterson uviedli poučenie z takýchto klasických príkladov prílišného spoliehania sa na stroje, ktoré dokonca aj v civilnom letectve viedli k smrteľným nehodám. Ako často nie, takéto nešťastia vojenských strojov sú výsledkom toho, čo viceprezident robotickej spoločnosti opísal P.W. Spevák ako „oops momenty“, druhy nie nezvyčajných chýb, ktoré sa vyskytujú s technológiou v tak skorom štádiu rozvoj. V roku 2007, keď bola do Iraku nasadená prvá várka ozbrojených robotov podobných tankom s názvom SWORDS – a potom rýchlo stiahnutá z akcie – sa rozšíril príbeh o jednom, ktorý mieril svojimi zbraňami na spriatelené sily.

Výrobca robota neskôr potvrdil, že došlo k niekoľkým poruchám, ale trval na tom, že žiadny personál nebol nikdy ohrozený. C-RAM v Iraku sa skutočne zamerala na americký vrtuľník a nesprávne ho identifikovala ako prichádzajúcu raketovú paľbu; prečo držalo vlastnú paľbu, zostáva nejasné. Vojak, ktorý sa vrátil zo služby v roku 2006, povedal Singerovi, že pozemný robot, ktorý prevádzkoval v Iraku, niekedy „zjazdil z cesty, vráť sa k vám, točiť sa, takéto veci." V tom istom roku, hovorí Singer, sa počas demonštrácie za nevysvetliteľne začali krútiť MEČE vedúci pracovníci; scéna z filmu Robocop sa vyhla, pretože guľomet robota nebol nabitý. Ale na preplnenom cvičení juhoafrickej armády v roku 2007 sa zdalo, že sa automatizovaný protilietadlový kanón zasekol a potom sa začal divoko otáčať a vypálil všetkých 500 automatických nábojov. Deväť vojakov bolo zabitých a 14 ťažko zranených.

Ukazuje sa, že je jednoduchšie navrhnúť inteligentné roboty s väčšou nezávislosťou, ako dokázať, že budú vždy fungovať bezpečne. Správa „Technology Horizons“ zdôrazňuje „relatívnu ľahkosť, s akou je možné vyvinúť autonómne systémy, na rozdiel od bremena vývoja V&V [overovacie a validačné] opatrenia“ a dokument potvrdzuje, že „vývoj metód na vytvorenie ‚certifikovateľnej dôvery v autonómne systémy‘ je jedinú najväčšiu technickú prekážku, ktorú treba prekonať, aby sa získali výhody spôsobilosti, ktoré je možné dosiahnuť zvýšeným využívaním autonómnych systémy.” Pozemné a letové testy sú jedným zo spôsobov, ako ukázať, že stroje fungujú správne, sú však drahé a extrémne obmedzené v premenných môžu skontrolovať. Softvérové ​​simulácie môžu lacno prebehnúť obrovské množstvo scenárov, ale neexistuje spôsob, ako s istotou vedieť, ako bude doslovne zmýšľajúci stroj reagovať na misie v chaotickom skutočnom svete. Daniel Thompson, technický poradca divízie Control Sciences vo výskumnom laboratóriu vzdušných síl, mi povedal, že ako sa autonómia stroja vyvíja z autopilota k adaptívnemu riadeniu letu a až po pokročilé vzdelávacie systémy, ktoré potvrdzujú, že stroje robia to, čo majú robiť, sa stáva oveľa viac ťažké. „Stále potrebujeme vyvinúť nástroje, ktoré by nám umožnili zvládnuť tento exponenciálny rast,“ hovorí. "To, o čom tu hovoríme, sú veci, ktoré sú veľmi zložité."

Tento technický problém má aj politické dôsledky. Iné krajiny, ktoré dúfajú, že využijú taktické výhody špičkovej inteligencie a sily robotov, by mohli byť ochotné postaviť nevyskúšané autonómne systémy, ktoré by sa mohli nebezpečne vymknúť kontrole. Štyridsaťtri ďalších krajín vrátane Číny a Iránu v súčasnosti má alebo vyvíja vlastných vojenských robotov. A Association for Unmanned Vehicles Systems International sa môže pochváliť 6000 členmi. Vedci vzdušných síl tvrdia, že môžu zostať pred krajinami, ktoré obmedzujú problémy, jednoducho tým, že zintenzívnia svoje vlastné overovacie a validačné snahy. Takéto snahy však len málo zabránia množeniu nespoľahlivých robotov inde a môžu jednoducho inšpirovať niektoré krajiny v ich pokusoch vyhrať preteky v zbrojení robotov, aby znížili ešte viac rohy. „Je ľahké vytvoriť hlúpeho autonómneho robota, ktorý zabíja všetko,“ hovorí Patrick Lin, vedúci zo skupiny Ethics and Emerging Sciences Group na California Polytechnic State University v San Luis Obispo. Nie je ťažké si predstaviť ambiciózny, militantný národ, ktorý vyrába hlúpeho robota, ktorý zabije nesprávnu vec a spustí oveľa väčší konflikt.

Wendell Wallach, predseda študijnej skupiny Technology and Ethics na Yale University, hovorí, že strojom sa často pripisujú schopnosti diskriminácie, odolnosti a prispôsobivosti, ktoré v skutočnosti nemajú, často zo strany dodávateľov, ktorí dychtivo propagujú ich Produkty. "Skutočným nebezpečenstvom autonómnych systémov je to, že sa nakoniec používajú v situáciách, do ktorých jednoducho nepatria."

Predchodcovia takýchto systémov – stroje na diaľkové ovládanie, ktoré vykonávajú mnohé operácie, ktoré armáda nazýva pre ľudí príliš „nudné, špinavé a nebezpečné“ – sú široko používané a nie bez následkov. Posádky bezpilotných lietadiel CIA, ktoré nedokázali primerane rozlišovať medzi bojovníkmi a nebojjúcimi, doteraz zabili až 1 000 pakistanských civilistov. A skutočne autonómne systémy preberajú čoraz citlivejšie úlohy. „Neviem, že môžeme ignorovať riziko Terminátora,“ hovorí Lin a ako príklad nenaznačuje nejaký zabijácky dron, ale skôr počítače, ktoré aj teraz riadia mnohé z našich obchodných operácií. Napríklad minulú jar sa „algoritmu predaja“ jednej obchodnej spoločnosti podarilo spustiť náhly 1 000-bodový „flash crash“ akcií. trhu: „Nie je až také ťažké si myslieť, že veľkú časť našich životov, od obchodných systémov po vojenské systémy, budeme riadiť pomocou počítačov, ktoré budú spracovávať informácie rýchlejšie ako my, a budú robiť veci, ako je pád burzy alebo potenciálne spustiť vojny. Scenár Terminátora nie je z dlhodobého hľadiska úplne smiešny.“

Out of the Loop

Keď zrýchlime tempo a zložitosť vojen (a obchodovania s akciami), bude ťažké vyhnúť sa odovzdaniu kontroly strojom. Vojak technicky môže potlačiť streľbu z C-RAM, ale musí dospieť k tomuto rozhodnutiu a vykonať akciu už za 0,5 sekundy. Kritické sekundy sa stratia aj vtedy, keď stroj odovzdá informácie o potvrdenom cieli vzdialenému ľudskému operátorovi a čaká na potvrdenie streľby. S autonómnymi systémami, ktoré vykonávajú nadľudské úlohy nadľudskou rýchlosťou, sú samotní ľudia čoraz viac neschopní rozhodovať sa dostatočne rýchlo. Stávajú sa dozorcami a „krídelníkmi“ strojov – už nie rozhodovateľmi, ktorí sú v slučke, ale pozorovateľmi, ktorí sú, ako to hovorí armáda, „v slučke“.

Úradníci v laboratóriu letectva rýchlo poukázali na to, že autonómia by sa nemala považovať za návrh všetko alebo nič. V ideálnom prípade existujú „stupne flexibilnej autonómie“, ktoré sa môžu neustále zvyšovať a znižovať, pričom ľudia hrajú v niektorých situáciách viac úloh dohľadu a v iných fungujú stroje nezávisle. „Zameriavame sa na používanie automatizácie na pomoc človeku pri rozhodovaní, nie na rozhodovanie za človeka,“ povedala mi generálmajorka Ellen Pawlikowski, veliteľka laboratória. "Ak sa to dostane do bodu, kedy je možné urobiť zlé rozhodnutie, pretože človek je mimo slučky, vtedy sa musí automatizácia zastaviť."

Ale udržať aj túto úroveň ľudského zapojenia si vyžaduje mimoriadnu úroveň koordinácie a komunikácie medzi ľuďmi a strojmi. Isaac Asimov riešil práve tento problém svojimi často citovanými tromi zákonmi robotiky, fiktívnym zariadením, ktoré sa však stalo predvolený východiskový bod v diskusiách o ovládaní robota: Robot nesmie ublížiť človeku alebo svojou nečinnosťou dovoliť človeku prísť poškodiť; robot musí poslúchnuť všetky príkazy, ktoré mu dá človek, pokiaľ príkazy nie sú v rozpore s prvým zákonom; a robot sa musí chrániť sám, pokiaľ činnosti nie sú v rozpore s predchádzajúcimi dvoma zákonmi.

David Woods, profesor na Ohio State University, ktorý sa špecializuje na koordináciu človeka a robota a ktorý úzko spolupracuje s vojenskými výskumníkmi na automatizovaných systémov, hovorí, že jednoduchý prístup založený na pravidlách nikdy nebude stačiť na predvídanie nespočetných fyzických a etických výziev, ktorým budú roboty čeliť bojisko. Namiesto toho musí existovať systém, v ktorom, keď sa rozhodnutie stane príliš zložitým, riadenie sa rýchlo pošle späť buď človeku, alebo inému robotovi v inej slučke. „Roboty sú zdrojom pre zodpovedných ľudí. Rozširujú dosah človeka,“ hovorí. "Keď sa veci pokazia, poruchy sa hromadia, ľudia musia byť schopní koordinovať sa a interagovať s viacerými slučkami." Podľa Woodsa by sa zákony robotiky dali vydestilovať do jedného princípu: „hladký prenos kontroly“. V špecifických prípadoch sa môžeme vzdať kontroly, ale vždy musíme udržiavať systémy, ktoré nám umožňujú získať ju späť. Čím viac sa pustíme, tým ťažšie to bude.

Vo Wright-Patterson som pozoroval simuláciu, v ktorej jedna osoba súčasne ovládala štyri bezpilotné lietadlá pomocou jedinečného rozhrania nazývaného Vigilant Spirit Control Station. Na dvoch veľkých monitoroch bolo každé zo štyroch lietadiel zobrazené inou farbou, jeho dôležité letové údaje a taktické informácie o misii, stope senzora a umiestnení cieľa, všetko zobrazené v zodpovedajúcej farbe pozdĺž okraja jedna obrazovka. Mark Draper, technický poradca laboratória pre rozhrania dohľadu a kontroly, vysvetlil, že jeden operátor dokáže zvládnuť tucet UAV, ak lietadlá iba sledovali pevné ciele na zemi, pričom video zo senzora sa prenášalo na iných ľudí, ktorí potrebovali to. Skutočným testom je, či ľudia a stroje dokážu odhaliť nejaký druh narušenia alebo anomálie a reagovať na ne rýchlym preradením kontroly. "Čo ak jedno z 12 UAV zrazu nájde cieľ vysokej hodnoty, ktorý nastúpi do nákladného auta a odíde?" Draper navrhol. „Je to veľmi dynamická udalosť a táto jedna osoba nedokáže riadiť 12 lietadiel, keď ho sleduje. Takže bum, bum – táto úloha sa okamžite prenesie na vyhradenú jednotku na inom vzdialenom mieste. Potom, keď je práca hotová, lietadlo sa presunie späť k počiatočnému manažérovi zdrojov, ktorý stále sleduje 11 lietadiel horiacich diery na oblohe.

Letectvo tiež skúma, ako sa ľudia môžu stať viac strojmi pomocou liekov a rôznych zariadení, aby mohli hladšie interagovať so strojmi. Práca manažéra UAV často zahŕňa osem hodín úplnej nudy, ktorú v neznámom čase preruší pár minút pandemónie. Pri letových testoch majú operátori UAV tendenciu „tunelizovať“, pričom sa fixujú na jedno UAV s vylúčením ostatných. Štúdia NATO ukázala, že úroveň výkonnosti klesla o polovicu, keď osoba prešla z monitorovania jedného UAV na len dva. Známy je vojenský výskum liečiv, ktoré pôsobia ako upokojujúce prostriedky alebo zvyšujú bdelosť a bystrosť. Ale v riaditeľstve pre ľudskú efektívnosť výskumného laboratória som videl prototyp akejsi koruny vybavené prstami elektród, ktoré spočívali na pokožke hlavy a zachytávali elektrické signály generované mozog. Plánuje sa, že operátori, ktorí dohliadajú na niekoľko UAV, budú nosiť budúcu verziu jedného z týchto zariadení a budú podstupovať nepretržité monitorovanie srdcovej frekvencie a pohybu očí. Celkovo by tieto zariadenia určili, kedy je človek unavený, nahnevaný, vzrušený alebo ohromený. Ak by sa pozornosť operátora UAV znížila, mohol by byť nabádaný vizuálne alebo by mu do predného laloku mohol byť zaslaný magnetický stimulant. A keď osoba prejavila známky paniky alebo stresu, nadriadený človek (alebo stroj) mohol jednoducho presunúť zodpovednosť od tejto osoby.

To, aké ťažké je udržať ľudí v slučke, prekvapilo dokonca aj výskumníkov z laboratória Air Force. Na konci prezentácie Vigilant Spirit Bob Smith, jeden z tucta inžinierov v miestnosti, povedal: „Mysleli sme si, že najťažšia časť bude prinútiť vozidlo robiť niečo samo. Najťažšie na tom je urobiť to dobre s človekom."

Stratégia

V septembri sa v Berlíne zišla skupina 40 vedcov, vládnych úradníkov, právnikov v oblasti ľudských práv a vojenského personálu na prvej konferencii Medzinárodného výboru
pre ovládanie robotických ramien. Noel Sharkey spoluzakladal organizáciu v roku 2009 s nádejou, že podnieti diskusiu o spôsoboch, akými vojenskí roboti už zmenili povahu vedenia vojny a podkopali mnohé z existujúcich pravidiel angažovanosti týkajúce sa zákonných cieľov a legálnych bojovníkov, legitímnych štrajkov a vrážd, špionáže a agresívnej armády akcie. David Woods povedal, že je veľmi pravdepodobné, že čoskoro budeme počuť o bojoch proti dronom, v ktorých drony sledovať, sledovať, predstierať, zasekávať a kradnúť informácie jeden od druhého – všetko okrem úplnej antény psie zápasy.

Keďže ľudia na seba berú menšie riziko boja, Sharkey a mnohí ďalší sa obávajú bariér pre ozbrojené konflikt sa zníži, keďže angažovanosť sa zdá (aspoň z pohľadu tých, ktorí sú s robotmi) menšia nákladné. USA sú v súčasnosti zapojené do nedefinovanej vojenskej akcie v Pakistane, ktorú vykonáva civilná spravodajská agentúra. Krajina od roku 2004 podnikla 196 bezpilotných leteckých útokov na severozápad Pakistanu, pričom miera týchto útokov sa počas Obamovej administratívy dramaticky zvýšila. „Keby nebolo dronov,“ hovorí Patrick Lin, „je pravdepodobné, že by sme tam vôbec neboli. Tieto roboty nám umožňujú robiť veci, ktoré by sme inak nerobili.“

Väčšina ľudí na konferencii podpísala vyhlásenie požadujúce reguláciu bezpilotných systémov a zákaz budúceho vývoja a nasadzovania ozbrojených autonómnych robotických zbraní. Ale Sharkey hovorí, že účastníci sa hádali dokonca aj o tom, ako definovať základné pojmy, a táto skúsenosť mu ďalej ukázala, aké ťažké by bolo zapojiť štátnych aktérov do diskusie. Vlády, ktoré stavajú túto technológiu, to robia, aby presadili svoje vojenské ciele, ale čoskoro sa ciele sformujú tak, aby vyhovovali technológii, a samotné stroje sa ukážu ako nepostrádateľné. Novosť komisie a jej veľkosť (len 10 ľudí sú plnohodnotnými členmi) prezrádzajú, ako prekvapivo vzácny je takýto dialóg na túto tému.

Wendell Wallach zdôrazňuje „ohromný zmätok v súvislosti s tým, ako sa dostanú autonómne roboty. Máme všetko od „Od umelej inteligencie na ľudskej úrovni nás delia len dve desaťročia“ až po ľudí, ktorí si myslia, že sme 100 rokov ďaleko alebo sa tam možno nikdy nedostaneme.“ Dokonca v laboratóriu letectva, kde mi ukázali špičkovú prácu v teréne, som odišiel bez jasného poňatia toho, čo môžeme očakávať v rokoch dopredu. Siva Banda, vedúci oddelenia teórie riadenia, mi povedal, že letectvo dobre pochopilo normy a špecifikácie potrebné na stavbu lietadla s posádkou. „Ale naše znalosti, pokiaľ ide o UAV – sme ako deti. Sme deti." V skutočnosti nie je jasné, že niekto preberá vedenie vo veci vojenských strojov. Po P.W. Singer nedávno informoval predstaviteľov Pentagonu o svojej Wired for War, hlavný odborník na stratégiu obranného oddelenia povedal, že tento rozhovor bol fascinujúci a mal otázka: "Kto vyvíja a zápasí s touto stratégiou?" Singer, ktorý má teraz veľa takýchto rozhovorov, vysvetlil úradníkovi: „Všetci ostatní si myslia si to ty."