Poznámka (5. februára): V pôvodnej verzii tohto príbehu som porovnával a nekvalitná kópia z filmu z roku 1896 na vylepšenú verziu. Shiryaev vlastne začal s a skenovanie vyššej kvality filmu a mnohé z rozdielov, ktoré som pozoroval, v skutočnosti odzrkadľovali jeho lepší zdrojový materiál, nie algoritmus upscalingu. Prvé video nižšie som aktualizoval na to, ktoré použil Shiryaev, ale text príbehu som nechal tak, ako je.
Príchod vlaku do La Ciotat je jedným z najznámejších filmov v histórii kinematografie. Nakrútili ho francúzski filmári Auguste a Louis Lumière a dosiahol na svoju dobu bezprecedentnú úroveň kvality. Niektorí ľudia považujú jeho komerčnú výstavu v roku 1896 za zrod filmového priemyslu. An mestská legenda— pravdepodobne apokryfné — hovorí, že diváci považovali zábery za také realistické, že kričali a utekali do zadnej časti miestnosti, keď sa vlak blížil. Vyššie som vložil video pôvodného filmu.
Samozrejme, že štandardy ľudstva pre realizmus sa za posledných 125 rokov dramaticky zvýšili. Dnes pôsobí majstrovské dielo bratov Lumièrovcov zrnito, zahmlene a v podstate starodávne. Ale muž menom Denis Shiryaev použil moderné techniky strojového učenia, aby povýšil klasický film na štandardy videa 21. storočia.
Výsledok je pozoruhodný. Pri sledovaní vylepšenej verzie ožíva svet našich pra-pra-pra-starých rodičov. Kedysi nejasné detaily vlaku, oblečenie a tváre cestujúcich teraz jasne vystupujú.
Ako to urobil Shiryaev? Hovorí, že použil komerčný softvér na úpravu obrázkov tzv Gigapixel AI. Balík, ktorý vytvorila spoločnosť Topaz Labs, umožňuje zákazníkom zväčšiť obrázky až o 600 percent. Pomocou sofistikovaných neurónových sietí pridáva Gigapixel AI do obrazu realistické detaily, aby pri zväčšení nevyzeral rozmazane.
Ako už názov napovedá, neurónové siete sú siete umelých neurónov – matematických funkcií, ktoré transformujú súbor vstupných hodnôt na výstupnú hodnotu. Kľúčovou vlastnosťou neurónových sietí je, že sa dajú trénovať: ak máte veľa príkladov vstupov, ktorých "správne" výstupy sú známe, môžete vyladiť parametre siete, aby bola väčšia pravdepodobnosť, že bude produkovať správne odpovede. Dúfame, že toto školenie zovšeobecní – že keď si ho natrénujete, aby produkoval správne odpoveď na vstupy, ktoré sieť predtým videla, vytvorí dobré odpovede na vstupy, ktoré ešte nevidela tiež vidieť.
Na trénovanie siete potrebujete mať databázu príkladov, kde je už známa správna odpoveď. Niekedy si výskumníci AI musia najať ľudské bytosti, aby tieto správne odpovede vytvorili ručne. Na zvýšenie rozlíšenia obrazu však existuje pohodlná skratka: začnete s obrázkami s vysokým rozlíšením a prevzorkujete ich nadol. Obrázky s nízkym rozlíšením sa stanú vašimi vstupmi a originály s vysokým rozlíšením slúžia ako „správna“ odpoveď, ktorú sa sieť snaží vytvoriť.
„Neurónová sieť analyzuje tisíce párov fotografií, aby zistila, ako sa detaily zvyčajne strácajú,“ vysvetľuje Topaz Labs na svojej produktovej stránke pre Gigapixel AI. „Algoritmus sa učí ‚vypĺňať‘ informácie do nových obrázkov na základe toho, čo sa naučil, a efektívne tak do vašej fotografie pridáva nové detaily.“
Ukážte neurónovej sieti obrázok tváre s nízkym rozlíšením a ona zistí, že ide o tvár, a vyplní správne detaily pre oči, nos a ústa subjektu. Ukážte neurónovej sieti tehlovú budovu s nízkym rozlíšením a pridá vhodný tehlový vzor vo verzii s vysokým rozlíšením.
Timothy B. Lee / Colorize Images / Denis Shiryaev
Samozrejmým ďalším krokom by bolo zafarbenie videa. Neurónové siete to dokážu tiež pomocou rovnakej základnej techniky: začnite s množstvom farieb fotografie, previesť ich na čiernobiele a potom trénovať neurónovú sieť na rekonštrukciu farby originály.
Pustil som rám z Shiryaevovho videa do Vyfarbiť obrázky aplikácia pre Android, ktorá využíva strojové učenie na automatické kolorovanie obrázkov. Ako vidíte, robí to celkom dobre, správne odvodiť, že stromy by mali byť zelené, štrk hnedastej farby a pánske kabáty by mali byť čierne. Bol by som rád, keby niekto s viac časom a lepšími nástrojmi zafarbil Shiryaevovu vylepšenú verziu klasiky bratov Lumièrovcov.
