Tehisintellekt. Kuhu see kõik liigub

Artikkel koosneb kahest osast:

1. Lühike ülevaade mõnest objektide tuvastamise ja pildisegmentatsiooni võrgustiku arhitektuurist koos kõige arusaadavamate linkidega ressurssidele. Püüdsin valida videote selgitusi ja eelistatavalt vene keeles.
2. Teine osa seisneb katses mõista närvivõrkude arhitektuuride arengusuunda. Ja nende põhjal arenevate tehnoloogiate.

Joonis 1 – Närvivõrkude arhitektuuride mõistmine ei ole lihtne

Kõik algas sellest, et tegin kaks demo rakendust objekti klassifitseerimiseks ja tuvastamiseks Android telefonis:

• Tagaplaanidemo, kus andmed töötlevad serveris ja edastatakse telefonile. Piltide klassifitseerimine (image classification) kolme tüüpi karupoegade puhul: pruuni, musta ja plüüsiga.
• Esiplaanidemo, kus andmed töötlevad telefonis. Objektide tuvastamine (object detection) kolme tüüpi: sarapuu, viigimarja ja date.

Klassifitseerimise, objekti tuvastamise ja pildisegmentatsiooniülesannete vahel on erinevus. Seetõttu tekkis vajadus teada, millised närvivõrgu arhitektuurid tuvastavad objekte piltidel ja millised võivad segmenteerida. Leidsin järgmised arhitektuuride näidised koos kõige arusaadavamate linkidega ressurssidele:

• R-CNN (Rregioonid koos Ckonvolutsiooni Nneuraalvõrkude omadustega): R-CNN, Fast R-CNN, NFaster R-CNN Mask R-CNN, . Objektide tuvastamiseks pildil kasutatakse piirkonna ettepaneku võrku (Region Proposal Network, RPN), mis eristab piiratud piirkondi (bounding boxes). Alguses kasutati RPN asemel aeglasemat mehhanismi Selective Search. Seejärel antakse eristatud piiratud piirkonnad tavaliseks närvivõrguks klassifitseerimise jaoks. R-CNN arhitektuuris on selged «for» tsüklid eristatud piirkondade läbitöötamiseks, kõigi 2000 sisendi läbimise kaudu sisemise AlexNet võrgustiku kaudu. Selgete «for» tsüklite tõttu aeglustub piltide töötlemise kiirus. Selgete tsüklite arv, sisemise närvivõrgu läbimised, väheneb koos iga uue arhitektuuri versiooniga, samuti tehakse kümneid muid muudatusi kiirusel ja objektide tuvastamise ülesande asendamisel objektide segmentimisega Mask R-CNN-is.YOLO
• ainult (Yvaatama Oainult Lvaatama OYOLO (You Only Look Once) – esimene närvivõrk, mis tuvastas objekte reaalajas mobiilseadmetes. Eripära: objektide eristamine ühe korra jooksul (piisab, kui vaadata üks kord). See tähendab, et YOLO arhitektuuris ei ole selgeid „for” silmuseid, mistõttu võrk töötab kiiresti. Näiteks sarnaneb see NumPy-ga, kus maatriksite toimingutes ei ole selgeid „for” silmuseid, mis nende madalamal tasemel C programmeerimiskeeles teostatakse. YOLO kasutab eeldefineeritud akende võrgustikku. Korraga sama objekti tuvastamiseks kasutatakse akende kattuvuse koefitsienti (IoU, Iristumist oüle Uliitu). Antud arhitektuur töötab laias valikus ja omab kõrget robustsust: mudel saab olla koolitatud fotode peal, kuid töötab hästi ka joonistatud piltidel.
• SSD (SSingle SShot MultiBox DDetector) – kasutatakse kõige õnnestunumaid „nippe” YOLO arhitektuurist (näiteks non-maximum suppression) ja lisatakse uusi, et närvivõrk töötaks kiiremini ja täpsemalt. Eripära: objektide eristamine ühe korra jooksul antud akende võrgustiku (default box) abil pildipüramiidis. Pildipüramiid on kodeeritud konvolutsiooniliste tensoreid järjestikuste konvolutsioonide ja maksimeerimise toimingute kaudu (maksimeerimise toimingute käigus ruumiline dimensioon väheneb). Nii tuvastatakse nii suuri kui ka väikseid objekte ühe korra jooksul.
• MobileSSD (MobiilneNetV2 + SSD) – kahe närvivõrgu arhitektuuri kombinatsioon. Esimene võrk MobileNetV2 töötab kiiresti ja suurendab tuvastamise täpsust. MobileNetV2 kasutatakse VGG-16 asemel, mis algselt kasutati originaalartiklis. Teine võrk SSD tuvastab objektide asukoha pildil.
• SqueezeNet – väga väike, kuid täpne närvivõrk. See ei lahenda iseseisvalt objektide tuvastamise ülesannet. Kuid seda saab kasutada erinevate arhitektuuride kombinatsioonis. Ja kasutada mobiilseadmetes. Eripäraks on asjaolu, et kõigepealt andmed kokku surutakse nelja 1×1 konvolutsioonifiltri abil ning seejärel laienevad nelja 1×1 ja nelja 3×3 konvolutsioonifiltri abil. Ühte sellist andmete kokku surumise ja laienemise iteratsiooni nimetatakse „Fire Module”.
• DeepLab (Semantic Image Segmentation with Deep Convolutional Nets) – objektide segmenteerimine pildil. Arhitektuuri iseloomulikuks tunnuseks on hõre konvolutsioon (dilated convolution), mis säilitab ruumilise eraldusvõime. Seejärel järgneb tulemuste järeltöötlus graafilise tõenäosusmudeli (conditional random field) abil, mis võimaldab eemaldada väikseid mürasid segmentatsioonist ja parandada segmentitud pildi kvaliteeti. Hirmuäratava nimega „graafiline tõenäosusmudel” peidab end tavaline Gaussi filter, mis on ligikaudne viie punkti järgi.
• Püüdsin aru saada seadmest. RefineDet (Single-Shot Refinement Neural Network for Object Detection), kuid ei mõistnud palju.
• Vaatasin ka, kuidas töötab „tähelepanu” (attention) tehnoloogia: video1, video2, video3. Arhitektuuri „tähelepanu” iseloomulik tunnus on kõrgendatud tähelepanu piirkondade automaatne esiletoomine pildil (RoI, Regions of Interest) närvivõrgu Attention Unit abil. Kõrgendatud tähelepanu piirkonnad sarnanevad piiratud piirkondadele (bounding boxes), kuid erinevalt neist ei ole nad pildil fikseeritud ja võivad omada uduseid piire. Seejärel eraldatakse kõrgendatud tähelepanu piirkondadest omadused (feature), mis „toidetakse” rekursiivsetele närvivõrkudele arhitektuuridega LSDM, GRU või Vanilla RNN. Rekursiivsed närvivõrgud oskavad analüüsida omaduste suhteid järjestuses. Rekursiivseid närvivõrke kasutati algselt teksti tõlkimiseks teistesse keeltesse, nüüd aga ka pildi tõlkimiseks tekstiks, ja teksti tõlkimiseks pildiks..

Nende arhitektuuridega tutvudes aru, et ma ei mõista midagi.. See ei ole tingitud sellest, et minu närvivõrgul oleks probleeme tähelepanu mehhanismiga. Kõikide nende arhitektuuride loomine sarnaneb mõne tohutu hackathoniga, kus autorid konkureerivad häkkimise oskustes. Häkk (hack) on kiire lahendus keerulisele programmiküsimusele. Ehkki nende kõigi arhitektuuride vahel puudub nähtav ja arusaadav loogiline seos. Kõik, mis neid ühendab, on kõige edukamate häkete kogum, mida nad üksteiselt laenavad, pluss kõigile ühine tagasiside konvolutsiooni operatsioon (tagasiside levitamine, backpropagation). Ei ole süsteemset mõtlemist!Pole selge, mida muuta ja kuidas olemasolevaid saavutusi optimeerida.

Tulemuseks on loogilise seose puudumine haakide vahel, mistõttu neid on äärmiselt raske meeles pidada ja praktikas rakendada. Need on killustatud teadmised. Parimal juhul jääb meelde paar huvitavat ja ootamatut hetke, kuid enamus mõistetust ja arusaamatust kaob mälu sügavustest juba mõne päeva pärast. Olgu hea, kui nädal pärast jääb meelde vähemalt arhitektuuri nimi. Ja lugemiseks artiklite ja ülevaatevideote vaatamiseks on kulutatud mitu tundi ja isegi päevade kaupa tööaega!

Joonis 2 – Neuronaalsete võrkude loomaaed

Enamik teadusartiklite autoreid, minu arvates, teeb kõik, et isegi need killustatud teadmised jääksid lugejale arusaamatuks. Kuid gerundivormid kümnes rida lauses, milles on valemid, mis on „laest võetud” – see on teema eraldi artikliks (probleem publish or perish).

Selle tõttu tekkis vajadus süstematiseerida teave neuronaalsete võrkude kohta ja seega suurendada arusaamise ja meeldejätmise kvaliteeti. Seetõttu sai põhiliseks teema teatud tehnoloogiate ja tehisneuronaalsete võrkude arhitektuuride analüüsiks järgmine ülesanne: teada, kuhu see kõik liigub, mitte üksiku neuronaalvõrgu seadistust eraldi.

Kuhu see kõik liigub. Peamised tulemused:

• Masinõppe valdkonnas alustanud startupide arv on viimase kahe aasta jooksul märgatavalt vähenenud. Võimalik põhjus: „neuronaalsed võrgud pole enam midagi uut.”
• Igaüks suudab luua töötava neuronaalvõrgu lihtsa ülesande lahendamiseks. Selle jaoks võetakse valmis mudel "mudelite loomaaia" (model zoo) seest ja treenitakse neuronaalvõrgu viimane kiht (transfer learning) valmis andmete põhjal Google Dataset Search või 25 000 Kaggle andmestikku tasuta Jupyter Notebooks.
• Suured neuronaalvõrkude tootjad on hakanud looma "mudelite loomaaedu" (model zoo). Nende abil on võimalik kiiresti luua kommertsrakendus: TF Hub TensorFlow jaoks, MMDetection PyTorch jaoks, Detectron Caffe2 jaoks, chainer-modelzoo Chaineri jaoks ja muud.
• Neuronaalvõrgud, mis töötavad reaalajas (real-time) mobiilseadmetes. Alates 10 kuni 50 kaadrit sekundis.
• Neuronaalvõrkude rakendamine telefonides (TF Lite), brauserites (TF.js) ja koduvidinates (IoT, Iinternet of Tasjad). Eriti telefonides, mis juba toetavad neuronaalvõrke riistvara tasemel (neuroakseleraatorid).
• Iga seade, riided ja võib-olla isegi toit omavad IP-v6 aadressi ja suhtlevad omavahel" – Sebastian Thrun.
• Masinõppe publikatsioonide arvu kasv on hakanud ületama Moore'i seadust (kordumine iga kahe aasta tagant) alates 2015. aastast. Ilmselt on vajalikud närvivõrgud artiklite analüüsimiseks.
• Muganduvad populaarsust järgmised tehnoloogiad:
  • PyTorch – populaarsus kasvab kiirelt ja näib, et ületab TensorFlow'd.
  • Automaatne hüperparameetrite valik AutoML – populaarsus kasvab ühtlaselt.
  • Täpsuse järkjärguline vähenemine ja arvutuste kiirus: uudne loogika, algoritmid boostimise, ebatäpsed (ligikaudsed) arvutused, kvantiseerimine (kui närvivõrkude kaalukad muudetakse täisarvudeks ja kvantiseeritakse), neuroakseleraatorid.
  • Tõlge pildi tõlkimiseks tekstiks, ja teksti tõlkimiseks pildiks..
  • Meetodi loomine kolmemõõtmeliste objektide jälgimine videolt, nüüd juba reaalajas.
  • DL-i põhisisu on suur andmehulk, kuid nende kogumine ja märgistamine pole lihtne. Seetõttu areneb automatiseeritud märgistamine (automated annotation) närvivõrkude jaoks, kasutades närvivõrke.
• Närvivõrkude puhul sai arvutiteadus äkitselt eksperimentaalseks teaduseks ja tekkis reproduktiivsuse kriis..
• IT-raha ja närvivõrkude populaarsus ilmus korraga, kui arvutused muutusid turuhinnaga. Majandus kullavaluta muutub kulla-varude-arvutuseks.Vaata minu artiklit ekonofoorika ja IT-raha tekkimise põhjuse kohta.

Aeglaselt ilmub uus ML/DL programmeerimismetodoloogia (Masinõpe & Süvaõpe), mis põhineb programmi esitlemisel kui treenitud närvivõrkude mudelite kogumil.

Joonis 3 – ML/DL kui uus programmeerimismetodoloogia

Kuid siiski ei ole ilmunud »närvivõrkude teooriat«, mille põhjal saaks mõelda ja süsteemselt töötada. See, mida praegu nimetatakse "teooriaks", on tegelikult eksperimenteerimised, heuristilised algoritmid.

Viidatud minu ja teiste ressursside kohta:

• Data Science uudiskiri. Peamiselt piltide töötlemise kohta. Kes soovib saada, saatke palun e-kiri (foobar167gmailcom). Artiklite ja videote lingid saadan kogunemise korral.
• Ühine kursuste ja artiklite nimekiri, mida olen läbinud ja mida sooviksin läbida.
• Algajate kursused ja videod, millega tasub alustada närvivõrkude õppimist. Pluss brošüür »Sissejuhatus masinõppesse ja kunstlikesse närvivõrkudesse«.
• Kasulikud tööriistad, kus igaüks leiab midagi huvitavat enda jaoks.
• Äärmiselt kasulikud on olnud videokanaleid teadusartiklite analüüsi kohta Data Science'i valdkonnas. Leidke neid, tellige ja jagage linke oma kolleegidega ning ka minuga. Näited:
  • Two Minute Papers
  • Henry AI Labs
  • Yannic Kilcher
  • CodeEmporium
  • Chengwei Zhangi blogi ja Tony607 samuti samm-sammult juhendite ja avatud koodiga.

Aitäh tähelepanu eest!

Allikas: habr.com