{"id":54780,"date":"2020-01-04T00:00:00","date_gmt":"2020-01-03T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/nejroseti-kuda-eto-vse-dvizhetsya"},"modified":"2020-02-18T14:02:50","modified_gmt":"2020-02-18T11:02:50","slug":"nejroseti-kuda-eto-vse-dvizhetsya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sl\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya","title":{"rendered":"Nevro mre\u017ee. Kam to vse gre?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>\u010clanek je sestavljen iz dveh delov:<\/p>\n<p><\/p>\n<ol>\n<li>Kratak opis nekaterih arhitektur omre\u017eij za odkrivanje objektov na slikah in segmentacijo slik s najbolj razumljivimi povezavami do virov za mene. Posku\u0161al sem izbrati videopojasnila, ki so bila, \u010de je mogo\u010de, v ru\u0161\u010dini.<\/li>\n<li>Drugi del je poskus razumeti razvojno smer arhitektur nevronih mre\u017e in tehnologij, ki temeljijo na njih.<\/li>\n<\/ol>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Nevro mre\u017ee. Kam to vse gre?\" src=\"\/wp-content\/uploads\/2020\/01\/3e0238547dc956dbb069c11241e4534f.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Slika 1 \u2013 Razumevanje arhitektur nevronih mre\u017e ni preprosto<\/p>\n<p><\/p>\n<p>Vse se je za\u010delo s tem, da sem naredil dve prikazni aplikaciji za klasifikacijo in odkrivanje objektov na telefonu Android:<\/p>\n<p><\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/junkyard\/tree\/master\/object_classifier\">Back-end demo<\/a><\/noindex>, ko se podatki obdelujejo na stre\u017eniku in prena\u0161ajo na telefon. Klasifikacija slik (image classification) treh vrst medvedov: rjavi, \u010drni in pli\u0161asti.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/android\/tree\/master\/object_detection_demo\">Front-end demo<\/a><\/noindex>, ko se podatki obdelujejo na sami napravi. Odkritje objektov (object detection) treh vrst: le\u0161nik, figa in datelj.<\/li>\n<\/ul>\n<p><noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Obstaja razlika med nalogami klasifikacije slik, odkrivanjem objektov na slikah in <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/analytics-vidhya\/image-classification-vs-object-detection-vs-image-segmentation-f36db85fe81\">segmentacijo slik<\/a><\/noindex>. Zato se je pojavila potreba po spoznanju, katere arhitekture nevronih mre\u017e odkrivajo objekte na slikah in katere lahko segmentirajo. Na\u0161el sem naslednje primere arhitektur z najbolj razumljivimi povezavami do virov:<\/p>\n<p><\/p>\n<ul>\n<li>Serija arhitektur na osnovi R-CNN (<strong>R<\/strong>egions with <strong>C<\/strong>onvolution <strong>N<\/strong>eural <strong>N<\/strong>etworks features): R-CNN, Fast R-CNN, <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/@smallfishbigsea\/faster-r-cnn-explained-864d4fb7e3f8\">Faster R-CNN<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/0vt05rQqk_I\">Mask R-CNN<\/a><\/noindex>. Za odkrivanje objekta na sliki se s pomo\u010djo mehanizma Regional Proposal Network (RPN) izlo\u010dijo omejeni regij (bounding boxes). Sprva je bil namesto RPN uporabljen po\u010dasnej\u0161i mehanizem Selective Search. Nato se izlo\u010dene omejene regije predlo\u017eijo obi\u010dajni nevroni mre\u017ei za klasifikacijo. V arhitekturi R-CNN so jasno izra\u017eeni 'for' cikli za preizku\u0161njo omejenih regij, skupno do 2000 ponovitev skozi notranjo mre\u017eo AlexNet. Zaradi o\u010ditnih 'for' ciklov se zmanj\u0161a hitrost obdelovanja slik. \u0160tevilo o\u010ditnih ciklov, ponovitev skozi notranjo nevroni mre\u017eo, se z vsako novo razli\u010dico arhitekture zmanj\u0161uje, prav tako se izvajajo desetine drugih sprememb za pove\u010danje hitrosti in zamenjavo naloge odkrivanja objektov s segmentacijo objektov v Mask R-CNN.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/L0tzmv--CGY\">YOLO<\/a><\/noindex> (<strong>Y<\/strong>ou <strong>O<\/strong>nly <strong>L<\/strong>ook <strong>O<\/strong>nce) \u2013 prva nevronska mre\u017ea koja prepoznaje objekte u stvarnom vremenu na mobilnim ure\u0111ajima. Odlikuje je sposobnost razlikovanja objekata u jednom prolazu (dovoljno je da pogleda jednom). Drugim re\u010dima, u YOLO arhitekturi nema o\u010diglednih \"for\" petlji, zbog \u010dega mre\u017ea brzo funkcioni\u0161e. Na primer, analogija: u NumPy kodu prilikom operacija sa matricama tako\u0111e nema o\u010diglednih \"for\" petlji, \u0161to se u NumPy realizuje na ni\u017eim nivoima putem jezika C. YOLO koristi mre\u017eu unapred definisanih prozora. Da se isti objekat ne prepoznaje vi\u0161e puta, koristi se koeficijent preklapanja prozora (IoU, <strong>I<\/strong>ntersection <strong>o<\/strong>ver <strong>U<\/strong>nion). Ova arhitektura funkcioni\u0161e u \u0161irokom opsegu i ima visok <noindex><a rel=\"nofollow\" href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%A0%D0%BE%D0%B1%D0%B0%D1%81%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C\">robustnost<\/a><\/noindex>: model mo\u017ee biti obu\u010den na fotografijama, ali tako\u0111e dobro radi na crte\u017eima.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/P8e-G-Mhx4k\">SSD<\/a><\/noindex> (<strong>S<\/strong>ingle <strong>S<\/strong>hot MultiBox <strong>D<\/strong>etector) \u2013 koriste se najsla\u0111i \"hackovi\" YOLO arhitekture (na primer, non-maximum suppression) i dodaju se novi, kako bi neuronska mre\u017ea br\u017ee i ta\u010dnije radila. Odlikuje je sposobnost razlikovanja objekata u jednom prolazu pomo\u0107u definisanih prozora (default box) na piramidi slika. Piramida slika je kodirana u konvolucionim tenzorima kroz sekvencijalne konvolucijske i pooling operacije (prilikom operacije max-pooling prostorna dimenzija se smanjuje). Na taj na\u010din se prepoznaju i veliki i mali objekti u jednom prolazu mre\u017ee.<\/li>\n<li>MobileSSD (<strong>Mobilni<\/strong>NetV2 + <strong>SSD<\/strong>) \u2013 kombinacija dve arhitekture neuronskih mre\u017ea. Prva mre\u017ea <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/352804\/\">MobileNetV2<\/a><\/noindex> runs fast and increases recognition accuracy. MobileNetV2 is used instead of VGG-16, which was originally used in <noindex><a rel=\"nofollow\" href=\"https:\/\/arxiv.org\/abs\/1512.02325\">originalnem \u010dlanku<\/a><\/noindex>. Druga mre\u017ea SSD odre\u0111uje lokaciju objekata na slici.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/ge_RT5wvHvY\">SqueezeNet<\/a><\/noindex> \u2013 veoma mala, ali precizna neuronska mre\u017ea. Samo po sebi ne re\u0161ava zadatak otkrivanja objekata. Me\u0111utim, mo\u017ee se koristiti u kombinaciji razli\u010ditih arhitektura. I upotrebljava se na mobilnim ure\u0111ajima. Njena posebna karakteristika je to da se prvobitno podaci kompresuju do \u010detiri 1\u00d71 konvolucijska filtera, a zatim \u0161ire do \u010detiri 1\u00d71 i \u010detiri 3\u00d73 konvolucijska filtera. Jedna takva iteracija kompresije-\u0161irenja podataka naziva se \"Fire Module\".<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/b6jhopSMit8\">DeepLab<\/a><\/noindex> (Semantic Image Segmentation with Deep Convolutional Nets) \u2013 segmentacija objektov na sliki. Posebnost arhitekture je razpr\u0161ena (dilated convolution) konvolucija, ki ohranja prostorsko lo\u010dljivost. Sledi faza obdelave rezultatov z uporabo grafi\u010dnega verjetnostnega modela (conditional random field), kar omogo\u010da odstranitev manj\u0161ih \u0161umov v segmentaciji in izbolj\u0161anje kakovosti odsegljenega vizualnega materiala. Za groznim imenom \u00abgrafi\u010dni verjetnostni model\u00bb se skriva obi\u010dajen Gaussian filter, ki je aproksimiran na petih to\u010dkah.<\/li>\n<li>Posku\u0161al sem razumeti delovanje <noindex><a rel=\"nofollow\" href=\"https:\/\/arxiv.org\/abs\/1711.06897\">RefineDet<\/a><\/noindex> (Single-Shot <strong>Refine<\/strong>ment Neural Network for Object <strong>Det<\/strong>ection), vendar sem malo razumel.<\/li>\n<li>Pogledal sem tudi, kako deluje tehnologija \u00abpozornost\u00bb (attention): <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/W2rWgXJBZhU\">video1<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/iDulhoQ2pro\">video2<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/H6Qiegq_36c\">video3<\/a><\/noindex>. Posebnost arhitekture \u00abpozornost\u00bb je avtomatsko izlo\u010danje regij pove\u010dane pozornosti na sliki (RoI, <strong>R<\/strong>egions <strong>o<\/strong>f <strong>I<\/strong>nterest) s pomo\u010djo nevronetske mre\u017ee z imenom Attention Unit. Regije pove\u010dane pozornosti so podobne omejenim regijam (bounding boxes), a za razliko od njih niso zaklenjene na sliki in lahko imajo zamegljene meje. Nato se iz regij pove\u010dane pozornosti izlo\u010dijo zna\u010dilnosti (features), ki se \u00bbpredajajo\u00ab rekuren\u010dnim nevronetskim mre\u017eam z arhitekturami <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/5lUUrREboSk\">LSDM, GRU ali Vanilla RNN<\/a><\/noindex>. Rekuren\u010dne nevronetske mre\u017ee znajo analizirati medsebojne odnose zna\u010dilnosti v zaporedju. Rekuren\u010dne nevronetske mre\u017ee so prvotno bile uporabljene za prevajanje besedil v druge jezike, zdaj pa tudi za prevod <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/e-WB4lfg30M\">slik v besedilo<\/a><\/noindex> in <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/rAbhypxs1qQ\">besedila v sliko<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><\/p>\n<p>Med raziskovanjem teh arhitektur <strong>sem spoznal, da ni\u010d ne razumem<\/strong>. In ne gre za to, da bi imela moja nevronetska mre\u017ea te\u017eave z mehanizmom pozornosti. Ustvarjanje vseh teh arhitektur se zdi kot nek ogromen hackathon, kjer avtorji tekmujejo v hackih. Hack (hack) je hitro re\u0161itev te\u017ekega programskega problema. Torej, med vsemi temi arhitekturami ni vidne in razumljive logi\u010dne povezave. Vse, kar jih povezuje, je skupek najbolj uspe\u0161nih hackov, ki si jih izposojajo drug od drugega, plus skupna za vse <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/Ilg3gGewQ5U\">operacija konvolucije z povratno zanko<\/a><\/noindex> (povratno \u0161irjenje napake, backpropagation). Ni <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/272473\/\">sistemske miselnosti<\/a><\/noindex>! Ni jasno, kaj spremeniti in kako optimizirati obstoje\u010de dose\u017eke.<\/p>\n<p><\/p>\n<p>Kot rezultat pomanjkanja logi\u010dne povezave med haki je, da si jih je izjemno te\u017eko zapomniti in uporabiti v praksi. To so fragmentirana znanja. V najbolj\u0161em primeru se zapomnijo nekateri zanimivi in nepri\u010dakovani trenutki, a ve\u010dina razumljenega in nerazumljenega izgine iz spomina \u017ee v nekaj dneh. Dobro bi bilo, \u010de bi se vsaj ime arhitekture spomnilo po tednu dni. In to je ob branju \u010dlankov in gledanju preglednih videov vzelo ve\u010d ur in celo dni delovnega \u010dasa!<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Nevro mre\u017ee. Kam to vse gre?\" src=\"\/wp-content\/uploads\/2020\/01\/86f0f24e3be1d0f1a210f3132897d981.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Slika 2 \u2013 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.asimovinstitute.org\/neural-network-zoo\/\">Zoolo\u0161ki vrt nevronskih mre\u017e<\/a><\/noindex><\/p>\n<p><\/p>\n<p>Ve\u010dina avtorjev znanstvenih \u010dlankov, po mojem osebnem mnenju, dela vse, kar je v njihovi mo\u010di, da tudi to fragmentirano znanje ostane nejasno bralcu. Toda depri\u010dastni stavki v desetih vrstnih stavkih s formulami, ki so vzeti 's stropa', so tema za poseben \u010dlanek (problem <noindex><a rel=\"nofollow\" href=\"https:\/\/en.wikipedia.org\/wiki\/Publish_or_perish\">publish or perish<\/a><\/noindex>).<\/p>\n<p><\/p>\n<p>Zaradi tega se je pojavila potreba po sistematizaciji informacij o nevronkih mre\u017eah in tako pove\u010danju kakovosti razumevanja in zapomnitve. Zato je glavna tema analize posameznih tehnologij in arhitektur umetnih nevronskih mre\u017e postala naslednja naloga: <strong>izvedeti, kam vse to vodi<\/strong>, ne pa o delovanju neke konkretne nevronke posebej.<\/p>\n<p><\/p>\n<p>Kam se to vse giblje. Glavni rezultati:<\/p>\n<p><\/p>\n<ul>\n<li>\u0160tevilo start-up podjetij na podro\u010dju strojnega u\u010denja v zadnjih dveh letih <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/recognitor\/blog\/455676\/\">je drasti\u010dno padlo<\/a><\/noindex>. Mo\u017een razlog: 'nevronske mre\u017ee so prenehale biti nekaj novega.'<\/li>\n<li>Vsakdo bo lahko ustvaril delujo\u010do nevronko za re\u0161evanje preproste naloge. Za to bo vzel \u017ee pripravljeni model iz 'zoolo\u0161kega vrta modelov' (model zoo) in usposobil zadnjo plast nevronke (<noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/yofjFQddwHE\">transfer learning<\/a><\/noindex>) na pripravljenih podatkih iz <noindex><a rel=\"nofollow\" href=\"https:\/\/toolbox.google.com\/datasetsearch\">Google Dataset Search<\/a><\/noindex> ali iz <noindex><a rel=\"nofollow\" href=\"https:\/\/www.kaggle.com\/datasets\">25 tiso\u010dih zbirk podatkov Kaggle<\/a><\/noindex> v brezpla\u010dnem <noindex><a rel=\"nofollow\" href=\"https:\/\/www.dataschool.io\/cloud-services-for-jupyter-notebook\/\">oblaku Jupyter Notebook<\/a><\/noindex>.<\/li>\n<li>Veliki proizvajalci nevronk so za\u010deli ustvarjati <strong>'zoolo\u0161ke vrtove modelov'<\/strong> (model zoo). S pomo\u010djo njih lahko hitro naredite komercialno aplikacijo: <noindex><a rel=\"nofollow\" href=\"https:\/\/tfhub.dev\/\">TF Hub<\/a><\/noindex> za TensorFlow, <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/open-mmlab\/mmdetection\">MMDetection<\/a><\/noindex> za PyTorch, <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/facebookresearch\/Detectron\">Detectron<\/a><\/noindex> za Caffe2, <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/wkentaro\/chainer-modelzoo\">chainer-modelzoo<\/a><\/noindex> za Chainer in <noindex><a rel=\"nofollow\" href=\"https:\/\/modelzoo.co\/\">projekti z odprto kodo,<\/a><\/noindex>.<\/li>\n<li>Nevronske mre\u017ee, ki delujejo v <strong>realnem \u010dasu<\/strong> (real-time) na mobilnih naprava. Od 10 do 50 slik na sekundo.<\/li>\n<li>Uporaba nevronk na telefonih (TF Lite), v brskalnikih (TF.js) in v <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/19ZNz2N79u4\">doma\u010dih predmetih<\/a><\/noindex> (IoT, <strong>I<\/strong>internet <strong>o<\/strong>f <strong>T<\/strong>stvari). \u0160e posebej na telefonih, ki \u017ee podpirajo nevronke na nivoju '\u017eeleza' (nevroakseratorji).<\/li>\n<li>\u201eVsaka naprava, obla\u010dila in morda celo hrana bodo imela <strong>IP-v6 naslov<\/strong> in se med seboj povezovala\u201c \u2013 <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/GG7H8Xa4m8I?t=85\">Sebastian Thrun<\/a><\/noindex>.<\/li>\n<li>Rast \u0161tevila objav o strojno u\u010denju je za\u010dela <noindex><a rel=\"nofollow\" href=\"http:\/\/data-mining.philippe-fournier-viger.com\/too-many-machine-learning-papers\">presegati Mooreov zakon<\/a><\/noindex> (podvojitev vsaka dve leti) od leta 2015. O\u010ditno so potrebne nevronske mre\u017ee za analizo \u010dlankov.<\/li>\n<li>Naslednje tehnologije postajajo vse bolj priljubljene:\n<ul>\n<li><strong>PyTorch<\/strong> \u2013 priljubljenost raste hitro in, zdi se, prehiteva TensorFlow.<\/li>\n<li>Samodejna izbira hiperpamo\u010d <strong>AutoML<\/strong> \u2013 priljubljenost raste postopoma.<\/li>\n<li>Postopno zmanj\u0161anje natan\u010dnosti in pove\u010danje hitrosti izra\u010dunov: <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/rln_kZbYaWc\">nejasna logika<\/a><\/noindex>, algoritmi <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/MIPkK5ZAsms\">boostinga<\/a><\/noindex>, nedolo\u010deni (pribli\u017eni) izra\u010duni, kvantizacija (ko se te\u017ee nevronske mre\u017ee pretvorijo v cela \u0161tevila in kvantizirajo), nevronski pospe\u0161evalniki.<\/li>\n<li>Prevod <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/e-WB4lfg30M\">slik v besedilo<\/a><\/noindex> in <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/rAbhypxs1qQ\">besedila v sliko<\/a><\/noindex>.<\/li>\n<li>Ustvarjanje <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/OrHLacCDZVQ\">3D objekti iz videa<\/a><\/noindex>, zdaj \u017ee v realnem \u010dasu.<\/li>\n<li>Osnovno v DL \u2013 to je veliko podatkov, toda zbrati in ozna\u010diti jih ni enostavno. Zato se razvija avtomatizacija ozna\u010devanja (<noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/NcKTn4C91Yc\">automated annotation<\/a><\/noindex>) za nevronske mre\u017ee s pomo\u010djo nevronskih mre\u017e.<\/li>\n<\/ul>\n<\/li>\n<li>Z nevronskimi mre\u017eami je ra\u010dunalni\u0161tvo nenadoma postalo <strong>eksperimentalna znanost<\/strong> in nastal je <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/480348\">krizni reprodukcije<\/a><\/noindex>.<\/li>\n<li>IT-denar in priljubljenost nevronskih mre\u017e sta se pojavila hkrati, ko so postali izra\u010duni tr\u017ena vrednost. Ekonomija iz zlato-valutne postane <strong>zlato-valutno-ra\u010dunska.<\/strong>. Oglejte si moj \u010dlanek o <noindex><a rel=\"nofollow\" href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%AD%D0%BA%D0%BE%D0%BD%D0%BE%D1%84%D0%B8%D0%B7%D0%B8%D0%BA%D0%B0\">ekonofiziki<\/a><\/noindex> in razlogu za pojav IT-denarja.<\/li>\n<\/ul>\n<p><\/p>\n<p>Po\u010dasi se razvija nova <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/481844\">metodologija programiranja ML\/DL<\/a><\/noindex> (Strojno u\u010denje &amp; Globoko u\u010denje), ki temelji na predstavljanju programa kot zbirke usposobljenih modelov nevronskih mre\u017e.<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Nevro mre\u017ee. Kam to vse gre?\" src=\"\/wp-content\/uploads\/2020\/01\/17df76a613191522145abeba177c2685.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Slika 3 \u2013 ML\/DL kot nova metodologija programiranja<\/p>\n<p><\/p>\n<p>Vendar pa se ni pojavila <strong>\u201eteorija nevronskih mre\u017e\u201c<\/strong>, v okviru katere bi bilo mogo\u010de razmi\u0161ljati in delati sistemati\u010dno. To, kar se danes imenuje \u201eteorija\u201c, so v resnici eksperimentalni, heuristi\u010dni algoritmi.<\/p>\n<p><\/p>\n<p>Povezave do mojih in drugih virov:<\/p>\n<p><\/p>\n<ul>\n<li>Novice o podatkovni znanosti. V glavnem o predelavi slik. Kdor \u017eeli prejemati, naj po\u0161lje e-mail (foobar167&lt;gaff-gaff&gt;gmail&lt;to\u010dka&gt;com). Povezave do \u010dlankov in videoposnetkov po\u0161iljam, ko naberem material.<\/li>\n<li>Skupen <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/articles\/blob\/master\/Machine_Learning\/courses_on_machine_learning.md\">seznam te\u010dajev in \u010dlankov<\/a><\/noindex>, ki sem jih opravil in ki bi jih \u017eelel opraviti.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/articles\/blob\/master\/Ubuntu\/13_Keras_and_TensorFlow_how-tos.md#exercises\">Te\u010daji in videoposnetki za za\u010detnike<\/a><\/noindex>, s katerimi se je vredno za\u010deti u\u010diti o nevronskih mre\u017eah. Poleg tega bro\u0161ura <noindex><a rel=\"nofollow\" href=\"https:\/\/foobar167.github.io\/page\/vvedeniye-v-mashinnoye-obucheniye-i-iskusstvennyye-neyronnyye-seti.html\">\u201eUvod v strojno u\u010denje in umetne nevronske mre\u017ee\u201c<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/articles\/blob\/master\/Ubuntu\/13_Keras_and_TensorFlow_how-tos.md#tools\">Koristna orodja<\/a><\/noindex>, kjer bo vsak na\u0161el nekaj zanimivega zase.<\/li>\n<li>Izjemno koristni so bili <strong>video kanali za analizo znanstvenih \u010dlankov<\/strong> o Data Science. Poi\u0161\u010dite jih, naro\u010dite se nanje in delite povezave s svojimi kolegi ter z mano. Primeri:\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/user\/keeroyz\">Two Minute Papers<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/channel\/UCHB9VepY6kYvZjj0Bgxnpbw\">Henry AI Labs<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/channel\/UCZHmQk67mSJgfCCTn7xBfew\">Yannic Kilcher<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/channel\/UC5_6ZD6s8klmMu9TXEB_1IA\">CodeEmporium<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.dlology.com\">Blog Chengwei Zhang<\/a><\/noindex> in <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/Tony607\">Tony607<\/a><\/noindex> s podrobnimi navodili in odprtokodnimi projekti.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p><\/p>\n<p>Hvala za pozornost!<\/p>\n<p>Izvor: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/482794\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b. \u0421\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0432\u0438\u0434\u0435\u043e \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u044f \u0438 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435. \u0412\u0442\u043e\u0440\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u043e\u0441\u043e\u0437\u043d\u0430\u0442\u044c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439. \u0418 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439 \u043d\u0430 \u0438\u0445 \u043e\u0441\u043d\u043e\u0432\u0435. \u0420\u0438\u0441\u0443\u043d\u043e\u043a 1 \u2013 \u041f\u043e\u043d\u0438\u043c\u0430\u0442\u044c [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-54780","post","type-post","status-publish","format-standard","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.5 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/sl\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.5\" \/>\n\t\t<meta property=\"og:locale\" content=\"sl_SI\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u041a\u0443\u0434\u0430 \u044d\u0442\u043e \u0432\u0441\u0435 \u0434\u0432\u0438\u0436\u0435\u0442\u0441\u044f | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/sl\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-01-03T21:00:00+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-02-18T11:02:50+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Nevro mre\u017ee. Kam vse to vodi | ProHoster","description":"\u010clanek je sestavljen iz dveh delov: Kratek pregled nekaterih arhitektur omre\u017eij za odkrivanje objektov na slikah in segmentacijo slik z najjasnej\u0161imi povezavami do virov, ki so mi znane.","canonical_url":"https:\/\/prohoster.info\/sl\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"sl_SI","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u041a\u0443\u0434\u0430 \u044d\u0442\u043e \u0432\u0441\u0435 \u0434\u0432\u0438\u0436\u0435\u0442\u0441\u044f | ProHoster","og:description":"\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.","og:url":"https:\/\/prohoster.info\/sl\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-01-03T21:00:00+00:00","article:modified_time":"2020-02-18T11:02:50+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"54780","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 12:43:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:57:38","updated":"2026-01-24 12:43:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts\/54780","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/comments?post=54780"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts\/54780\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/media?parent=54780"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/categories?post=54780"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/tags?post=54780"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}