{"id":54780,"date":"2020-01-04T00:00:00","date_gmt":"2020-01-03T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/nejroseti-kuda-eto-vse-dvizhetsya"},"modified":"2020-02-18T14:02:50","modified_gmt":"2020-02-18T11:02:50","slug":"nejroseti-kuda-eto-vse-dvizhetsya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya","title":{"rendered":"Neuronn\u00e4t. Vart \u00e4r detta p\u00e5 v\u00e4g","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Artikeln best\u00e5r av tv\u00e5 delar:<\/p>\n<p><\/p>\n<ol>\n<li>En kort beskrivning av vissa arkitekturer i n\u00e4tverk f\u00f6r objektigenk\u00e4nning p\u00e5 bilder och segmentering av bilder med de mest l\u00e4ttf\u00f6rst\u00e5eliga l\u00e4nkarna till resurser f\u00f6r mig. Jag f\u00f6rs\u00f6kte v\u00e4lja videof\u00f6rklaringar, helst p\u00e5 ryska.<\/li>\n<li>Den andra delen g\u00e5r ut p\u00e5 att f\u00f6rst\u00e5 utvecklingen av arkitekturerna f\u00f6r neuronn\u00e4t. Och teknologier baserade p\u00e5 dem.<\/li>\n<\/ol>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Neuronn\u00e4t. Vart \u00e4r detta p\u00e5 v\u00e4g\" src=\"\/wp-content\/uploads\/2020\/01\/3e0238547dc956dbb069c11241e4534f.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Bild 1 \u2013 Det \u00e4r inte l\u00e4tt att f\u00f6rst\u00e5 arkitekturerna f\u00f6r neuronn\u00e4t.<\/p>\n<p><\/p>\n<p>Allt b\u00f6rjade med att jag skapade tv\u00e5 demonstrationsapplikationer f\u00f6r klassificering och objektigenk\u00e4nning p\u00e5 Android-telefonen:<\/p>\n<p><\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/junkyard\/tree\/master\/object_classifier\">Back-end demo<\/a><\/noindex>, d\u00e4r data behandlas p\u00e5 servern och skickas till telefonen. Klassificering av bilder (image classification) av tre typer av bj\u00f6rnar: brun, svart och plysch.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/android\/tree\/master\/object_detection_demo\">Front-end demo<\/a><\/noindex>, d\u00e4r data behandlas p\u00e5 sj\u00e4lva telefonen. Objektigenk\u00e4nning (object detection) av tre typer: hasseln\u00f6t, fikon och dadel.<\/li>\n<\/ul>\n<p><noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Det finns en skillnad mellan uppgifter f\u00f6r bildklassificering, objektigenk\u00e4nning p\u00e5 en bild och <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/analytics-vidhya\/image-classification-vs-object-detection-vs-image-segmentation-f36db85fe81\">segmentering av bilder<\/a><\/noindex>. D\u00e4rf\u00f6r blev det n\u00f6dv\u00e4ndigt att f\u00e5 veta vilka arkitekturer f\u00f6r neuronn\u00e4t som uppt\u00e4cker objekt p\u00e5 bilder och vilka som kan segmentera. Jag har hittat f\u00f6ljande exempel p\u00e5 arkitekturer med de mest l\u00e4ttf\u00f6rst\u00e5eliga l\u00e4nkarna till resurser:<\/p>\n<p><\/p>\n<ul>\n<li>En serie arkitekturer baserade p\u00e5 R-CNN (<strong>R<\/strong>egioner med <strong>C<\/strong>onvolution <strong>N<\/strong>eural <strong>N<\/strong>etworks-funktioner): R-CNN, Fast R-CNN, <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/@smallfishbigsea\/faster-r-cnn-explained-864d4fb7e3f8\">Faster R-CNN<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/0vt05rQqk_I\">Mask R-CNN<\/a><\/noindex>. F\u00f6r objektigenk\u00e4nning p\u00e5 en bild anv\u00e4nds en mekanism f\u00f6r Region Proposal Network (RPN) f\u00f6r att markera begr\u00e4nsade omr\u00e5den (bounding boxes). Initialt anv\u00e4ndes en l\u00e5ngsammare mekanism, Selective Search, ist\u00e4llet f\u00f6r RPN. D\u00e4refter matas de markerade begr\u00e4nsade regionerna in i ett vanligt neuronn\u00e4t f\u00f6r klassificering. I R-CNN-arkitekturen finns det tydliga \"for\"-loopar f\u00f6r att g\u00e5 igenom de begr\u00e4nsade regionerna, totalt upp till 2000 genomg\u00e5ngar genom det interna n\u00e4tet AlexNet. P\u00e5 grund av dessa tydliga \"for\"-loopar s\u00e4nks hastigheten p\u00e5 bildbehandlingen. Antalet tydliga loopar, genomg\u00e5ngar genom det interna neuronn\u00e4tet, minskar med varje ny version av arkitekturen, och dessutom g\u00f6rs dussintals andra f\u00f6r\u00e4ndringar f\u00f6r att \u00f6ka hastigheten och byta uppgift fr\u00e5n objektigenk\u00e4nning till segmentering av objekt i Mask R-CNN.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/L0tzmv--CGY\">YOLO<\/a><\/noindex> (<strong>Y<\/strong>ou <strong>O<\/strong>nly <strong>L<\/strong>ook <strong>O<\/strong>nce) \u2013 den f\u00f6rsta neurala n\u00e4tverksarkitekturen som kunde k\u00e4nna igen objekt i realtid p\u00e5 mobila enheter. En s\u00e4rskiljande funktion \u00e4r f\u00f6rm\u00e5gan att s\u00e4rskilja objekt p\u00e5 ett enda lopp (man beh\u00f6ver bara se p\u00e5 det en g\u00e5ng). Det finns inga explicita \"for\"-loopar i YOLO:s arkitektur, vilket g\u00f6r att n\u00e4tverket fungerar snabbt. En liknelse \u00e4r att i NumPy, vid operationer med matriser, finns det inte heller n\u00e5gra explicita \"for\"-loopar, som i NumPy hanteras p\u00e5 l\u00e4gre niv\u00e5er genom programmeringsspr\u00e5ket C. YOLO anv\u00e4nder ett gitter av f\u00f6rutbest\u00e4mda rutor. F\u00f6r att undvika att samma objekt identifieras flera g\u00e5nger, anv\u00e4nds en \u00f6verlappningskoefficient f\u00f6r rutorna (IoU, <strong>I<\/strong>ntersection <strong>o<\/strong>ver <strong>U<\/strong>nion). Denna arkitektur fungerar \u00f6ver ett brett intervall och har h\u00f6g <noindex><a rel=\"nofollow\" href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%A0%D0%BE%D0%B1%D0%B0%D1%81%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C\">robusthet<\/a><\/noindex>: modellen kan tr\u00e4nas p\u00e5 fotografier men fungerar \u00e4ven bra p\u00e5 ritade bilder.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/P8e-G-Mhx4k\">SSD<\/a><\/noindex> (<strong>S<\/strong>ingle <strong>S<\/strong>hot MultiBox <strong>D<\/strong>etector) \u2013 de mest framg\u00e5ngsrika \"hacken\" av YOLO-arkitekturen anv\u00e4nds (till exempel non-maximum suppression) och nya l\u00e4ggs till f\u00f6r att neuronn\u00e4tet ska fungera snabbare och mer noggrant. En s\u00e4rskiljande funktion \u00e4r att s\u00e4rskilja objekt p\u00e5 ett enda lopp med hj\u00e4lp av ett angivet n\u00e4t av rutor (default box) p\u00e5 en bildpyramid. Bildpyramiden kodas i konvolutionella tensorkopplingar under successive konvolutions- och poolingoperationer (vid max-pooling minskar den rumsliga dimensionen). S\u00e5ledes kan b\u00e5de stora och sm\u00e5 objekt identifieras p\u00e5 ett enda lopp av n\u00e4tverket.<\/li>\n<li>MobileSSD (<strong>Mobile<\/strong>NetV2 + <strong>SSD<\/strong>) \u2013 en kombination av tv\u00e5 neurala n\u00e4tverksarkitekturer. Den f\u00f6rsta n\u00e4tverket <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/352804\/\">MobileNetV2<\/a><\/noindex> fungerar snabbt och \u00f6kar noggrannheten i igenk\u00e4nning. MobileNetV2 till\u00e4mpas ist\u00e4llet f\u00f6r VGG-16, som ursprungligen anv\u00e4ndes i <noindex><a rel=\"nofollow\" href=\"https:\/\/arxiv.org\/abs\/1512.02325\">den ursprungliga artikeln<\/a><\/noindex>. Den andra n\u00e4tverksarkitekturen SSD identifierar objektens placering p\u00e5 bilden.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/ge_RT5wvHvY\">SqueezeNet<\/a><\/noindex> \u2013 ett mycket litet men exakt neuronn\u00e4tverk. Sj\u00e4lvt l\u00f6ser det inte problemet med objektigenk\u00e4nning. Men det kan anv\u00e4ndas i kombination med olika arkitekturer. Och anv\u00e4ndas i mobila enheter. En s\u00e4rskiljande funktion \u00e4r att data f\u00f6rst komprimeras till fyra 1\u00d71 konvolutionsfilter, och sedan expanderas till fyra 1\u00d71 och fyra 3\u00d73 konvolutionsfilter. En s\u00e5dan kompressions-expansionsiteration kallas \"Fire Module\".<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/b6jhopSMit8\">DeepLab<\/a><\/noindex> (Semantic Image Segmentation with Deep Convolutional Nets) \u2013 segmentering av objekt p\u00e5 bilden. En s\u00e4rskiljande egenskap hos arkitekturen \u00e4r den glesa (dilated convolution) konvolutionen, som bevarar den spatiala uppl\u00f6sningen. Sedan f\u00f6ljer en efterbehandlingsfas med hj\u00e4lp av en grafisk sannolikhetsmodell (conditional random field) som m\u00f6jligg\u00f6r att avl\u00e4gsna sm\u00e5 st\u00f6rningar i segmenteringen och f\u00f6rb\u00e4ttra kvaliteten p\u00e5 den segmenterade bilden. Bakom det skr\u00e4mmande namnet \u00abgrafisk sannolikhetsmodell\u00bb d\u00f6ljer sig ett vanligt Gauss-filter, som \u00e4r aproximera med fem punkter.<\/li>\n<li>F\u00f6rs\u00f6kte f\u00f6rst\u00e5 hur den \u00e4r konstruerad <noindex><a rel=\"nofollow\" href=\"https:\/\/arxiv.org\/abs\/1711.06897\">RefineDet<\/a><\/noindex> (Single-Shot <strong>Refine<\/strong>ment Neural Network for Object <strong>Det<\/strong>ektion), men jag f\u00f6rstod inte mycket.<\/li>\n<li>Jag tittade ocks\u00e5 p\u00e5 hur tekniken \u00abuppm\u00e4rksamhet\u00bb (attention) fungerar: <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/W2rWgXJBZhU\">video1<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/iDulhoQ2pro\">video2<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/H6Qiegq_36c\">video3<\/a><\/noindex>. En s\u00e4rskiljande egenskap hos arkitekturen \u00abuppm\u00e4rksamhet\u00bb \u00e4r automatisk identifiering av omr\u00e5den med \u00f6kad uppm\u00e4rksamhet p\u00e5 bilden (RoI, <strong>R<\/strong>egions <strong>o<\/strong>f <strong>I<\/strong>nterest) med hj\u00e4lp av ett neuralt n\u00e4tverk som kallas Attention Unit. Omr\u00e5dena med \u00f6kad uppm\u00e4rksamhet liknar begr\u00e4nsade omr\u00e5den (bounding boxes), men till skillnad fr\u00e5n dem \u00e4r de inte fixerade p\u00e5 bilden och kan ha diffus gr\u00e4nser. Sedan utvinner man egenskaper (features) fr\u00e5n de omr\u00e5dena med \u00f6kad uppm\u00e4rksamhet, som \u00abmatas\u00bb till rekurrenta neurala n\u00e4tverk med arkitekturer <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/5lUUrREboSk\">LSDM, GRU eller Vanilla RNN<\/a><\/noindex>. Rekurrenta neurala n\u00e4tverk kan analysera relationerna mellan egenskaper i en sekvens. Rekurrenta neurala n\u00e4tverk anv\u00e4ndes ursprungligen f\u00f6r att \u00f6vers\u00e4tta text till andra spr\u00e5k, och nu \u00e4ven f\u00f6r att \u00f6vers\u00e4tta <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/e-WB4lfg30M\">bilder till text<\/a><\/noindex> och <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/rAbhypxs1qQ\">text till bilder<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><\/p>\n<p>N\u00e4r jag studerade dessa arkitekturer <strong>ins\u00e5g jag att jag inte f\u00f6rstod n\u00e5got<\/strong>. Och det handlar inte om att mitt neurala n\u00e4tverk har problem med uppm\u00e4rksamhetsmekanismen. Skapandet av alla dessa arkitekturer liknar n\u00e5gon sorts enorm hackathon, d\u00e4r skaparna t\u00e4vlar i hacks. Hack (hack) \u2013 en snabb l\u00f6sning p\u00e5 en sv\u00e5r programvaruuppgift. Det finns ingen synlig och f\u00f6rst\u00e5elig logisk koppling mellan alla dessa arkitekturer. Allt som f\u00f6renar dem \u00e4r en upps\u00e4ttning av de mest framg\u00e5ngsrika hacks som de l\u00e5nat fr\u00e5n varandra, plus en gemensam f\u00f6r alla <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/Ilg3gGewQ5U\">konvolution med \u00e5terkoppling<\/a><\/noindex> (bak\u00e5triktad felpropagering, backpropagation). Det finns inget <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/272473\/\">systemt\u00e4nkande<\/a><\/noindex>! Det \u00e4r oklart vad som ska f\u00f6r\u00e4ndras och hur man optimerar de befintliga prestationerna.<\/p>\n<p><\/p>\n<p>Som resultat av avsaknaden av logisk koppling mellan hacket \u00e4r de extremt sv\u00e5ra att minnas och till\u00e4mpa i praktiken. Det handlar om fragmenterad kunskap. Som b\u00e4st minns man n\u00e5gra intressanta och ov\u00e4ntade punkter, men det mesta av det f\u00f6rst\u00e5dda och of\u00f6rst\u00e5dda f\u00f6rsvinner ur minnet redan efter n\u00e5gra dagar. Det vore bra om man efter en vecka i alla fall kommer ih\u00e5g namnet p\u00e5 arkitekturen. Och \u00e4nd\u00e5 har man lagt flera timmar och till och med dagar av arbetskraft p\u00e5 att l\u00e4sa artiklar och se \u00f6versiktsvideor!<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Neuronn\u00e4t. Vart \u00e4r detta p\u00e5 v\u00e4g\" src=\"\/wp-content\/uploads\/2020\/01\/86f0f24e3be1d0f1a210f3132897d981.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Figur 2 \u2013 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.asimovinstitute.org\/neural-network-zoo\/\">Djurpark av neurala n\u00e4tverk<\/a><\/noindex><\/p>\n<p><\/p>\n<p>De flesta f\u00f6rfattare av vetenskapliga artiklar, enligt min personliga \u00e5sikt, g\u00f6r allt f\u00f6r att \u00e4ven denna fragmenterade kunskap ska vara sv\u00e5r att f\u00f6rst\u00e5 f\u00f6r l\u00e4saren. Men gerundkonstruktioner i tio linj\u00e4ra meningar med formler som \u00e4r tagna \"fr\u00e5n taket\" \u2013 det \u00e4r ett \u00e4mne f\u00f6r en separat artikel (problemet <noindex><a rel=\"nofollow\" href=\"https:\/\/en.wikipedia.org\/wiki\/Publish_or_perish\">publish or perish<\/a><\/noindex>).<\/p>\n<p><\/p>\n<p>Av denna anledning uppstod behovet att systematisera informationen om neuronn\u00e4t och d\u00e4rigenom \u00f6ka kvaliteten p\u00e5 f\u00f6rst\u00e5else och minne. D\u00e4rf\u00f6r blev det huvudsakliga temat f\u00f6r analysen av olika teknologier och arkitekturer av artificiella neuronn\u00e4t den f\u00f6ljande uppgiften: <strong>att ta reda p\u00e5 vart allt detta \u00e4r p\u00e5 v\u00e4g<\/strong>, snarare \u00e4n att f\u00f6rst\u00e5 konstruktionen av ett specifikt neuronn\u00e4t separat.<\/p>\n<p><\/p>\n<p>Vart allt detta \u00e4r p\u00e5 v\u00e4g. Huvudsakliga resultat:<\/p>\n<p><\/p>\n<ul>\n<li>Antalet startups inom maskininl\u00e4rning har under de senaste tv\u00e5 \u00e5ren <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/recognitor\/blog\/455676\/\">drastiskt minskat<\/a><\/noindex>. En m\u00f6jlig anledning: \"neuronn\u00e4t har slutat vara n\u00e5got nytt.\"<\/li>\n<li>Var och en kan skapa ett fungerande neuronn\u00e4t f\u00f6r att l\u00f6sa en enkel uppgift. F\u00f6r detta tar man en f\u00e4rdig modell fr\u00e5n \"djurparken av modeller\" (model zoo) och tr\u00e4nar det sista lagret av neuronn\u00e4tet (<noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/yofjFQddwHE\">transfer learning<\/a><\/noindex>) p\u00e5 f\u00e4rdiga data fr\u00e5n <noindex><a rel=\"nofollow\" href=\"https:\/\/toolbox.google.com\/datasetsearch\">Google Dataset Search<\/a><\/noindex> eller fr\u00e5n <noindex><a rel=\"nofollow\" href=\"https:\/\/www.kaggle.com\/datasets\">25 000 dataset fr\u00e5n Kaggle<\/a><\/noindex> i den gratis <noindex><a rel=\"nofollow\" href=\"https:\/\/www.dataschool.io\/cloud-services-for-jupyter-notebook\/\">Jupyter Notebook-molnet<\/a><\/noindex>.<\/li>\n<li>Stora tillverkare av neuronn\u00e4t har b\u00f6rjat skapa <strong>\"djurparker av modeller\"<\/strong> (model zoo). Med deras hj\u00e4lp kan man snabbt skapa en kommersiell applikation: <noindex><a rel=\"nofollow\" href=\"https:\/\/tfhub.dev\/\">TF Hub<\/a><\/noindex> f\u00f6r TensorFlow, <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/open-mmlab\/mmdetection\">MMDetection<\/a><\/noindex> f\u00f6r PyTorch, <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/facebookresearch\/Detectron\">Detectron<\/a><\/noindex> f\u00f6r Caffe2, <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/wkentaro\/chainer-modelzoo\">chainer-modelzoo<\/a><\/noindex> f\u00f6r Chainer och <noindex><a rel=\"nofollow\" href=\"https:\/\/modelzoo.co\/\">andra<\/a><\/noindex>.<\/li>\n<li>Neuronn\u00e4t som fungerar i <strong>real-tid<\/strong> p\u00e5 mobila enheter. Fr\u00e5n 10 till 50 bildrutor per sekund.<\/li>\n<li>Anv\u00e4ndning av neuronn\u00e4t i telefoner (TF Lite), i webbl\u00e4sare (TF.js) och i <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/19ZNz2N79u4\">vanliga f\u00f6rem\u00e5l<\/a><\/noindex> (IoT, <strong>I<\/strong>internet <strong>o<\/strong>f <strong>T<\/strong>av saker). S\u00e4rskilt i telefoner som redan st\u00f6djer neuronn\u00e4t p\u00e5 h\u00e5rdvaruniv\u00e5 (neuroacceleratorer).<\/li>\n<li>Varje enhet, kl\u00e4desplagg och kanske till och med mat kommer att ha <strong>IP-v6 adress<\/strong> och kommunicera med varandra\u00bb \u2013 <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/GG7H8Xa4m8I?t=85\">Sebastian Thrun<\/a><\/noindex>.<\/li>\n<li>\u00d6kningen av publikationer inom maskininl\u00e4rning har b\u00f6rjat <noindex><a rel=\"nofollow\" href=\"http:\/\/data-mining.philippe-fournier-viger.com\/too-many-machine-learning-papers\">\u00f6verskrida Moores lag<\/a><\/noindex> (dubblade varje tv\u00e5 \u00e5r) sedan 2015. Det \u00e4r uppenbart att neurala n\u00e4tverk f\u00f6r artikelanalys beh\u00f6vs.<\/li>\n<li>F\u00f6ljande teknologier \u00f6kar i popularitet:\n<ul>\n<li><strong>PyTorch<\/strong> \u2013 populariteten v\u00e4xer snabbt och verkar \u00f6vertr\u00e4ffa TensorFlow.<\/li>\n<li>Automatisk hyperparameterjustering <strong>AutoML<\/strong> \u2013 populariteten v\u00e4xer l\u00e5ngsamt.<\/li>\n<li>Gradvis minskning av noggrannhet och \u00f6kning av ber\u00e4kningshastighet: <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/rln_kZbYaWc\">fuzzy logic<\/a><\/noindex>, algoritmer <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/MIPkK5ZAsms\">boosting<\/a><\/noindex>, inaktuell (approximerande) ber\u00e4kningar, kvantisering (n\u00e4r vikterna i det neurala n\u00e4tverket omvandlas till heltal och kvantiseras), neuroacceleratorer.<\/li>\n<li>\u00d6vers\u00e4ttning <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/e-WB4lfg30M\">bilder till text<\/a><\/noindex> och <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/rAbhypxs1qQ\">text till bilder<\/a><\/noindex>.<\/li>\n<li>Skapande <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/OrHLacCDZVQ\">3D-objekt fr\u00e5n video<\/a><\/noindex>, nu i realtid.<\/li>\n<li>Det huvudsakliga inom DL \u2013 \u00e4r stora m\u00e4ngder data, men att samla och m\u00e4rka dem \u00e4r inte l\u00e4tt. D\u00e4rf\u00f6r utvecklas automatisering av m\u00e4rkning (<noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/NcKTn4C91Yc\">automated annotation<\/a><\/noindex>) f\u00f6r neurala n\u00e4tverk med hj\u00e4lp av neurala n\u00e4tverk.<\/li>\n<\/ul>\n<\/li>\n<li>Med neurala n\u00e4tverk har datavetenskap pl\u00f6tsligt blivit <strong>en experimentell vetenskap<\/strong> och en <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/480348\">reproducerbarhetskris<\/a><\/noindex>.<\/li>\n<li>IT-pengar och populariteten av neurala n\u00e4tverk uppstod samtidigt n\u00e4r ber\u00e4kningar blev ett marknadsv\u00e4rde. Ekonomin g\u00e5r fr\u00e5n guld\/valuta till <strong>guld-valuta-ber\u00e4knings<\/strong>. Se min artikel om <noindex><a rel=\"nofollow\" href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%AD%D0%BA%D0%BE%D0%BD%D0%BE%D1%84%D0%B8%D0%B7%D0%B8%D0%BA%D0%B0\">ekonofysik<\/a><\/noindex> och orsaken till uppkomsten av IT-pengar.<\/li>\n<\/ul>\n<p><\/p>\n<p>Gradvis dyker en ny <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/481844\">metodologi f\u00f6r programmering av ML\/DL<\/a><\/noindex> (Maskininl\u00e4rning &amp; Djupinl\u00e4rning), som baseras p\u00e5 att betrakta programmet som en upps\u00e4ttning tr\u00e4nade neurala n\u00e4tverksmodeller.<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Neuronn\u00e4t. Vart \u00e4r detta p\u00e5 v\u00e4g\" src=\"\/wp-content\/uploads\/2020\/01\/17df76a613191522145abeba177c2685.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Bild 3 \u2013 ML\/DL som en ny programmeringsmetodologi<\/p>\n<p><\/p>\n<p>Men det har fortfarande inte kommit n\u00e5gon <strong>\u00abteori f\u00f6r neurala n\u00e4tverk\u00bb<\/strong>, inom vilken man kan t\u00e4nka och arbeta systematiskt. Vad som nu kallas<\/p>\n<p><\/p>\n<p>teori<\/p>\n<p><\/p>\n<ul>\n<li>\u00e4r egentligen experimentella, heuristiska algoritmer.<\/li>\n<li>L\u00e4nkar till mina och andra resurser: <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/articles\/blob\/master\/Machine_Learning\/courses_on_machine_learning.md\">Nyhetsbrev om Data Science. Fr\u00e4mst om bildbehandling. Den som vill f\u00e5 det ska skicka e-post (foobar167&lt;ruff-ruff&gt;gmail&lt;dot&gt;com). Jag skickar l\u00e4nkar till artiklar och videor efter hand som material samlas.<\/a><\/noindex>En allm\u00e4n<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/articles\/blob\/master\/Ubuntu\/13_Keras_and_TensorFlow_how-tos.md#exercises\">lista \u00f6ver kurser och artiklar<\/a><\/noindex>, som jag har g\u00e5tt och som jag skulle vilja g\u00e5. <noindex><a rel=\"nofollow\" href=\"https:\/\/foobar167.github.io\/page\/vvedeniye-v-mashinnoye-obucheniye-i-iskusstvennyye-neyronnyye-seti.html\">Kurser och videor f\u00f6r nyb\u00f6rjare<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/articles\/blob\/master\/Ubuntu\/13_Keras_and_TensorFlow_how-tos.md#tools\">, som man b\u00f6r b\u00f6rja med att studera neurala n\u00e4tverk. Plus en broschyr<\/a><\/noindex>, d\u00e4r alla kan hitta n\u00e5got intressant f\u00f6r sig sj\u00e4lva.<\/li>\n<li>Mycket anv\u00e4ndbara har visat sig vara <strong>videokanaler f\u00f6r analys av vetenskapliga artiklar<\/strong> inom Data Science. Hitta dem, prenumerera p\u00e5 dem och dela l\u00e4nkar med dina kollegor och mig ocks\u00e5. Exempel:\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/user\/keeroyz\">Two Minute Papers<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/channel\/UCHB9VepY6kYvZjj0Bgxnpbw\">Henry AI Labs<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/channel\/UCZHmQk67mSJgfCCTn7xBfew\">Yannic Kilcher<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/channel\/UC5_6ZD6s8klmMu9TXEB_1IA\">CodeEmporium<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.dlology.com\">Bloggen Chengwei Zhang<\/a><\/noindex> som <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/Tony607\">Tony607<\/a><\/noindex> med steg-f\u00f6r-steg-instruktioner och \u00f6ppen k\u00e4llkod.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p><\/p>\n<p>Tack f\u00f6r uppm\u00e4rksamheten!<\/p>\n<p>K\u00e4lla: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/482794\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b. \u0421\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0432\u0438\u0434\u0435\u043e \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u044f \u0438 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435. \u0412\u0442\u043e\u0440\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u043e\u0441\u043e\u0437\u043d\u0430\u0442\u044c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439. \u0418 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439 \u043d\u0430 \u0438\u0445 \u043e\u0441\u043d\u043e\u0432\u0435. \u0420\u0438\u0441\u0443\u043d\u043e\u043a 1 \u2013 \u041f\u043e\u043d\u0438\u043c\u0430\u0442\u044c [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-54780","post","type-post","status-publish","format-standard","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.4 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/sv\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.4\" \/>\n\t\t<meta property=\"og:locale\" content=\"sv_SE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u041a\u0443\u0434\u0430 \u044d\u0442\u043e \u0432\u0441\u0435 \u0434\u0432\u0438\u0436\u0435\u0442\u0441\u044f | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/sv\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-01-03T21:00:00+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-02-18T11:02:50+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Neuronn\u00e4t. Vart \u00e4r detta p\u00e5 v\u00e4g? | ProHoster","description":"Artikeln best\u00e5r av tv\u00e5 delar: En kort beskrivning av vissa n\u00e4tverksarkitekturer f\u00f6r objektidentifiering i bilder och segmentering av bilder med de mest begriplig resurser jag har l\u00e4nkat till.","canonical_url":"https:\/\/prohoster.info\/sv\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"sv_SE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u041a\u0443\u0434\u0430 \u044d\u0442\u043e \u0432\u0441\u0435 \u0434\u0432\u0438\u0436\u0435\u0442\u0441\u044f | ProHoster","og:description":"\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.","og:url":"https:\/\/prohoster.info\/sv\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-01-03T21:00:00+00:00","article:modified_time":"2020-02-18T11:02:50+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"54780","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 12:43:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:57:38","updated":"2026-01-24 12:43:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/54780","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/comments?post=54780"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/54780\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/media?parent=54780"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/categories?post=54780"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/tags?post=54780"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}