{"id":54780,"date":"2020-01-04T00:00:00","date_gmt":"2020-01-03T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/nejroseti-kuda-eto-vse-dvizhetsya"},"modified":"2020-02-18T14:02:50","modified_gmt":"2020-02-18T11:02:50","slug":"nejroseti-kuda-eto-vse-dvizhetsya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya","title":{"rendered":"Neuralnetv\u00e6rk. Hvor bev\u00e6ger det hele sig hen","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Artiklen best\u00e5r af to dele:<\/p>\n<p><\/p>\n<ol>\n<li>En kort beskrivelse af nogle netv\u00e6rksarkitekturer til objektdetektion p\u00e5 billeder og segmentering af billeder med de mest forst\u00e5elige links til ressourcer. Jeg har fors\u00f8gt at v\u00e6lge video forklaringer, gerne p\u00e5 russisk.<\/li>\n<li>Den anden del handler om at forst\u00e5 udviklingen af arkitekturer inden for neurale netv\u00e6rk og teknologier baseret p\u00e5 dem.<\/li>\n<\/ol>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Neuralnetv\u00e6rk. Hvor bev\u00e6ger det hele sig hen\" src=\"\/wp-content\/uploads\/2020\/01\/3e0238547dc956dbb069c11241e4534f.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Figur 1 \u2013 At forst\u00e5 arkitekturer af neurale netv\u00e6rk er ikke ligetil<\/p>\n<p><\/p>\n<p>Alt begyndte med, at jeg lavede to demo-applikationer til klassificering og objektdetektion p\u00e5 en Android-telefon:<\/p>\n<p><\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/junkyard\/tree\/master\/object_classifier\">Back-end demo<\/a><\/noindex>, hvor data behandles p\u00e5 serveren og sendes til telefonen. Klassificering af billeder (image classification) af tre typer bj\u00f8rne: brune, sorte og teddy.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/android\/tree\/master\/object_detection_demo\">Front-end demo<\/a><\/noindex>, hvor data behandles direkte p\u00e5 telefonen. Objektdetektion (object detection) af tre typer: hasseln\u00f8d, figen og dadel.<\/li>\n<\/ul>\n<p><noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Der er forskel p\u00e5 opgaverne for klassificering af billeder, objektdetektion og <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/analytics-vidhya\/image-classification-vs-object-detection-vs-image-segmentation-f36db85fe81\">segmentering af billeder<\/a><\/noindex>. Derfor opstod behovet for at finde ud af, hvilke arkitekturer af neurale netv\u00e6rk der kan opdage objekter p\u00e5 billeder, og hvilke der kan segmentere. Jeg fandt f\u00f8lgende eksempler p\u00e5 arkitekturer med de mest forst\u00e5elige links til ressourcer:<\/p>\n<p><\/p>\n<ul>\n<li>En serie arkitekturer baseret p\u00e5 R-CNN (<strong>R<\/strong>egions med <strong>C<\/strong>onvolution <strong>N<\/strong>euro <strong>N<\/strong>netv\u00e6rk tr\u00e6k): R-CNN, Fast R-CNN, <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/@smallfishbigsea\/faster-r-cnn-explained-864d4fb7e3f8\">Faster R-CNN<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/0vt05rQqk_I\">Mask R-CNN<\/a><\/noindex>. For at opdage et objekt p\u00e5 et billede ved hj\u00e6lp af mekanismen Region Proposal Network (RPN) fremh\u00e6ves begr\u00e6nsede regioner (bounding boxes). Oprindeligt blev en langsommere mekanisme Selective Search anvendt i stedet for RPN. Derefter sendes de fremh\u00e6vede begr\u00e6nsede regioner ind i et almindeligt neurale netv\u00e6rk til klassificering. I R-CNN-arkitekturen er der synlige \"for\"-l\u00f8kker til iterering over de begr\u00e6nsede regioner, op til 2000 gennemgange gennem det interne netv\u00e6rk AlexNet. P\u00e5 grund af de synlige \"for\"-l\u00f8kker s\u00e6nkes billedbehandlingshastigheden. Antallet af synlige l\u00f8kker og gennemgange gennem det interne neurale netv\u00e6rk reduceres med hver ny version af arkitekturen, og der foretages ogs\u00e5 mange andre \u00e6ndringer for at \u00f8ge hastigheden og for at \u00e6ndre opgaven fra objektdetektion til objeksegmentering i Mask R-CNN.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/L0tzmv--CGY\">YOLO<\/a><\/noindex> (<strong>Y<\/strong>ou <strong>D<\/strong>nly <strong>L<\/strong>ook <strong>D<\/strong>nce) \u2013 det f\u00f8rste neurale netv\u00e6rk, der genkendte objekter i realtid p\u00e5 mobile enheder. En karakteristisk egenskab: skelnen mellem objekter i \u00e9n gennemgang (det er nok at se \u00e9n gang). Det vil sige, at der i YOLO-arkitekturen ikke er \u00e5benlyse \"for\"-l\u00f8kker, hvilket g\u00f8r, at netv\u00e6rket arbejder hurtigt. For eksempel kan man drage den analogi, at der i NumPy ved matrixoperationer heller ikke er \u00e5benlyse \"for\"-l\u00f8kker, som i NumPy implementeres p\u00e5 lavere niveauer i arkitekturen gennem programmeringssproget C. YOLO bruger et gitter af foruddefinerede vinduer. For at et og samme objekt ikke identificeres flere gange, anvendes et overlapsningskoefficient (IoU, <strong>I<\/strong>ntersection <strong>o<\/strong>ver <strong>U<\/strong>nion). Denne arkitektur fungerer i et bredt sp\u00e6nd og har h\u00f8j <noindex><a rel=\"nofollow\" href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%A0%D0%BE%D0%B1%D0%B0%D1%81%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C\">robusthed<\/a><\/noindex>: modellen kan tr\u00e6nes p\u00e5 fotografier, men fungerer ogs\u00e5 godt p\u00e5 tegnede billeder.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/P8e-G-Mhx4k\">SSD<\/a><\/noindex> (<strong>Angreb op til 1,2<\/strong>ingle <strong>Angreb op til 1,2<\/strong>hot MultiBox <strong>D<\/strong>etector) \u2013 de mest vellykkede \"hacks\" af YOLO-arkitekturen (for eksempel non-maximum suppression) anvendes, og nye tilf\u00f8jes, s\u00e5 neurale netv\u00e6rk arbejder hurtigere og mere pr\u00e6cist. En karakteristisk egenskab: skelnen mellem objekter i \u00e9n gennemgang ved hj\u00e6lp af et givet vinduesgitter (default box) p\u00e5 billedernes pyramide. Billedepyramiden er kodet i konvolutions-tensorer ved sekventielle konvolutions- og pooling-operationer (under max-pooling-minskes den rumlige dimension). P\u00e5 denne m\u00e5de identificeres b\u00e5de store og sm\u00e5 objekter i \u00e9n gennemgang af netv\u00e6rket.<\/li>\n<li>MobileSSD (<strong>Mobil<\/strong>NetV2 + <strong>SSD<\/strong>) \u2013 en kombination af to arkitekturer for neurale netv\u00e6rk. Det f\u00f8rste netv\u00e6rk <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/352804\/\">MobileNetV2<\/a><\/noindex> arbejder hurtigt og \u00f8ger genkendelsesn\u00f8jagtigheden. MobileNetV2 anvendes i stedet for VGG-16, som oprindeligt blev brugt i <noindex><a rel=\"nofollow\" href=\"https:\/\/arxiv.org\/abs\/1512.02325\">den originale artikel<\/a><\/noindex>. Det andet netv\u00e6rk SSD bestemmer placeringen af objekter p\u00e5 billedet.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/ge_RT5wvHvY\">SqueezeNet<\/a><\/noindex> \u2013 et meget lille, men pr\u00e6cist neuralt netv\u00e6rk. Selve netv\u00e6rket l\u00f8ser ikke opgaven med objektgenkendelse. Men det kan anvendes i kombination med forskellige arkitekturer. Og bruges p\u00e5 mobile enheder. En karakteristisk egenskab er, at data f\u00f8rst komprimeres til fire 1\u00d71 konvolutionsfiltre, og derefter udvides til fire 1\u00d71 og fire 3\u00d73 konvolutionsfiltre. En s\u00e5dan iteration af kompression-udvidelse af data kaldes en \"Fire Module\".<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/b6jhopSMit8\">DeepLab<\/a><\/noindex> (Semantic Image Segmentation with Deep Convolutional Nets) \u2013 segmentering af objekter p\u00e5 et billede. Et kendetegn ved arkitekturen er den sparse (dilated convolution) konvolution, som bevarer den rumlige opl\u00f8sning. Herefter f\u00f8lger en postbehandlingsfase, hvor resultaterne behandles ved hj\u00e6lp af en grafisk sandsynlighedsmodel (conditional random field), hvilket muligg\u00f8r fjernelse af sm\u00e5 st\u00f8j i segmenteringen og forbedrer kvaliteten af det segmenterede billede. Bag det skr\u00e6mmende navn \u00abgrafisk sandsynlighedsmodel\u00bb gemmer sig et almindeligt Gauss-filter, der er approksimeret over fem punkter.<\/li>\n<li>Pr\u00f8vede at finde ud af, hvordan det fungerer <noindex><a rel=\"nofollow\" href=\"https:\/\/arxiv.org\/abs\/1711.06897\">RefineDet<\/a><\/noindex> (Single-Shot <strong>Refine<\/strong>ment Neural Network for Object <strong>Det<\/strong>ection), men forstod ikke meget.<\/li>\n<li>S\u00e5 s\u00e5 jeg, hvordan teknologien \u00abattention\u00bb fungerer: <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/W2rWgXJBZhU\">video1<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/iDulhoQ2pro\">video2<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/H6Qiegq_36c\">video3<\/a><\/noindex>. Et kendetegn ved \u00abattention\u00bb arkitekturen er automatisk fremh\u00e6velse af regioner med h\u00f8j opm\u00e6rksomhed p\u00e5 billedet (RoI, <strong>R<\/strong>egions <strong>o<\/strong>f <strong>I<\/strong>nterest) ved hj\u00e6lp af et neuralt netv\u00e6rk kaldet Attention Unit. Regioner med h\u00f8j opm\u00e6rksomhed ligner begr\u00e6nsede regioner (bounding boxes), men i mods\u00e6tning til dem er de ikke faste p\u00e5 billedet og kan have sl\u00f8res kanter. Derefter udtages funktioner (features) fra regionerne med h\u00f8j opm\u00e6rksomhed, som \u00abfoderes\u00bb til rekursive neurale netv\u00e6rk med arkitekturer <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/5lUUrREboSk\">LSDM, GRU eller Vanilla RNN<\/a><\/noindex>. Rekursive neurale netv\u00e6rk kan analysere forholdet mellem funktioner i en sekvens. Rekursive neurale netv\u00e6rk blev oprindeligt brugt til overs\u00e6ttelse af tekst til andre sprog, men nu ogs\u00e5 til at overs\u00e6tte <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/e-WB4lfg30M\">billede til tekst<\/a><\/noindex> og <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/rAbhypxs1qQ\">tekst til billede<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><\/p>\n<p>Efter at have studeret disse arkitekturer <strong>forstod jeg, at jeg ikke forstod noget<\/strong>. Og det handler ikke om, at mit neurale netv\u00e6rk har problemer med attention-mekanismen. At skabe alle disse arkitekturer ligner en k\u00e6mpe hackathon, hvor forfatterne konkurrerer i hacks. Hack \u2013 en hurtig l\u00f8sning p\u00e5 et sv\u00e6rt programmeringsproblem. Det vil sige, at der ikke er nogen synlig og forst\u00e5elig logisk forbindelse mellem alle disse arkitekturer. Alt, hvad de har til f\u00e6lles, er et s\u00e6t af de mest vellykkede hacks, som de l\u00e5ner fra hinanden, plus en f\u00e6lles <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/Ilg3gGewQ5U\">konvolutionsoperation med feedback<\/a><\/noindex> (tilbagespredning af fejl, backpropagation). Der er <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/272473\/\">ingen systematisk t\u00e6nkning<\/a><\/noindex>! Det er uklart, hvad der skal \u00e6ndres og hvordan man optimerer de eksisterende resultater.<\/p>\n<p><\/p>\n<p>Som resultatet af manglen p\u00e5 logisk forbindelse mellem hacks er de ekstremt sv\u00e6re at huske og anvende i praksis. Det er fragmenteret viden. I bedste fald huskes et par interessante og overraskende punkter, men det meste af det forst\u00e5ede og uforst\u00e5ede forsvinder fra hukommelsen allerede efter et par dage. Det ville v\u00e6re godt, hvis man efter en uge kun kunne huske navnet p\u00e5 arkitekturen. Og der er blevet brugt adskillige timer og endda dage af arbejdstid p\u00e5 at l\u00e6se artikler og se oversigtvideoer!<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Neuralnetv\u00e6rk. Hvor bev\u00e6ger det hele sig hen\" src=\"\/wp-content\/uploads\/2020\/01\/86f0f24e3be1d0f1a210f3132897d981.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Figur 2 \u2013 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.asimovinstitute.org\/neural-network-zoo\/\">Zoo af neurale netv\u00e6rk<\/a><\/noindex><\/p>\n<p><\/p>\n<p>De fleste forfattere af videnskabelige artikler, efter min mening, g\u00f8r alt, hvad de kan, for at selv denne fragmenterede viden ikke bliver forst\u00e5et af l\u00e6serne. Men gerundialer i ti linjer lang s\u00e6tninger med formler, der er taget \"fra loftet\" \u2013 det er et emne for en separat artikel (problemet <noindex><a rel=\"nofollow\" href=\"https:\/\/en.wikipedia.org\/wiki\/Publish_or_perish\">publish or perish<\/a><\/noindex>).<\/p>\n<p><\/p>\n<p>Af denne grund opstod behovet for at systematisere informationen om neurale netv\u00e6rk og dermed \u00f8ge kvaliteten af forst\u00e5elsen og hukommelsen. Derfor blev hovedtemaet for analysen af \u200b\u200bde enkelte teknologier og arkitekturer af kunstige neurale netv\u00e6rk den f\u00f8lgende opgave: <strong>at finde ud af, hvor det hele bev\u00e6ger sig hen<\/strong>, ikke en s\u00f8gning efter konstruktionen af et bestemt neuralt netv\u00e6rk.<\/p>\n<p><\/p>\n<p>Hvor bev\u00e6ger det hele sig hen. Hovedresultater:<\/p>\n<p><\/p>\n<ul>\n<li>Antallet af startups inden for maskinl\u00e6ring er i de sidste to \u00e5r <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/recognitor\/blog\/455676\/\">faldet drastisk<\/a><\/noindex>. En mulig \u00e5rsag: \"neurale netv\u00e6rk er ikke l\u00e6ngere noget nyt\".<\/li>\n<li>Enhver vil kunne skabe et fungerende neuralt netv\u00e6rk til at l\u00f8se en simpel opgave. For dette vil man tage en f\u00e6rdig model fra \"modeller zoen\" (model zoo) og tr\u00e6ne det sidste lag af det neurale netv\u00e6rk (<noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/yofjFQddwHE\">transfer learning<\/a><\/noindex>) p\u00e5 de tilg\u00e6ngelige data fra <noindex><a rel=\"nofollow\" href=\"https:\/\/toolbox.google.com\/datasetsearch\">Google Dataset Search<\/a><\/noindex> eller fra <noindex><a rel=\"nofollow\" href=\"https:\/\/www.kaggle.com\/datasets\">25.000 datas\u00e6t fra Kaggle<\/a><\/noindex> i det gratis <noindex><a rel=\"nofollow\" href=\"https:\/\/www.dataschool.io\/cloud-services-for-jupyter-notebook\/\">cloud Jupyter Notebook<\/a><\/noindex>.<\/li>\n<li>Store producenter af neurale netv\u00e6rk er begyndt at skabe <strong>\"modelzoos\"<\/strong> (model zoo). Med dem kan man hurtigt lave en kommerciel applikation: <noindex><a rel=\"nofollow\" href=\"https:\/\/tfhub.dev\/\">TF Hub<\/a><\/noindex> til TensorFlow, <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/open-mmlab\/mmdetection\">MMDetection<\/a><\/noindex> til PyTorch, <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/facebookresearch\/Detectron\">Detectron<\/a><\/noindex> til Caffe2, <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/wkentaro\/chainer-modelzoo\">chainer-modelzoo<\/a><\/noindex> til Chainer og <noindex><a rel=\"nofollow\" href=\"https:\/\/modelzoo.co\/\">andre<\/a><\/noindex>.<\/li>\n<li>Neurale netv\u00e6rk, der fungerer i <strong>real-time<\/strong> (real-time) p\u00e5 mobile enheder. Fra 10 til 50 billeder pr. sekund.<\/li>\n<li>Anvendelsen af neurale netv\u00e6rk i telefoner (TF Lite), i browsere (TF.js) og i <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/19ZNz2N79u4\">husholdningsartikler<\/a><\/noindex> (IoT, <strong>I<\/strong>internet <strong>o<\/strong>f <strong>T<\/strong>ting). Is\u00e6r i telefoner, der allerede underst\u00f8tter neurale netv\u00e6rk p\u00e5 hardware-niveau (neuroacceleratorer).<\/li>\n<li>\u00abHver enhed, bekl\u00e6dningsgenstande og m\u00e5ske endda mad vil have <strong>IP-v6 adresse<\/strong> og kommunikere med hinanden\u00bb \u2013 <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/GG7H8Xa4m8I?t=85\">Sebastian Thrun<\/a><\/noindex>.<\/li>\n<li>V\u00e6ksten i antallet af publikationer inden for maskinl\u00e6ring er begyndt <noindex><a rel=\"nofollow\" href=\"http:\/\/data-mining.philippe-fournier-viger.com\/too-many-machine-learning-papers\">at overstige Moores lov<\/a><\/noindex> (fordobling hver andet \u00e5r) siden 2015. Det er \u00e5benlyst, at der er behov for neurale netv\u00e6rk til artikelanalyse.<\/li>\n<li>F\u00f8lgende teknologier vinder popularitet:\n<ul>\n<li><strong>PyTorch<\/strong> \u2013 populariteten vokser hurtigt og synes at overhale TensorFlow.<\/li>\n<li>Automatisk hyperparameteroptimering <strong>AutoML<\/strong> \u2013 populariteten vokser gradvist.<\/li>\n<li>Gradvis reduktion af n\u00f8jagtighed og \u00f8gning af beregningshastighed: <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/rln_kZbYaWc\">fuzzy logic<\/a><\/noindex>, algoritmer <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/MIPkK5ZAsms\">booster<\/a><\/noindex>, un\u00f8jagtige (approksimerede) beregninger, kvantisering (hvor v\u00e6gtene i neurale netv\u00e6rk oms\u00e6ttes til hele tal og kvantiseres), neuroacceleratorer.<\/li>\n<li>Overs\u00e6ttelse <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/e-WB4lfg30M\">billede til tekst<\/a><\/noindex> og <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/rAbhypxs1qQ\">tekst til billede<\/a><\/noindex>.<\/li>\n<li>Oprettelse <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/OrHLacCDZVQ\">3D-objekter fra video<\/a><\/noindex>, nu i realtid.<\/li>\n<li>Det grundl\u00e6ggende i DL er en masse data, men det er ikke nemt at indsamle og m\u00e6rke dem. Derfor udvikles automatisering af m\u00e6rkning (<noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/NcKTn4C91Yc\">automated annotation<\/a><\/noindex>) til neurale netv\u00e6rk ved hj\u00e6lp af neurale netv\u00e6rk.<\/li>\n<\/ul>\n<\/li>\n<li>Med neurale netv\u00e6rk er Computer Science pludselig blevet <strong>en eksperimentel videnskab<\/strong> og der opstod <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/480348\">reproducerbarhedskrisen<\/a><\/noindex>.<\/li>\n<li>IT-penge og populariteten af neurale netv\u00e6rk dukkede op samtidig, da beregning blev en markedsv\u00e6rdi. \u00d8konomien skifter fra guld-valuta til <strong>guld-valuta-beregning.<\/strong>. Se min artikel om <noindex><a rel=\"nofollow\" href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%AD%D0%BA%D0%BE%D0%BD%D0%BE%D1%84%D0%B8%D0%B7%D0%B8%D0%BA%D0%B0\">\u00e6konofysik<\/a><\/noindex> og \u00e5rsagen til IT-penge.<\/li>\n<\/ul>\n<p><\/p>\n<p>En ny <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/481844\">metodologi for programmering af ML\/DL<\/a><\/noindex> (Maskinl\u00e6ring &amp; Dyb L\u00e6ring) er gradvist ved at opst\u00e5, som er baseret p\u00e5 at pr\u00e6sentere et program som en samling af tr\u00e6nede neurale netv\u00e6rksmodeller.<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Neuralnetv\u00e6rk. Hvor bev\u00e6ger det hele sig hen\" src=\"\/wp-content\/uploads\/2020\/01\/17df76a613191522145abeba177c2685.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Figur 3 \u2013 ML\/DL som en ny metodologi for programmering<\/p>\n<p><\/p>\n<p>Men der er stadig ikke dukket op <strong>\u00abteorien om neurale netv\u00e6rk\u00bb<\/strong>, inden for hvilken man kan t\u00e6nke og arbejde systematisk. Det, der i \u00f8jeblikket kaldes \u00abteori\u00bb, er faktisk eksperimentelle, heuristiske algoritmer.<\/p>\n<p><\/p>\n<p>Links til mine og andre ressourcer:<\/p>\n<p><\/p>\n<ul>\n<li>Nyhedsbrev om Data Science. For det meste om billedbehandling. Hvis nogen \u00f8nsker at modtage, s\u00e5 send venligst en e-mail (foobar167&lt;snak-snakk&gt;gmail&lt;punkt&gt;com). Links til artikler og videoer sendes, efterh\u00e5nden som materialet hober sig op.<\/li>\n<li>Generel <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/articles\/blob\/master\/Machine_Learning\/courses_on_machine_learning.md\">liste over kurser og artikler<\/a><\/noindex>, som jeg har gennemf\u00f8rt og som jeg gerne ville tage.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/articles\/blob\/master\/Ubuntu\/13_Keras_and_TensorFlow_how-tos.md#exercises\">Kurser og videoer til begyndere<\/a><\/noindex>, som man b\u00f8r starte med at studere neurale netv\u00e6rk. Plus en brochure <noindex><a rel=\"nofollow\" href=\"https:\/\/foobar167.github.io\/page\/vvedeniye-v-mashinnoye-obucheniye-i-iskusstvennyye-neyronnyye-seti.html\">\u00abIntroduktion til maskinl\u00e6ring og kunstige neurale netv\u00e6rk\u00bb<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/articles\/blob\/master\/Ubuntu\/13_Keras_and_TensorFlow_how-tos.md#tools\">Nyttige v\u00e6rkt\u00f8jer<\/a><\/noindex>, hvor alle kan finde noget interessant for sig selv.<\/li>\n<li>Det var yderst nyttigt, <strong>videokanaler om gennemgang af videnskabelige artikler<\/strong> inden for Data Science. Find dem, abonner p\u00e5 dem, og del linksene med dine kolleger og mig ogs\u00e5. Eksempler p\u00e5 disse er:\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/user\/keeroyz\">Two Minute Papers<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/channel\/UCHB9VepY6kYvZjj0Bgxnpbw\">Henry AI Labs<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/channel\/UCZHmQk67mSJgfCCTn7xBfew\">Yannic Kilcher<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/channel\/UC5_6ZD6s8klmMu9TXEB_1IA\">CodeEmporium<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.dlology.com\">Bloggen Chengwei Zhang<\/a><\/noindex> aka <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/Tony607\">Tony607<\/a><\/noindex> med trin-for-trin instruktioner og \u00e5ben kildekode.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p><\/p>\n<p>Tak for din opm\u00e6rksomhed!<\/p>\n<p>Kilde: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/482794\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b. \u0421\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0432\u0438\u0434\u0435\u043e \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u044f \u0438 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435. \u0412\u0442\u043e\u0440\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u043e\u0441\u043e\u0437\u043d\u0430\u0442\u044c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439. \u0418 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439 \u043d\u0430 \u0438\u0445 \u043e\u0441\u043d\u043e\u0432\u0435. \u0420\u0438\u0441\u0443\u043d\u043e\u043a 1 \u2013 \u041f\u043e\u043d\u0438\u043c\u0430\u0442\u044c [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-54780","post","type-post","status-publish","format-standard","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/da\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"da_DK\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u041a\u0443\u0434\u0430 \u044d\u0442\u043e \u0432\u0441\u0435 \u0434\u0432\u0438\u0436\u0435\u0442\u0441\u044f | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/da\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-01-03T21:00:00+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-02-18T11:02:50+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Neural netv\u00e6rk. Hvor er vi p\u00e5 vej hen | ProHoster","description":"Artiklen best\u00e5r af to dele: Et kort overblik over nogle netv\u00e6rksarkitekturer til objektdetektion p\u00e5 billeder og segmentering af billeder med de mest forst\u00e5elige links til ressourcer for mig.","canonical_url":"https:\/\/prohoster.info\/da\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"da_DK","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u041a\u0443\u0434\u0430 \u044d\u0442\u043e \u0432\u0441\u0435 \u0434\u0432\u0438\u0436\u0435\u0442\u0441\u044f | ProHoster","og:description":"\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.","og:url":"https:\/\/prohoster.info\/da\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-01-03T21:00:00+00:00","article:modified_time":"2020-02-18T11:02:50+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"54780","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 12:43:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:57:38","updated":"2026-01-24 12:43:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/54780","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/comments?post=54780"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/54780\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/media?parent=54780"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/categories?post=54780"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/tags?post=54780"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}