{"id":54780,"date":"2020-01-04T00:00:00","date_gmt":"2020-01-03T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/nejroseti-kuda-eto-vse-dvizhetsya"},"modified":"2020-02-18T14:02:50","modified_gmt":"2020-02-18T11:02:50","slug":"nejroseti-kuda-eto-vse-dvizhetsya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/no\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya","title":{"rendered":"Nevrallnettverk. Hvor er dette p\u00e5 vei?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Artikkelen best\u00e5r av to deler:<\/p>\n<p><\/p>\n<ol>\n<li>En kort beskrivelse av noen arkitekturer for nettverk som oppdager objekter i bilder og segmentering av bilder, med de mest forst\u00e5elige ressurslenkene for meg. Jeg har fors\u00f8kt \u00e5 velge video forklaringer, helst p\u00e5 russisk.<\/li>\n<li>Den andre delen handler om \u00e5 forst\u00e5 retningen for utvikling av arkitekturer for nevrale nettverk. Og teknologiene basert p\u00e5 dem.<\/li>\n<\/ol>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Nevrallnettverk. Hvor er dette p\u00e5 vei?\" src=\"\/wp-content\/uploads\/2020\/01\/3e0238547dc956dbb069c11241e4534f.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Figur 1 \u2013 \u00c5 forst\u00e5 arkitekturer av nevrale nettverk er ikke enkelt<\/p>\n<p><\/p>\n<p>Alt begynte med at jeg lagde to demonstrasjonsapplikasjoner for klassifisering og oppdagelse av objekter p\u00e5 Android-telefonen:<\/p>\n<p><\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/junkyard\/tree\/master\/object_classifier\">Back-end demo<\/a><\/noindex>, der data behandles p\u00e5 serveren og overf\u00f8res til telefonen. Klassifisering av bilder (image classification) av tre typer bj\u00f8rner: brun, svart og kosebamse.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/android\/tree\/master\/object_detection_demo\">Front-end demo<\/a><\/noindex>, der data behandles p\u00e5 selve telefonen. Oppdagelse av objekter (object detection) av tre typer: hasseln\u00f8tt, fiken og dadler.<\/li>\n<\/ul>\n<p><noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Det er en forskjell mellom oppgaver for klassifisering av bilder, oppdagelse av objekter i bilder og <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/analytics-vidhya\/image-classification-vs-object-detection-vs-image-segmentation-f36db85fe81\">segmentering av bilder<\/a><\/noindex>. Derfor oppstod det et behov for \u00e5 finne ut hvilke arkitekturer for nevrale nettverk som oppdager objekter i bilder og hvilke som kan segmentere. Jeg fant f\u00f8lgende eksempler p\u00e5 arkitekturer med de mest forst\u00e5elige ressurslenkene for meg:<\/p>\n<p><\/p>\n<ul>\n<li>En serie arkitekturer basert p\u00e5 R-CNN (<strong>R<\/strong>egions with <strong>C<\/strong>onvolution <strong>N<\/strong>eural <strong>N<\/strong>etworks features): R-CNN, Fast R-CNN, <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/@smallfishbigsea\/faster-r-cnn-explained-864d4fb7e3f8\">Faster R-CNN<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/0vt05rQqk_I\">Mask R-CNN<\/a><\/noindex>. For \u00e5 oppdage objekter i bilder ved hjelp av Region Proposal Network (RPN) fremheves begrensede regioner (bounding boxes). I utgangspunktet ble en tregere mekanisme, Selective Search, brukt i stedet for RPN. Deretter leveres de begrensede regionene inn i en vanlig nevrale nettverk for klassifisering. Arkitekturen til R-CNN har eksplisitte 'for'-l\u00f8kker som itererer over de begrensede regionene, med totalt opptil 2000 kj\u00f8ringer gjennom det interne nettverket AlexNet. P\u00e5 grunn av de eksplisitte 'for'-l\u00f8kene reduseres hastigheten p\u00e5 bildebehandlingen. Antallet eksplisitte l\u00f8kker, kj\u00f8ringer gjennom det interne nevrale nettverket, reduseres for hver ny versjon av arkitekturen, og det gj\u00f8res ogs\u00e5 dusinvis av andre endringer for \u00e5 \u00f8ke hastigheten og for \u00e5 erstatte oppgaven med oppdagelse av objekter med segmentering av objekter i Mask R-CNN.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/L0tzmv--CGY\">YOLO<\/a><\/noindex> (<strong>Y<\/strong>ou <strong>O<\/strong>nly <strong>L<\/strong>ook <strong>O<\/strong>YOLO \u2013 den f\u00f8rste nevrale nettverket som gjenkjente objekter i sanntid p\u00e5 mobile enheter. Den karakteristiske funksjonen: gjenkjenning av objekter p\u00e5 \u00e9n runde (det er nok \u00e5 se \u00e9n gang). Det vil si at arkitekturen til YOLO ikke har \u00e5penbare \u00abfor\u00bb-l\u00f8kker, noe som gj\u00f8r at nettverket fungerer raskt. For eksempel, slik det finnes i NumPy under matriseoperasjoner, finnes det heller ikke \u00e5penbare \u00abfor\u00bb-l\u00f8kker. Som i NumPy, som blir implementert p\u00e5 lavere niv\u00e5er gjennom programmeringsspr\u00e5ket C. YOLO bruker et rutenett med forh\u00e5ndsdefinerte vinduer. For \u00e5 unng\u00e5 at det samme objektet blir oppdaget flere ganger, brukes et overlappingskoeffisient (IoU, <strong>I<\/strong>interseksjon <strong>o<\/strong>union). Denne arkitekturen fungerer over et bredt spekter og har h\u00f8y <strong>U<\/strong>robusthet <noindex><a rel=\"nofollow\" href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%A0%D0%BE%D0%B1%D0%B0%D1%81%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C\">: modellen kan trenes p\u00e5 fotografier, men fungerer bra ogs\u00e5 p\u00e5 malte bilder.<\/a><\/noindex>Single<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/P8e-G-Mhx4k\">SSD<\/a><\/noindex> (<strong>S<\/strong>Shot MultiBox <strong>S<\/strong>detektor) \u2013 de mest vellykkede \u00abhackene\u00bb fra YOLO-arkitekturen (for eksempel non-maximum suppression) brukes, og nye legges til for \u00e5 gj\u00f8re nevrale nettverket raskere og mer n\u00f8yaktig. Den karakteristiske funksjonen: gjenkjenning av objekter p\u00e5 \u00e9n runde ved hjelp av et spesifisert rutenett med vinduer (default box) p\u00e5 bilde-pyramider. Bilde-pyramiden er kodet i konvolusjonelle tensorer ved sekvensielle konvolusjons- og pooling-operasjoner (under max-pooling reduseres romlig dimensjon). P\u00e5 denne m\u00e5ten kan b\u00e5de store og sm\u00e5 objekter bli gjenkjent p\u00e5 \u00e9n runde av nettverket. <strong>D<\/strong>MobileSSD (<\/li>\n<li>NetV2 +<strong>Mobile<\/strong>) \u2013 en kombinasjon av to arkitekturer av nevrale nettverk. Det f\u00f8rste nettverket <strong>SSD<\/strong>MobileNetV2 <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/352804\/\">fungerer raskt og \u00f8ker n\u00f8yaktigheten av gjenkjenning. MobileNetV2 brukes i stedet for VGG-16, som opprinnelig ble brukt i<\/a><\/noindex> . Det andre nettverket SSD bestemmer plasseringen av objekter p\u00e5 bildet. <noindex><a rel=\"nofollow\" href=\"https:\/\/arxiv.org\/abs\/1512.02325\">den originale artikkelen<\/a><\/noindex>SqueezeNet<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/ge_RT5wvHvY\">\u2013 et veldig lite, men presist nevrale nettverk. Det l\u00f8ser ikke oppgaven med \u00e5 oppdage objekter i seg selv. Men det kan brukes i kombinasjon med forskjellige arkitekturer. Og brukes i mobile enheter. Den karakteristiske funksjonen er at dataene f\u00f8rst komprimeres til fire 1\u00d71 konvolusjonsfiltre, og deretter utvides til fire 1\u00d71 og fire 3\u00d73 konvolusjonsfiltre. \u00c9n slik iterasjon av datakomprimering og -utvidelse kalles et \u00abFire Module\u00bb.<\/a><\/noindex> DeepLab<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/b6jhopSMit8\">DeepLab<\/a><\/noindex> (Semantic Image Segmentation with Deep Convolutional Nets) \u2013 segmentering av objekter p\u00e5 bilder. Den karakteristiske funksjonen ved arkitekturen er sparsommelig (dilated convolution) konvolusjon, som opprettholder romlig oppl\u00f8sning. Deretter f\u00f8lger en post-prosessering av resultater ved hjelp av en grafisk probabilistisk modell (conditional random field), noe som gj\u00f8r det mulig \u00e5 fjerne sm\u00e5 st\u00f8y i segmenteringen og forbedre kvaliteten p\u00e5 det segmenterte bildet. Bak det imponerende navnet \u00abgrafisk probabilistisk modell\u00bb skjuler det seg et vanlig Gauss-filter, som er approksimert over fem punkter.<\/li>\n<li>Pr\u00f8vde \u00e5 forst\u00e5 oppsettet <noindex><a rel=\"nofollow\" href=\"https:\/\/arxiv.org\/abs\/1711.06897\">RefineDet<\/a><\/noindex> (Single-Shot <strong>Refine<\/strong>ment Neural Network for Object <strong>Det<\/strong>ection), men skj\u00f8nte lite.<\/li>\n<li>S\u00e5 s\u00e5 jeg p\u00e5 hvordan \u00aboppmerksomhet\u00bb-teknologien fungerer (attention): <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/W2rWgXJBZhU\">video1<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/iDulhoQ2pro\">video2<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/H6Qiegq_36c\">video3<\/a><\/noindex>. Den karakteristiske funksjonen ved arkitekturen \u00aboppmerksomhet\u00bb er automatisk fremheving av omr\u00e5der med \u00f8kt oppmerksomhet p\u00e5 bildet (RoI, <strong>R<\/strong>egions <strong>o<\/strong>f <strong>I<\/strong>nterest) ved hjelp av et nevralt nettverk kalt Attention Unit. Omr\u00e5der med \u00f8kt oppmerksomhet ligner p\u00e5 begrensede omr\u00e5der (bounding boxes), men i motsetning til dem er de ikke fastl\u00e5st p\u00e5 bildet og kan ha uskarpe grenser. Deretter trekker vi ut trekk (features) fra omr\u00e5dene med \u00f8kt oppmerksomhet, som \u00abmates\u00bb inn i rekurserende nevrale nettverk med arkitekturer <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/5lUUrREboSk\">LSDM, GRU eller Vanilla RNN<\/a><\/noindex>. Rekurserende nevrale nettverk kan analysere forholdet mellom trekk i sekvenser. Rekurserende nevrale nettverk ble opprinnelig brukt for oversettelser av tekst til andre spr\u00e5k, og n\u00e5 ogs\u00e5 for \u00e5 oversette <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/e-WB4lfg30M\">bilder til tekst<\/a><\/noindex> og <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/rAbhypxs1qQ\">tekst til bilder<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><\/p>\n<p>Etter hvert som jeg studerte disse arkitekturene <strong>forstod jeg at jeg ikke forsto noe.<\/strong>. Og det er ikke det at mitt nevrale nettverk har problemer med oppmerksomhetsmekanismen. Opprettelsen av alle disse arkitekturene ligner p\u00e5 et stort hackathon, der forfatterne konkurrerer i hacking. Hack (hack) \u2013 en rask l\u00f8sning p\u00e5 et vanskelig programvareproblem. S\u00e5 mellom alle disse arkitekturene er det ingen synlig eller forst\u00e5elig logisk sammenheng. Alt som forener dem er et sett av de mest vellykkede hackene, som de l\u00e5ner fra hverandre, pluss en felles <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/Ilg3gGewQ5U\">konvolusjonsoperasjon med tilbakekobling<\/a><\/noindex> (tilbakepropagering av feil, backpropagation). Det er ikke <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/272473\/\">systemtenkning<\/a><\/noindex>! Det er uklart hva som skal endres og hvordan man skal optimalisere de eksisterende prestasjonene.<\/p>\n<p><\/p>\n<p>Som resultat av mangel p\u00e5 logisk sammenheng mellom hackene, er de ekstremt vanskelige \u00e5 huske og bruke i praksis. Dette er fragmentert kunnskap. I beste fall huskes noen interessante og overraskende punkter, men det meste av det som er forst\u00e5tt og ikke forst\u00e5tt forsvinner fra hukommelsen allerede etter noen dager. Det ville v\u00e6re bra om man etter en uke i det minste husker navnet p\u00e5 arkitekturen. Og for dette ble det brukt flere timer og til og med dager av arbeidstiden p\u00e5 \u00e5 lese artikler og se oppsummeringsvideoer!<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Nevrallnettverk. Hvor er dette p\u00e5 vei?\" src=\"\/wp-content\/uploads\/2020\/01\/86f0f24e3be1d0f1a210f3132897d981.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Figur 2 \u2013 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.asimovinstitute.org\/neural-network-zoo\/\">Dyrehagen av nevrale nettverk<\/a><\/noindex><\/p>\n<p><\/p>\n<p>De fleste forfattere av vitenskapelige artikler, etter min personlige mening, gj\u00f8r alt de kan for \u00e5 sikre at selv denne fragmenterte kunnskapen ikke blir forst\u00e5tt av leseren. Men gerundialte fraser i ti linjers setninger med formler som er 'plukket fra luften' \u2013 dette er et tema for en egen artikkel (problem <noindex><a rel=\"nofollow\" href=\"https:\/\/en.wikipedia.org\/wiki\/Publish_or_perish\">publish or perish<\/a><\/noindex>).<\/p>\n<p><\/p>\n<p>Av denne grunn oppstod det et behov for \u00e5 systematisere informasjon om nevrale nettverk og dermed \u00f8ke kvaliteten p\u00e5 forst\u00e5elsen og hukommelsen. Derfor ble hovedtemaet for analysen av enkelte teknologier og arkitekturer innen kunstige nevrale nettverk f\u00f8lgende oppgave: <strong>finne ut hvor dette hele er p\u00e5 vei<\/strong>, ikke hvordan en bestemt nevralnettverksstruktur fungerer isolert.<\/p>\n<p><\/p>\n<p>Hvor alt dette er p\u00e5 vei. Hovedresultater:<\/p>\n<p><\/p>\n<ul>\n<li>Antallet oppstart i machine learning-omr\u00e5det de siste to \u00e5rene <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/recognitor\/blog\/455676\/\">har falt dramatisk<\/a><\/noindex>. En mulig \u00e5rsak: 'nevrale nettverk har sluttet \u00e5 v\u00e6re noe nytt'.<\/li>\n<li>Hver person kan lage et fungerende nevralnettverk for \u00e5 l\u00f8se en enkel oppgave. For dette tar man en ferdig modell fra 'dyrehagen av modeller' (model zoo) og trener det siste laget i nevralnettverket (<noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/yofjFQddwHE\">transfer learning<\/a><\/noindex>) p\u00e5 eksisterende data fra <noindex><a rel=\"nofollow\" href=\"https:\/\/toolbox.google.com\/datasetsearch\">Google Dataset Search<\/a><\/noindex> eller fra <noindex><a rel=\"nofollow\" href=\"https:\/\/www.kaggle.com\/datasets\">25.000 datasett fra Kaggle<\/a><\/noindex> i gratis <noindex><a rel=\"nofollow\" href=\"https:\/\/www.dataschool.io\/cloud-services-for-jupyter-notebook\/\">Jupyter Notebook-skyen<\/a><\/noindex>.<\/li>\n<li>Store produsenter av nevralnettverk har begynt \u00e5 opprette <strong>'modellsamlinger' (model zoo). Ved hjelp av dem kan man raskt lage en kommersiell applikasjon:<\/strong> TF Hub <noindex><a rel=\"nofollow\" href=\"https:\/\/tfhub.dev\/\">for TensorFlow,<\/a><\/noindex> MMDetection <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/open-mmlab\/mmdetection\">for PyTorch,<\/a><\/noindex> Detectron <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/facebookresearch\/Detectron\">for Caffe2,<\/a><\/noindex> chainer-modelzoo <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/wkentaro\/chainer-modelzoo\">for Chainer og<\/a><\/noindex> Nevrale nettverk som opererer i <noindex><a rel=\"nofollow\" href=\"https:\/\/modelzoo.co\/\">andre<\/a><\/noindex>.<\/li>\n<li>sanntid <strong>(real-time) p\u00e5 mobile enheter. Fra 10 til 50 bilder per sekund.<\/strong> Bruken av nevrale nettverk i telefoner (TF Lite), i nettlesere (TF.js) og i<\/li>\n<li>husger\u00e5d <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/19ZNz2N79u4\">(IoT,<\/a><\/noindex> Internet <strong>I<\/strong>of Things). Spesielt i telefoner som allerede st\u00f8tter nevrale nettverk p\u00e5 maskinvare-niv\u00e5 (neuroakseleratorer). <strong>o<\/strong>f <strong>T<\/strong>spesielt p\u00e5 telefoner som allerede st\u00f8tter nevrale nettverk p\u00e5 maskinvare-niv\u00e5 (nevroakseleratorer).<\/li>\n<li>\u00abHvert apparaat, kl\u00e6r og kanskje til og med mat vil ha <strong>IP-v6 adresse<\/strong> og kommunisere med hverandre\u00bb \u2013 <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/GG7H8Xa4m8I?t=85\">Sebastian Thrun<\/a><\/noindex>.<\/li>\n<li>Veksten i antallet publikasjoner om maskinl\u00e6ring har begynt <noindex><a rel=\"nofollow\" href=\"http:\/\/data-mining.philippe-fournier-viger.com\/too-many-machine-learning-papers\">\u00e5 overg\u00e5 Moores lov<\/a><\/noindex> (dobling hvert andre \u00e5r) siden 2015. Det er tydelig at vi trenger nevrale nettverk for analyse av artikler.<\/li>\n<li>F\u00f8lgende teknologier blir stadig mer popul\u00e6re:\n<ul>\n<li><strong>PyTorch<\/strong> \u2013 populariteten vokser raskt og ser ut til \u00e5 overg\u00e5 TensorFlow.<\/li>\n<li>Automatisk hyperparameter-tuning <strong>AutoML<\/strong> \u2013 populariteten vokser jevnt.<\/li>\n<li>Gradvis reduksjon av n\u00f8yaktighet og \u00f8kning av beregningseffektivitet: <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/rln_kZbYaWc\">fuzzy logikk<\/a><\/noindex>, algoritmer <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/MIPkK5ZAsms\">boosting<\/a><\/noindex>, upresise (tiln\u00e6rmede) beregninger, kvantisering (n\u00e5r vektene til det nevrale nettverket konverteres til hele tall og kvantiseres), nevrale akseleratorer.<\/li>\n<li>Translation <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/e-WB4lfg30M\">bilder til tekst<\/a><\/noindex> og <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/rAbhypxs1qQ\">tekst til bilder<\/a><\/noindex>.<\/li>\n<li>Opprette <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/OrHLacCDZVQ\">3D-objekter basert p\u00e5 video<\/a><\/noindex>, n\u00e5 allerede i sanntid.<\/li>\n<li>Essensen av DL er \u00e5 ha mye data, men \u00e5 samle og annotere dem er ikke enkelt. Derfor utvikles automatisering av annotering (<noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/NcKTn4C91Yc\">automated annotation<\/a><\/noindex>) for nevrale nettverk ved hjelp av nevrale nettverk.<\/li>\n<\/ul>\n<\/li>\n<li>Med nevrale nettverk ble datavitenskap plutselig <strong>en eksperimentell vitenskap<\/strong> og det oppstod <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/480348\">en reproduserbarhetskrise<\/a><\/noindex>.<\/li>\n<li>IT-penger og populariteten til nevrale nettverk oppstod samtidig som beregningene ble en markedsverdi. \u00d8konomien g\u00e5r fra gull-valuta til <strong>gull-valuta-beregning<\/strong>. Se min artikkel om <noindex><a rel=\"nofollow\" href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%AD%D0%BA%D0%BE%D0%BD%D0%BE%D1%84%D0%B8%D0%B7%D0%B8%D0%BA%D0%B0\">\u00f8konomisk fysikk<\/a><\/noindex> og \u00e5rsaken til IT-penger.<\/li>\n<\/ul>\n<p><\/p>\n<p>Gradvis dukker det opp en ny <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/481844\">metodikk for programmering av ML\/DL<\/a><\/noindex> (Maskinl\u00e6ring &amp; Dyp l\u00e6ring), som er basert p\u00e5 \u00e5 se programmet som en samling av trente nevrale nettverksmodeller.<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Nevrallnettverk. Hvor er dette p\u00e5 vei?\" src=\"\/wp-content\/uploads\/2020\/01\/17df76a613191522145abeba177c2685.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Figur 3 \u2013 ML\/DL som en ny programmeringsmetodikk<\/p>\n<p><\/p>\n<p>Imidlertid har det fortsatt ikke oppst\u00e5tt <strong>\u00abteorien om nevrale nettverk\u00bb<\/strong>, innen rammene av hvilken man kan tenke og arbeide systematisk. Det som n\u00e5 kalles \u00abteori\u00bb er faktisk eksperimentelle, heuristiske algoritmer.<\/p>\n<p><\/p>\n<p>Lenker til mine og andre ressurser:<\/p>\n<p><\/p>\n<ul>\n<li>Nyhetsbrev om Data Science. Hovedsakelig om bildebehandling. De som \u00f8nsker \u00e5 motta det, kan sende e-post (foobar167&lt;ruff-ruff&gt;gmail&lt;dot&gt;com). Lenker til artikler og videoer sendes ut etter hvert som materialet samles.<\/li>\n<li>Generell <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/articles\/blob\/master\/Machine_Learning\/courses_on_machine_learning.md\">liste over kurs og artikler<\/a><\/noindex>, som jeg har fullf\u00f8rt og som jeg \u00f8nsker \u00e5 ta.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/articles\/blob\/master\/Ubuntu\/13_Keras_and_TensorFlow_how-tos.md#exercises\">Kurs og videoer for nybegynnere<\/a><\/noindex>, som man b\u00f8r begynne \u00e5 studere nevrale nettverk med. I tillegg et hefte <noindex><a rel=\"nofollow\" href=\"https:\/\/foobar167.github.io\/page\/vvedeniye-v-mashinnoye-obucheniye-i-iskusstvennyye-neyronnyye-seti.html\">\u00abInnledning til maskinl\u00e6ring og kunstige nevrale nettverk\u00bb<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/articles\/blob\/master\/Ubuntu\/13_Keras_and_TensorFlow_how-tos.md#tools\">Nyttige verkt\u00f8y<\/a><\/noindex>, der kvar ein og annan interessant for seg.<\/li>\n<li>Mykje nyttig har vist seg \u00e5 vera <strong>videokanalar for analyse av vitskapelege artiklar<\/strong> innen Data Science. Finn, abonner p\u00e5 dei, og del lenkene med kollegaene dine, og meg ogs\u00e5. Eksempler:\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/user\/keeroyz\">Two Minute Papers<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/channel\/UCHB9VepY6kYvZjj0Bgxnpbw\">Henry AI Labs<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/channel\/UCZHmQk67mSJgfCCTn7xBfew\">Yannic Kilcher<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/channel\/UC5_6ZD6s8klmMu9TXEB_1IA\">CodeEmporium<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.dlology.com\">Bloggen til Chengwei Zhang<\/a><\/noindex> og <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/Tony607\">Tony607<\/a><\/noindex> med steg-for-steg instruksjonar og opent kildekode.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p><\/p>\n<p>Takk for oppmerksomheten!<\/p>\n<p>Kilde: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/482794\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b. \u0421\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0432\u0438\u0434\u0435\u043e \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u044f \u0438 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435. \u0412\u0442\u043e\u0440\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u043e\u0441\u043e\u0437\u043d\u0430\u0442\u044c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439. \u0418 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439 \u043d\u0430 \u0438\u0445 \u043e\u0441\u043d\u043e\u0432\u0435. \u0420\u0438\u0441\u0443\u043d\u043e\u043a 1 \u2013 \u041f\u043e\u043d\u0438\u043c\u0430\u0442\u044c [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-54780","post","type-post","status-publish","format-standard","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.5 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/no\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.5\" \/>\n\t\t<meta property=\"og:locale\" content=\"nn_NO\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u041a\u0443\u0434\u0430 \u044d\u0442\u043e \u0432\u0441\u0435 \u0434\u0432\u0438\u0436\u0435\u0442\u0441\u044f | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/no\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-01-03T21:00:00+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-02-18T11:02:50+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Neuronnett. Kvar g\u00e5r dette hen | ProHoster","description":"Artikkelen best\u00e5r av to deler: Ein kort omtale av nokre arkitekturar for nettverk som oppdagar objekt p\u00e5 bilete og segmentering av bilete med dei mest forst\u00e5elege for meg lenkene til ressursar.","canonical_url":"https:\/\/prohoster.info\/no\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"nn_NO","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u041a\u0443\u0434\u0430 \u044d\u0442\u043e \u0432\u0441\u0435 \u0434\u0432\u0438\u0436\u0435\u0442\u0441\u044f | ProHoster","og:description":"\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.","og:url":"https:\/\/prohoster.info\/no\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-01-03T21:00:00+00:00","article:modified_time":"2020-02-18T11:02:50+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"54780","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 12:43:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:57:38","updated":"2026-01-24 12:43:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/posts\/54780","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/comments?post=54780"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/posts\/54780\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/media?parent=54780"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/categories?post=54780"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/tags?post=54780"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}