{"id":54780,"date":"2020-01-04T00:00:00","date_gmt":"2020-01-03T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/nejroseti-kuda-eto-vse-dvizhetsya"},"modified":"2020-02-18T14:02:50","modified_gmt":"2020-02-18T11:02:50","slug":"nejroseti-kuda-eto-vse-dvizhetsya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya","title":{"rendered":"Neurale netwerken. Waarheen beweegt dit allemaal?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Het artikel bestaat uit twee delen:<\/p>\n<p><\/p>\n<ol>\n<li>Een korte beschrijving van enkele architecturen van netwerken voor objectdetectie op afbeeldingen en afbeeldingssegmentatie met de meest begrijpelijke bronnen voor mij. Ik heb geprobeerd video's en uitleg in het Russisch te kiezen.<\/li>\n<li>Het tweede deel bestaat uit de poging om de ontwikkeling richting van neural netwerken architecturen en de technologie\u00ebn die daarop gebaseerd zijn te begrijpen.<\/li>\n<\/ol>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Neurale netwerken. Waarheen beweegt dit allemaal?\" src=\"\/wp-content\/uploads\/2020\/01\/3e0238547dc956dbb069c11241e4534f.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Figuur 1 \u2013 Het is niet gemakkelijk om de architecturen van neurale netwerken te begrijpen.<\/p>\n<p><\/p>\n<p>Het begon allemaal toen ik twee demonstratie-applicaties maakte voor classificatie en objectdetectie op een Android-telefoon:<\/p>\n<p><\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/junkyard\/tree\/master\/object_classifier\">Back-end demo<\/a><\/noindex>, waarbij gegevens op de server worden verwerkt en naar de telefoon worden verzonden. Beeldclassificatie (image classification) van drie soorten beren: bruine, zwarte en pluche.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/android\/tree\/master\/object_detection_demo\">Front-end demo<\/a><\/noindex>, waarbij gegevens op de telefoon zelf worden verwerkt. Objectdetectie (object detection) van drie soorten: hazelnoten, vijgen en dadels.<\/li>\n<\/ul>\n<p><noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Er is een verschil tussen de taken van afbeeldingsclassificatie, objectdetectie op een afbeelding en <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/analytics-vidhya\/image-classification-vs-object-detection-vs-image-segmentation-f36db85fe81\">afbeeldingssegmentatie<\/a><\/noindex>. Daarom was er behoefte om te begrijpen welke architecturen van neurale netwerken objecten op afbeeldingen detecteren en welke kunnen segmenteren. Ik vond de volgende voorbeelden van architecturen met de meest begrijpelijke bronnen voor mij:<\/p>\n<p><\/p>\n<ul>\n<li>Een reeks architecturen gebaseerd op R-CNN (<strong>R<\/strong>regio's met <strong>C<\/strong>convolutionele <strong>N<\/strong>neurale <strong>N<\/strong>netwerken kenmerken): R-CNN, Fast R-CNN, <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/@smallfishbigsea\/faster-r-cnn-explained-864d4fb7e3f8\">Faster R-CNN<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/0vt05rQqk_I\">Mask R-CNN<\/a><\/noindex>. Voor objectdetectie op een afbeelding wordt gebruikgemaakt van een Region Proposal Network (RPN) om begrensde regio's (bounding boxes) te identificeren. In eerste instantie werd een langzamere methode genaamd Selective Search gebruikt in plaats van RPN. Vervolgens worden de ge\u00efdentificeerde begrensde regio's aan een gewone neurale netwerken gegeven voor classificatie. In de R-CNN-architectuur zijn er expliciete 'for'-lussen om door de begrensde regio's te itereren, met maximaal 2000 doorlopen door het interne AlexNet-netwerk. Door de expliciete 'for'-lussen vertraagt de snelheid van beeldverwerking. Het aantal expliciete lussen en doorlopen door het interne neurale netwerk neemt af met elke nieuwe versie van de architectuur, en er worden tientallen andere wijzigingen aangebracht om de snelheid te verhogen en om de taak van objectdetectie te vervangen door segmentatie van objecten in Mask R-CNN.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/L0tzmv--CGY\">YOLO<\/a><\/noindex> (<strong>Y<\/strong>alleen <strong>O<\/strong>. <strong>L<\/strong>ook <strong>O<\/strong>nce) \u2013 het eerste neurale netwerk dat objecten in realtime op mobiele apparaten herkende. Een kenmerk is het onderscheid tussen objecten met \u00e9\u00e9n enkele doorgang (slechts \u00e9\u00e9n keer kijken is voldoende). Dit betekent dat de architectuur van YOLO geen duidelijke 'for' lussen bevat, waardoor het netwerk snel werkt. Een analogie: bij NumPy zijn er ook geen duidelijke 'for' lussen bij matrixoperaties, die in NumPy op lagere architectuurniveaus worden ge\u00efmplementeerd via de programmeertaal C. YOLO gebruikt een grid van vooraf gedefinieerde vensters. Om te voorkomen dat hetzelfde object meerdere keren wordt gedefinieerd, wordt een overlappingsco\u00ebffici\u00ebnt (IoU) gebruikt, <strong>I<\/strong>ntersection <strong>o<\/strong>ver <strong>U<\/strong>nion). Deze architectuur werkt in een breed scala en heeft een hoge <noindex><a rel=\"nofollow\" href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%A0%D0%BE%D0%B1%D0%B0%D1%81%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C\">robustheid<\/a><\/noindex>: het model kan worden getraind op foto's, maar werkt goed op getekende afbeeldingen.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/P8e-G-Mhx4k\">SSD<\/a><\/noindex> (<strong>S<\/strong>ingle <strong>S<\/strong>hot MultiBox <strong>D<\/strong>etector) \u2013 maakt gebruik van de meest succesvolle 'hacks' van de YOLO-architectuur (bijvoorbeeld non-maximum suppression) en voegt nieuwe toe, zodat het neuraal netwerk sneller en nauwkeuriger werkt. Een kenmerk is het onderscheid tussen objecten met \u00e9\u00e9n enkele doorgang met behulp van een gedefinieerd grid van vensters (default box) op een piramide van beelden. De beeldpiramide is gecodeerd in convolutionele tensors tijdens sequenti\u00eble convolutie- en poolingoperaties (bij de max-pooling operatie neemt de ruimtelijke dimensie af). Op deze manier kunnen zowel grote als kleine objecten in \u00e9\u00e9n doorgang van het netwerk worden gedefinieerd.<\/li>\n<li>MobileSSD (<strong>Mobiel<\/strong>NetV2 + <strong>SSD<\/strong>) \u2013 een combinatie van twee architectures van neurale netwerken. Het eerste netwerk <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/352804\/\">MobileNetV2<\/a><\/noindex> werkt snel en verhoogt de nauwkeurigheid van de herkenning. MobileNetV2 wordt gebruikt in plaats van VGG-16, dat oorspronkelijk werd gebruikt in <noindex><a rel=\"nofollow\" href=\"https:\/\/arxiv.org\/abs\/1512.02325\">het originele artikel<\/a><\/noindex>. Het tweede netwerk SSD bepaalt de locatie van objecten op de afbeelding.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/ge_RT5wvHvY\">SqueezeNet<\/a><\/noindex> \u2013 een zeer klein maar nauwkeurig neuraal netwerk. Op zichzelf kan het de taak van objectdetectie niet oplossen. Het kan echter worden gebruikt bij de combinatie van verschillende architecturen. En gebruikt worden in mobiele apparaten. Een kenmerk is dat de gegevens eerst worden gecomprimeerd tot vier 1\u00d71 convolutionele filters en daarna worden uitgebreid tot vier 1\u00d71 en vier 3\u00d73 convolutionele filters. E\u00e9n dergelijke iteratie van compressie-uitbreiding van gegevens wordt een 'Fire Module' genoemd.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/b6jhopSMit8\">DeepLab<\/a><\/noindex> (Semantic Image Segmentation with Deep Convolutional Nets) \u2013 objectsegmentatie op een afbeelding. Een kenmerk van de architectuur is de 'dilated convolution' die de ruimtelijke resolutie behoudt. Vervolgens komt de fase van nabewerking van de resultaten met behulp van een grafische kansmodel (conditional random field), wat kleine ruis in de segmentatie verwijdert en de kwaliteit van het gesegmenteerde beeld verbetert. Achter de indrukwekkende naam 'grafische kansmodel' schuilt een gewone Gauss-filter die is geapproximiseerd over vijf punten.<\/li>\n<li>Probeerde te begrijpen hoe het werkt <noindex><a rel=\"nofollow\" href=\"https:\/\/arxiv.org\/abs\/1711.06897\">RefineDet<\/a><\/noindex> (Single-Shot <strong>Refine<\/strong>ment Neural Network for Object <strong>Det<\/strong>ection), maar begreep er weinig van.<\/li>\n<li>Kijk ook naar hoe de 'attention'-technologie werkt: <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/W2rWgXJBZhU\">video1<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/iDulhoQ2pro\">video2<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/H6Qiegq_36c\">video3<\/a><\/noindex>. Een kenmerk van de 'attention'-architectuur is de automatische identificatie van gebieden van verhoogde aandacht op de afbeelding (RoI, <strong>R<\/strong>egions <strong>o<\/strong>f <strong>I<\/strong>nterest) met behulp van een neuraal netwerk genaamd Attention Unit. De gebieden van verhoogde aandacht lijken op begrensde regio's (bounding boxes), maar zijn niet gefixeerd op de afbeelding en kunnen vage randen hebben. Vervolgens worden kenmerken (features) uit de gebieden van verhoogde aandacht ge\u00ebxtraheerd en 'gegeven' aan recurrente neurale netwerken met architecturen <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/5lUUrREboSk\">LSDM, GRU of Vanilla RNN<\/a><\/noindex>. Recurrente neurale netwerken kunnen de relaties tussen kenmerken in een reeks analyseren. Aanvankelijk werden recurrente neurale netwerken gebruikt voor het vertalen van tekst naar andere talen, en nu ook voor het vertalen <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/e-WB4lfg30M\">van afbeeldingen naar tekst<\/a><\/noindex> en <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/rAbhypxs1qQ\">tekst naar afbeeldingen<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><\/p>\n<p>Naarmate ik deze architecturen bestudeerde <strong>begreep ik dat ik niets begreep<\/strong>. En het ligt niet aan het feit dat mijn neuraal netwerk problemen heeft met het aandachtmechanisme. Het cre\u00ebren van al deze architecturen lijkt op een enorme hackathon, waar auteurs strijden in hacks. Hack (hack) is een snelle oplossing voor een moeilijke programmeertaak. Dat wil zeggen, er is geen zichtbare en begrijpelijke logische connectie tussen al deze architecturen. Alles wat hen verbindt, is een verzameling van de beste hacks die ze van elkaar lenen, plus een gemeenschappelijke <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/Ilg3gGewQ5U\">convolutie-operatie met feedback<\/a><\/noindex> (backpropagation). Geen <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/272473\/\">systeemdenken<\/a><\/noindex>! Het is niet duidelijk wat er moet veranderen en hoe de bestaande prestaties geoptimaliseerd moeten worden.<\/p>\n<p><\/p>\n<p>Als gevolg van het ontbreken van logische samenhang tussen de hacks, zijn ze extreem moeilijk te onthouden en praktisch toe te passen. Dit resulteert in gefragmenteerde kennis. In het beste geval worden een paar interessante en onverwachte punten onthouden, maar het grootste deel van wat is begrepen en niet begrepen, verdwijnt al na enkele dagen uit het geheugen. Het zou al goed zijn als er na een week ten minste de naam van de architectuur kan worden herinnerd. En er zijn uren en zelfs dagen werk in het lezen van artikelen en het bekijken van overzichtsvideo's gestoken!<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Neurale netwerken. Waarheen beweegt dit allemaal?\" src=\"\/wp-content\/uploads\/2020\/01\/86f0f24e3be1d0f1a210f3132897d981.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Figuur 2 \u2013 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.asimovinstitute.org\/neural-network-zoo\/\">Dierentuin van neurale netwerken<\/a><\/noindex><\/p>\n<p><\/p>\n<p>De meeste auteurs van wetenschappelijke artikelen doen naar mijn persoonlijke mening hun uiterste best om deze gefragmenteerde kennis voor de lezer onbegrijpelijk te maken. Maar de participiale constructies in tien regellange zinnen met formules die 'van de muur zijn gehaald' \u2013 dat is een onderwerp voor een apart artikel (probleem <noindex><a rel=\"nofollow\" href=\"https:\/\/en.wikipedia.org\/wiki\/Publish_or_perish\">publish or perish<\/a><\/noindex>).<\/p>\n<p><\/p>\n<p>Om deze reden is het nodig geworden om informatie over neurale netwerken te systematiseren en zo de kwaliteit van begrip en onthouden te verhogen. Daarom werd de hoofdtitel voor de analyse van specifieke technologie\u00ebn en architecturen van kunstmatige neurale netwerken de volgende taak: <strong>erachter komen waar dit alles naartoe gaat<\/strong>, en niet de werking van een specifiek neuraal netwerk apart.<\/p>\n<p><\/p>\n<p>Waar dit alles naartoe gaat. Belangrijkste resultaten:<\/p>\n<p><\/p>\n<ul>\n<li>Het aantal startups op het gebied van machine learning is de afgelopen twee jaar <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/recognitor\/blog\/455676\/\">dramatisch gedaald<\/a><\/noindex>. Een mogelijke oorzaak: 'neurale netwerken zijn niet langer iets nieuws'.<\/li>\n<li>Iedereen kan een werkend neuraal netwerk cre\u00ebren voor het oplossen van een eenvoudige taak. Hiervoor kan men een kant-en-klaar model uit de 'modelentuin' (model zoo) nemen en de laatste laag van het neuraal netwerk trainen met<noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/yofjFQddwHE\">transfer learning<\/a><\/noindex>) op kant-en-klare gegevens van <noindex><a rel=\"nofollow\" href=\"https:\/\/toolbox.google.com\/datasetsearch\">Google Dataset Search<\/a><\/noindex> of uit <noindex><a rel=\"nofollow\" href=\"https:\/\/www.kaggle.com\/datasets\">de 25.000 datasets van Kaggle<\/a><\/noindex> in de gratis <noindex><a rel=\"nofollow\" href=\"https:\/\/www.dataschool.io\/cloud-services-for-jupyter-notebook\/\">Jupyter Notebook cloud.<\/a><\/noindex>.<\/li>\n<li>Grote producenten van neurale netwerken zijn begonnen met het cre\u00ebren van <strong>\u2018modelentuinen\u2019<\/strong> (model zoo). Hiermee kunnen snel commerci\u00eble applicaties worden gemaakt: <noindex><a rel=\"nofollow\" href=\"https:\/\/tfhub.dev\/\">TF Hub<\/a><\/noindex> voor TensorFlow, <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/open-mmlab\/mmdetection\">MMDetection<\/a><\/noindex> voor PyTorch, <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/facebookresearch\/Detectron\">Detectron<\/a><\/noindex> voor Caffe2, <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/wkentaro\/chainer-modelzoo\">chainer-modelzoo<\/a><\/noindex> voor Chainer en <noindex><a rel=\"nofollow\" href=\"https:\/\/modelzoo.co\/\">andere<\/a><\/noindex>.<\/li>\n<li>Neurale netwerken die werken in <strong>echte tijd<\/strong> (real-time) op mobiele apparaten. Van 10 tot 50 frames per seconde.<\/li>\n<li>Toepassing van neurale netwerken in telefoons (TF Lite), in browsers (TF.js) en in <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/19ZNz2N79u4\">huishoudelijke apparaten<\/a><\/noindex> (IoT, <strong>I<\/strong>Internet <strong>o<\/strong>f <strong>T<\/strong>of dingen). Vooral in telefoons die al neurale netwerken op hardware-niveau ondersteunen (neuroversnellers).<\/li>\n<li>Elke device, kledingstukken en mogelijk zelfs voedsel zullen hebben <strong>IP-v6 adres<\/strong> en met elkaar communiceren\" - <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/GG7H8Xa4m8I?t=85\">Sebastian Thrun<\/a><\/noindex>.<\/li>\n<li>De groei van publicaties over machine learning is begonnen <noindex><a rel=\"nofollow\" href=\"http:\/\/data-mining.philippe-fournier-viger.com\/too-many-machine-learning-papers\">de wet van Moore te overschrijden<\/a><\/noindex> (verdubbeling elke twee jaar) sinds 2015. Duidelijk zijn er neurale netwerken nodig voor artikelanalyses.<\/li>\n<li>Veranderende technologie\u00ebn die populair aan het worden zijn:\n<ul>\n<li><strong>PyTorch<\/strong> \u2013 de populariteit groeit snel en lijkt TensorFlow te overtreffen.<\/li>\n<li>Automatische hyperparameterafstemming <strong>AutoML<\/strong> \u2013 de populariteit groeit gestaag.<\/li>\n<li>Geleidelijke afname van precisie en een toename van rekenkracht: <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/rln_kZbYaWc\">vage logica<\/a><\/noindex>, algoritmes <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/MIPkK5ZAsms\">boosting<\/a><\/noindex>, onnauwkeurige (benaderde) berekeningen, kwantisatie (wanneer de gewichten van het neurale netwerk naar gehele getallen worden veranderd en gekwantiseerd), neuroversnellers.<\/li>\n<li>Vertaling <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/e-WB4lfg30M\">van afbeeldingen naar tekst<\/a><\/noindex> en <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/rAbhypxs1qQ\">tekst naar afbeeldingen<\/a><\/noindex>.<\/li>\n<li>Cre\u00ebren <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/OrHLacCDZVQ\">van driedimensionale objecten uit video<\/a><\/noindex>, nu al in realtime.<\/li>\n<li>Het belangrijkste in DL is veel data, maar het verzamelen en annoteren ervan is moeilijk. Daarom ontwikkelt zich automatisering van annotatie (<noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/NcKTn4C91Yc\">geautomatiseerde annotatie<\/a><\/noindex>) voor neurale netwerken met behulp van neurale netwerken.<\/li>\n<\/ul>\n<\/li>\n<li>Met neurale netwerken is Computer Science plotseling een <strong>experimentele wetenschap geworden<\/strong> en is er een <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/480348\">reproduceerbaarheidscrisis ontstaan<\/a><\/noindex>.<\/li>\n<li>IT-geld en de populariteit van neurale netwerken ontstonden gelijktijdig, toen berekeningen een marktwaarde gekregen hebben. De economie verandert van goud-valuta naar <strong>goud-valuta-berekening.<\/strong>. Zie mijn artikel over <noindex><a rel=\"nofollow\" href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%AD%D0%BA%D0%BE%D0%BD%D0%BE%D1%84%D0%B8%D0%B7%D0%B8%D0%BA%D0%B0\">econofysica<\/a><\/noindex> en de redenen voor het ontstaan van IT-geld.<\/li>\n<\/ul>\n<p><\/p>\n<p>Langzaam komt er een nieuwe <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/481844\">methodologie voor programmeren van ML\/DL<\/a><\/noindex> (Machine Learning &amp; Deep Learning), die is gebaseerd op de presentatie van een programma als een verzameling getrainde neurale netwerken.<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Neurale netwerken. Waarheen beweegt dit allemaal?\" src=\"\/wp-content\/uploads\/2020\/01\/17df76a613191522145abeba177c2685.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Figuur 3 \u2013 ML\/DL als nieuwe programmatiestijl<\/p>\n<p><\/p>\n<p>Echter, er is nooit echt een <strong>\"theorie van neurale netwerken\"<\/strong>, binnen welk kader je systematisch kunt denken en werken. Wat nu als \"theorie\" wordt genoemd, zijn eigenlijk experimentele, heuristische algoritmes.<\/p>\n<p><\/p>\n<p>Links naar mijn en andere bronnen:<\/p>\n<p><\/p>\n<ul>\n<li>Nieuwsbrief over Data Science. Voornamelijk over beeldverwerking. Wie deze wil ontvangen, kan een e-mail sturen (foobar167&lt;dognose&gt;gmail&lt;dot&gt;com). Links naar artikelen en video\u2019s worden verstuurd naarmate het materiaal zich ophoopt.<\/li>\n<li>Algemene <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/articles\/blob\/master\/Machine_Learning\/courses_on_machine_learning.md\">lijst van cursussen en artikelen<\/a><\/noindex>, die ik heb gevolgd en die ik nog wil volgen.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/articles\/blob\/master\/Ubuntu\/13_Keras_and_TensorFlow_how-tos.md#exercises\">Cursussen en video\u2019s voor beginners<\/a><\/noindex>, waarmee je zou moeten beginnen met het bestuderen van neurale netwerken. Plus een brochure <noindex><a rel=\"nofollow\" href=\"https:\/\/foobar167.github.io\/page\/vvedeniye-v-mashinnoye-obucheniye-i-iskusstvennyye-neyronnyye-seti.html\">\"Inleiding tot machine learning en kunstmatige neurale netwerken\"<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/articles\/blob\/master\/Ubuntu\/13_Keras_and_TensorFlow_how-tos.md#tools\">Nuttige tools<\/a><\/noindex>, waar iedereen iets interessants voor zichzelf kan vinden.<\/li>\n<li>Ze zijn uiterst nuttig gebleken <strong>videokanalen die wetenschappelijke artikelen analyseren<\/strong> over Data Science. Zoek ze, abonneer je erop en deel de links met je collega's en mij ook. Voorbeelden:\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/user\/keeroyz\">Two Minute Papers<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/channel\/UCHB9VepY6kYvZjj0Bgxnpbw\">Henry AI Labs<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/channel\/UCZHmQk67mSJgfCCTn7xBfew\">Yannic Kilcher<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/channel\/UC5_6ZD6s8klmMu9TXEB_1IA\">CodeEmporium<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.dlology.com\">Blog van Chengwei Zhang<\/a><\/noindex> ook <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/Tony607\">Tony607<\/a><\/noindex> met stapsgewijze instructies en open sourcecode.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p><\/p>\n<p>Bedankt voor uw aandacht!<\/p>\n<p>Bron: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/482794\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b. \u0421\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0432\u0438\u0434\u0435\u043e \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u044f \u0438 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435. \u0412\u0442\u043e\u0440\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u043e\u0441\u043e\u0437\u043d\u0430\u0442\u044c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439. \u0418 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439 \u043d\u0430 \u0438\u0445 \u043e\u0441\u043d\u043e\u0432\u0435. \u0420\u0438\u0441\u0443\u043d\u043e\u043a 1 \u2013 \u041f\u043e\u043d\u0438\u043c\u0430\u0442\u044c [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-54780","post","type-post","status-publish","format-standard","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/nl\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"nl_NL\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u041a\u0443\u0434\u0430 \u044d\u0442\u043e \u0432\u0441\u0435 \u0434\u0432\u0438\u0436\u0435\u0442\u0441\u044f | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/nl\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-01-03T21:00:00+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-02-18T11:02:50+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Neurale netwerken. Waar gaat dit allemaal naartoe | ProHoster","description":"Het artikel bestaat uit twee delen: Een korte beschrijving van enkele architecturen van netwerken voor objectdetectie op afbeeldingen en beeldsegmentatie met de meest begrijpelijke links naar bronnen voor mij.","canonical_url":"https:\/\/prohoster.info\/nl\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"nl_NL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u041a\u0443\u0434\u0430 \u044d\u0442\u043e \u0432\u0441\u0435 \u0434\u0432\u0438\u0436\u0435\u0442\u0441\u044f | ProHoster","og:description":"\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.","og:url":"https:\/\/prohoster.info\/nl\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-01-03T21:00:00+00:00","article:modified_time":"2020-02-18T11:02:50+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"54780","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 12:43:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:57:38","updated":"2026-01-24 12:43:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts\/54780","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/comments?post=54780"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts\/54780\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/media?parent=54780"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/categories?post=54780"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/tags?post=54780"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}