{"id":54780,"date":"2020-01-04T00:00:00","date_gmt":"2020-01-03T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/nejroseti-kuda-eto-vse-dvizhetsya"},"modified":"2020-02-18T14:02:50","modified_gmt":"2020-02-18T11:02:50","slug":"nejroseti-kuda-eto-vse-dvizhetsya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya","title":{"rendered":"Neuro-Netze. Wohin bewegt sich das alles?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Der Artikel besteht aus zwei Teilen:<\/p>\n<p><\/p>\n<ol>\n<li>Eine kurze Beschreibung einiger Architekturen von Netzwerken zur Objekterkennung auf Bildern und Segmentierung von Bildern mit den f\u00fcr mich verst\u00e4ndlichsten Verlinkungen zu Ressourcen. Ich habe versucht, Videoinformationen auszuw\u00e4hlen, vorzugsweise auf Russisch.<\/li>\n<li>Der zweite Teil besteht darin, den Entwicklungsweg der Architekturen neuronaler Netzwerke und der darauf basierenden Technologien zu erkennen.<\/li>\n<\/ol>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Neuro-Netze. Wohin bewegt sich das alles?\" src=\"\/wp-content\/uploads\/2020\/01\/3e0238547dc956dbb069c11241e4534f.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Abbildung 1 \u2013 Es ist nicht einfach, die Architekturen von neuronalen Netzwerken zu verstehen<\/p>\n<p><\/p>\n<p>Alles begann damit, dass ich zwei Demoanwendungen zur Klassifizierung und Objekterkennung auf einem Android-Telefon erstellt habe:<\/p>\n<p><\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/junkyard\/tree\/master\/object_classifier\">Back-end-Demo<\/a><\/noindex>, bei der die Daten auf dem Server verarbeitet und an das Telefon \u00fcbertragen werden. Klassifizierung von Bildern (image classification) von drei B\u00e4renarten: Braunb\u00e4r, Schwarzb\u00e4r und Pl\u00fcschb\u00e4r.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/android\/tree\/master\/object_detection_demo\">Front-end-Demo<\/a><\/noindex>, bei der die Daten direkt auf dem Telefon verarbeitet werden. Objekterkennung (object detection) von drei Typen: Haselnuss, Feige und Dattel.<\/li>\n<\/ul>\n<p><noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Es gibt einen Unterschied zwischen den Aufgaben der Bildklassifizierung, der Objekterkennung auf Bildern und <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/analytics-vidhya\/image-classification-vs-object-detection-vs-image-segmentation-f36db85fe81\">der Segmentierung von Bildern<\/a><\/noindex>. Daher entstand die Notwendigkeit zu erfahren, welche Architekturen neuronaler Netzwerke Objekte auf Bildern erkennen und welche segmentieren k\u00f6nnen. Ich habe die folgenden Beispiele f\u00fcr Architekturen gefunden, mit den f\u00fcr mich verst\u00e4ndlichsten Verlinkungen zu Ressourcen:<\/p>\n<p><\/p>\n<ul>\n<li>Eine Reihe von Architekturen auf Basis von R-CNN (<strong>R<\/strong>egions with <strong>C<\/strong>onvolution <strong>N<\/strong>eural <strong>N<\/strong>etworks features): R-CNN, Fast R-CNN, <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/@smallfishbigsea\/faster-r-cnn-explained-864d4fb7e3f8\">Faster R-CNN<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/0vt05rQqk_I\">Mask R-CNN<\/a><\/noindex>. Zur Objekterkennung auf Bildern werden durch den Mechanismus des Region Proposal Network (RPN) begrenzte Regionen (bounding boxes) \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u044b. Zun\u00e4chst wurde anstelle von RPN ein langsamerer Mechanismus namens Selective Search verwendet. Dann werden die hervorgehobenen begrenzten Regionen zur Klassifizierung in ein gew\u00f6hnliches neuronales Netzwerk eingespeist. In der Architektur von R-CNN gibt es explizite \u201efor\u201c-Schleifen zur Durchmesserung der begrenzten Regionen, insgesamt bis zu 2000 Durchl\u00e4ufe durch das interne Netzwerk AlexNet. Aufgrund der expliziten \u201efor\u201c-Schleifen wird die Verarbeitungsrate von Bildern verlangsamt. Die Anzahl der expliziten Schleifen und Durchl\u00e4ufe durch das interne neuronale Netzwerk wird mit jeder neuen Version der Architektur verringert, und es werden auch Dutzende anderer \u00c4nderungen vorgenommen, um die Geschwindigkeit zu erh\u00f6hen und die Aufgabe der Objekterkennung in die Segmentierung von Objekten in Mask R-CNN zu \u00e4ndern.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/L0tzmv--CGY\">YOLO<\/a><\/noindex> (<strong>Y<\/strong>ou <strong>O<\/strong>nly <strong>L<\/strong>ook <strong>O<\/strong>nce) \u2013 das erste neuronale Netzwerk, das Objekte in Echtzeit auf mobilen Ger\u00e4ten erkannte. Ein herausragendes Merkmal: Objekte werden in einem Durchgang unterschieden (es reicht aus, einmal hinzuschauen). Das bedeutet, dass in der Architektur von YOLO keine expliziten \u201efor\u201c-Schleifen vorhanden sind, was das Netzwerk schnell macht. Zum Beispiel eine Analogie: Bei NumPy gibt es bei Matrixoperationen ebenfalls keine expliziten \u201efor\u201c-Schleifen, die in NumPy auf niedrigeren Architektur-Ebenen in der Programmiersprache C implementiert sind. YOLO verwendet ein Gitter aus vordefinierten Fenstern. Um zu verhindern, dass dasselbe Objekt mehrfach erkannt wird, wird ein \u00dcberlappungskoeffizient der Fenster (IoU, <strong>I<\/strong>Schnittmenge <strong>o<\/strong>Vereinigung). Diese Architektur funktioniert in einem breiten Bereich und weist eine hohe <strong>U<\/strong>Robustheit <noindex><a rel=\"nofollow\" href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%A0%D0%BE%D0%B1%D0%B0%D1%81%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C\">: Das Modell kann auf Fotos trainiert werden, funktioniert aber auch gut mit gezeichneten Bildern.<\/a><\/noindex>Single<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/P8e-G-Mhx4k\">SSD<\/a><\/noindex> (<strong>S<\/strong>Shot MultiBox <strong>S<\/strong>Detector) \u2013 es werden die effektivsten \u201eHacks\u201c der YOLO-Architektur verwendet (zum Beispiel Non-Maximum-Suppression) und neue hinzugef\u00fcgt, damit das neuronale Netzwerk schneller und genauer arbeitet. Ein herausragendes Merkmal: Objekte werden in einem Durchgang mithilfe eines vorgegebenen Fenstergitters (Default Box) auf einer Bildpyramide unterschieden. Die Bildpyramide wird in Convolutional Tensors bei aufeinanderfolgenden Convolution-and-Pooling-Operationen kodiert (bei der Max-Pooling-Operation nimmt die r\u00e4umliche Dimension ab). Auf diese Weise werden sowohl gro\u00dfe als auch kleine Objekte in einem Durchgang des Netzwerks erkannt. <strong>D<\/strong>MobileSSD (<\/li>\n<li>NetV2 +<strong>Mobil<\/strong>) \u2013 eine Kombination aus zwei Architekturen neuronaler Netzwerke. Das erste Netzwerk <strong>SSD<\/strong>MobileNetV2 <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/352804\/\">arbeitet schnell und erh\u00f6ht die Erkennungsgenauigkeit. MobileNetV2 wird anstelle von VGG-16 verwendet, das urspr\u00fcnglich in<\/a><\/noindex> . Das zweite Netzwerk SSD bestimmt die Position von Objekten im Bild. <noindex><a rel=\"nofollow\" href=\"https:\/\/arxiv.org\/abs\/1512.02325\">Originalartikel<\/a><\/noindex>SqueezeNet<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/ge_RT5wvHvY\">\u2013 ein sehr kleines, aber pr\u00e4zises neuronales Netzwerk. Es selbst l\u00f6st nicht das Problem der Objekterkennung. Es kann jedoch in Kombination mit verschiedenen Architekturen verwendet werden. Und es kann in mobilen Ger\u00e4ten eingesetzt werden. Ein herausragendes Merkmal ist, dass die Daten zun\u00e4chst auf vier 1\u00d71 Convolutional-Filtern komprimiert und dann auf vier 1\u00d71 und vier 3\u00d73 Convolutional-Filtern erweitert werden. Eine solche Iteration der Datenkompression und -erweiterung wird als \u201eFire Module\u201c bezeichnet.<\/a><\/noindex> DeepLab<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/b6jhopSMit8\">DeepLab<\/a><\/noindex> (Semantic Image Segmentation with Deep Convolutional Nets) \u2013 Objekterkennung in Bildern. Ein herausragendes Merkmal der Architektur ist die dilatierte Faltung, die die r\u00e4umliche Aufl\u00f6sung bewahrt. Es folgt eine Nachbearbeitungsphase mit einem grafischen Wahrscheinlichkeitsmodell (conditional random field), das es erm\u00f6glicht, kleine St\u00f6rungen in der Segmentierung zu entfernen und die Qualit\u00e4t des segmentierten Bildes zu verbessern. Hinter dem ernst klingenden Namen \u201egrafisches Wahrscheinlichkeitsmodell\u201c verbirgt sich ein gew\u00f6hnlicher Gau\u00dffilter, der durch f\u00fcnf Punkte approximiert wird.<\/li>\n<li>Ich habe versucht, das Ger\u00e4t zu verstehen <noindex><a rel=\"nofollow\" href=\"https:\/\/arxiv.org\/abs\/1711.06897\">RefineDet<\/a><\/noindex> (Single-Shot <strong>Refine<\/strong>ment Neural Network for Object <strong>Det<\/strong>ektion), aber ich habe nicht viel verstanden.<\/li>\n<li>Ich habe auch gesehen, wie die Technologie \u201eAufmerksamkeit\u201c funktioniert: <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/W2rWgXJBZhU\">video1<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/iDulhoQ2pro\">video2<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/H6Qiegq_36c\">video3<\/a><\/noindex>. Ein herausragendes Merkmal der Architektur \u201eAufmerksamkeit\u201c ist die automatische Hervorhebung von Regionen mit erh\u00f6hter Aufmerksamkeit in Bildern (RoI, <strong>R<\/strong>egions <strong>o<\/strong>f <strong>I<\/strong>nterest) mithilfe eines neuronalen Netzwerks namens Attention Unit. Die Regionen mit erh\u00f6hter Aufmerksamkeit \u00e4hneln begrenzten Bereichen (Bounding Boxes), sind jedoch nicht auf dem Bild fixiert und k\u00f6nnen verschwommene Grenzen haben. Anschlie\u00dfend werden Merkmale (Features) aus den Regionen mit erh\u00f6hter Aufmerksamkeit extrahiert, die \u201ezugef\u00fchrt\u201c werden an rekursive neuronale Netzwerke mit Architekturen <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/5lUUrREboSk\">LSDM, GRU oder Vanilla RNN<\/a><\/noindex>. Rekursive neuronale Netzwerke sind in der Lage, die Beziehungen zwischen Merkmalen in einer Sequenz zu analysieren. Urspr\u00fcnglich wurden rekursive neuronale Netzwerke f\u00fcr die \u00dcbersetzung von Text in andere Sprachen verwendet, jetzt auch f\u00fcr die \u00dcbersetzung <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/e-WB4lfg30M\">von Bildern in Text<\/a><\/noindex> und <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/rAbhypxs1qQ\">von Text in Bilder<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><\/p>\n<p>W\u00e4hrend ich diese Architekturen studierte <strong>merkte ich, dass ich nichts verstehe<\/strong>. Und es liegt nicht daran, dass mein neuronales Netzwerk Probleme mit dem Aufmerksamkeitsmechanismus hat. Die Schaffung all dieser Architekturen \u00e4hnelt einem riesigen Hackathon, bei dem die Autoren im Hacking konkurrieren. Ein Hack ist eine schnelle L\u00f6sung eines schwierigen Softwareproblems. Das hei\u00dft, zwischen all diesen Architekturen gibt es keine ersichtliche und verst\u00e4ndliche logische Verbindung. Alles, was sie vereint, ist eine Sammlung der besten Hacks, die sie sich gegenseitig ausleihen, plus die f\u00fcr alle gemeinsame <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/Ilg3gGewQ5U\">Faltung mit R\u00fcckkopplung<\/a><\/noindex> (Backpropagation). Es fehlt <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/272473\/\">an systemischem Denken<\/a><\/noindex>! Es ist unklar, was ver\u00e4ndert werden sollte und wie man die bestehenden Errungenschaften optimieren kann.<\/p>\n<p><\/p>\n<p>Als Ergebnis des Fehlens einer logischen Verbindung zwischen den Themen sind sie \u00e4u\u00dferst schwer zu merken und in der Praxis anzuwenden. Es handelt sich um fragmentiertes Wissen. Im besten Fall merkt man sich einige interessante und unerwartete Aspekte, aber der Gro\u00dfteil des Verstandenen und Nichtverstandenen verschwindet bereits nach wenigen Tagen aus dem Ged\u00e4chtnis. Es w\u00e4re gut, wenn man sich sp\u00e4testens nach einer Woche wenigstens den Namen der Architektur ins Ged\u00e4chtnis rufen k\u00f6nnte. Dabei wurden doch mehrere Stunden und sogar Tage Arbeitszeit in das Lesen von Artikeln und das Ansehen von \u00dcbersichtsvideos investiert!<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Neuro-Netze. Wohin bewegt sich das alles?\" src=\"\/wp-content\/uploads\/2020\/01\/86f0f24e3be1d0f1a210f3132897d981.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Abbildung 2 \u2013 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.asimovinstitute.org\/neural-network-zoo\/\">Zoo der neuronalen Netze<\/a><\/noindex><\/p>\n<p><\/p>\n<p>Die meisten Autoren wissenschaftlicher Artikel tun meiner Meinung nach alles, um sicherzustellen, dass selbst dieses fragmentierte Wissen vom Leser nicht verstanden wird. Doch Partizipialkonstruktionen in zehnzeiligen S\u00e4tzen mit Formeln, die \u201evon der Decke\u201c kommen \u2013 das ist ein Thema f\u00fcr einen eigenen Artikel (Problem <noindex><a rel=\"nofollow\" href=\"https:\/\/en.wikipedia.org\/wiki\/Publish_or_perish\">publish or perish<\/a><\/noindex>).<\/p>\n<p><\/p>\n<p>Aus diesem Grund entstand die Notwendigkeit, Informationen \u00fcber neuronale Netze zu systematisieren und auf diese Weise die Qualit\u00e4t des Verst\u00e4ndnisses und des Erinnerns zu erh\u00f6hen. Daher wurde das Hauptthema der Analyse bestimmter Technologien und Architekturen k\u00fcnstlicher neuronaler Netze zur folgenden Aufgabe: <strong>herauszufinden, wohin das alles f\u00fchrt<\/strong>, und nicht zur Funktionsweise eines bestimmten neuronalen Netzes im Einzelnen.<\/p>\n<p><\/p>\n<p>Wohin das alles f\u00fchrt. Hauptresultate:<\/p>\n<p><\/p>\n<ul>\n<li>Die Anzahl der Start-ups im Bereich Maschinelles Lernen ist in den letzten zwei Jahren <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/recognitor\/blog\/455676\/\">dramatisch gesunken<\/a><\/noindex>. M\u00f6gliche Ursache: \u201eNeuronale Netze sind nicht mehr etwas Neues\u201c.<\/li>\n<li>Jeder wird in der Lage sein, ein funktionierendes neuronales Netz zur L\u00f6sung einer einfachen Aufgabe zu erstellen. Dazu nimmt man ein fertiges Modell aus dem \u201eZoo der Modelle\u201c (model zoo) und trainiert die letzte Schicht des neuronalen Netzes (<noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/yofjFQddwHE\">transfer learning<\/a><\/noindex>) mit vorbereiteten Daten aus <noindex><a rel=\"nofollow\" href=\"https:\/\/toolbox.google.com\/datasetsearch\">Google Dataset Search<\/a><\/noindex> oder von <noindex><a rel=\"nofollow\" href=\"https:\/\/www.kaggle.com\/datasets\">25.000 Datens\u00e4tzen von Kaggle<\/a><\/noindex> in der kostenlosen <noindex><a rel=\"nofollow\" href=\"https:\/\/www.dataschool.io\/cloud-services-for-jupyter-notebook\/\">Jupyter Notebook-Cloud<\/a><\/noindex>.<\/li>\n<li>Gro\u00dfe Hersteller von neuronalen Netzen haben begonnen, <strong>\u201eModellezoo\u201c<\/strong> (model zoo) zu erstellen. Mit ihrer Hilfe kann man schnell eine kommerzielle Anwendung erstellen: <noindex><a rel=\"nofollow\" href=\"https:\/\/tfhub.dev\/\">TF Hub<\/a><\/noindex> f\u00fcr TensorFlow, <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/open-mmlab\/mmdetection\">MMDetection<\/a><\/noindex> f\u00fcr PyTorch, <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/facebookresearch\/Detectron\">Detectron<\/a><\/noindex> f\u00fcr Caffe2, <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/wkentaro\/chainer-modelzoo\">chainer-modelzoo<\/a><\/noindex> f\u00fcr Chainer und <noindex><a rel=\"nofollow\" href=\"https:\/\/modelzoo.co\/\">andere<\/a><\/noindex>.<\/li>\n<li>Neuronale Netze, die in <strong>Echtzeit<\/strong> (real-time) auf mobilen Ger\u00e4ten arbeiten. Von 10 bis 50 Bildern pro Sekunde.<\/li>\n<li>Einsatz von neuronalen Netzen in Handys (TF Lite), in Browsern (TF.js) und in <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/19ZNz2N79u4\">Haushaltsger\u00e4ten<\/a><\/noindex> (IoT, <strong>I<\/strong>Internet <strong>o<\/strong>f <strong>T<\/strong>der Dinge). Besonders in Handys, die bereits neuronale Netze auf Hardware-Ebene unterst\u00fctzen (Neurobeschleuniger).<\/li>\n<li>\u201eJedes Ger\u00e4t, Kleidungsst\u00fcck und m\u00f6glicherweise sogar Lebensmittel werden haben <strong>IP-v6-Adresse<\/strong> und untereinander kommunizieren\u201c \u2013 <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/GG7H8Xa4m8I?t=85\">Sebastian Thrun<\/a><\/noindex>.<\/li>\n<li>Das Wachstum der Publikationen im Bereich des maschinellen Lernens hat begonnen <noindex><a rel=\"nofollow\" href=\"http:\/\/data-mining.philippe-fournier-viger.com\/too-many-machine-learning-papers\">die Moore'sche Gesetz zu \u00fcbertreffen<\/a><\/noindex> (Verdopplung alle zwei Jahre) seit 2015. Offensichtlich sind neuronale Netze zur Analyse von Artikeln n\u00f6tig.<\/li>\n<li>Die folgenden Technologien gewinnen an Popularit\u00e4t:\n<ul>\n<li><strong>PyTorch<\/strong> \u2013 die Beliebtheit w\u00e4chst rasant und scheint TensorFlow zu \u00fcberholen.<\/li>\n<li>Automatische Auswahl von Hyperparametern <strong>AutoML<\/strong> \u2013 die Beliebtheit w\u00e4chst allm\u00e4hlich.<\/li>\n<li>Allm\u00e4hliche Abnahme der Genauigkeit und Zunahme der Berechnungsgeschwindigkeit: <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/rln_kZbYaWc\">fuzzy logic<\/a><\/noindex>, Algorithmen <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/MIPkK5ZAsms\">des Boostings<\/a><\/noindex>, ungenaue (approximierte) Berechnungen, Quantisierung (wenn die Gewichte des neuronalen Netzes in ganze Zahlen umgewandelt und quantisiert werden), Neuro-Beschleuniger.<\/li>\n<li>\u00dcbersetzung <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/e-WB4lfg30M\">von Bildern in Text<\/a><\/noindex> und <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/rAbhypxs1qQ\">von Text in Bilder<\/a><\/noindex>.<\/li>\n<li>Erstellen <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/OrHLacCDZVQ\">dreidimensionaler Objekte aus Videos<\/a><\/noindex>, jetzt bereits in Echtzeit.<\/li>\n<li>Das Wichtigste bei DL \u2013 das sind viele Daten, aber sie zu sammeln und zu kennzeichnen ist nicht einfach. Daher entwickelt sich die Automatisierung der Annotation (<noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/NcKTn4C91Yc\">automated annotation<\/a><\/noindex>) f\u00fcr neuronale Netze mithilfe von neuronalen Netzen.<\/li>\n<\/ul>\n<\/li>\n<li>Mit neuronalen Netzen wurde die Informatik pl\u00f6tzlich zu <strong>einer experimentellen Wissenschaft<\/strong> und es entstand <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/480348\">eine Reproduzierbarkeitskrise<\/a><\/noindex>.<\/li>\n<li>IT-Gelder und die Beliebtheit von neuronalen Netzen entstanden gleichzeitig, als Berechnungen zu einem Marktwert wurden. Die Wirtschaft wird von einer goldw\u00e4hrungsbasierten zu einer <strong>golden-w\u00e4hrungs-berechnenden<\/strong>. Siehe meinen Artikel \u00fcber <noindex><a rel=\"nofollow\" href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%AD%D0%BA%D0%BE%D0%BD%D0%BE%D1%84%D0%B8%D0%B7%D0%B8%D0%BA%D0%B0\">\u00d6konomie Physik<\/a><\/noindex> und den Grund f\u00fcr das Entstehen von IT-Geldern.<\/li>\n<\/ul>\n<p><\/p>\n<p>Allm\u00e4hlich entsteht eine neue <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/481844\">Programmierungsmethodologie f\u00fcr ML\/DL<\/a><\/noindex> (Machine Learning &amp; Deep Learning), die darauf basiert, das Programm als eine Ansammlung von gelernten Modellen neuronaler Netze zu betrachten.<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Neuro-Netze. Wohin bewegt sich das alles?\" src=\"\/wp-content\/uploads\/2020\/01\/17df76a613191522145abeba177c2685.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Abbildung 3 \u2013 ML\/DL als neue Programmierungsmethodologie<\/p>\n<p><\/p>\n<p>Es gibt jedoch nach wie vor keine <strong>\u201eTheorie der neuronalen Netze\u201c<\/strong>, innerhalb derer man systematisch denken und arbeiten kann. Was heute als \u201eTheorie\u201c bezeichnet wird, sind tats\u00e4chlich experimentelle, heuristische Algorithmen.<\/p>\n<p><\/p>\n<p>Links zu meinen und anderen Ressourcen:<\/p>\n<p><\/p>\n<ul>\n<li>Newsletter zu Data Science. Haupts\u00e4chlich zur Bildverarbeitung. Wer erhalten m\u00f6chte, kann eine E-Mail schicken (foobar167&lt;gaff-gaff&gt;gmail&lt;punkt&gt;com). Links zu Artikeln und Videos sende ich nach Ansammlung des Materials.<\/li>\n<li>Allgemeine <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/articles\/blob\/master\/Machine_Learning\/courses_on_machine_learning.md\">Liste der Kurse und Artikel<\/a><\/noindex>, die ich absolviert habe und die ich gerne absolvieren m\u00f6chte.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/articles\/blob\/master\/Ubuntu\/13_Keras_and_TensorFlow_how-tos.md#exercises\">Kurse und Videos f\u00fcr Anf\u00e4nger<\/a><\/noindex>, mit denen man beginnen sollte, neuronale Netze zu lernen. Zus\u00e4tzlich die Brosch\u00fcre <noindex><a rel=\"nofollow\" href=\"https:\/\/foobar167.github.io\/page\/vvedeniye-v-mashinnoye-obucheniye-i-iskusstvennyye-neyronnyye-seti.html\">\u201eEinf\u00fchrung in maschinelles Lernen und k\u00fcnstliche neuronale Netze\u201c<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/articles\/blob\/master\/Ubuntu\/13_Keras_and_TensorFlow_how-tos.md#tools\">N\u00fctzliche Werkzeuge<\/a><\/noindex>, wo jeder etwas Interessantes f\u00fcr sich findet.<\/li>\n<li>\u00c4u\u00dferst n\u00fctzlich waren <strong>Video-Kan\u00e4le zur Analyse wissenschaftlicher Artikel<\/strong> im Bereich Data Science. Finden Sie sie, abonnieren Sie und teilen Sie die Links mit Ihren Kollegen und mir auch. Beispiele:\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/user\/keeroyz\">Two Minute Papers<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/channel\/UCHB9VepY6kYvZjj0Bgxnpbw\">Henry AI Labs<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/channel\/UCZHmQk67mSJgfCCTn7xBfew\">Yannic Kilcher<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/channel\/UC5_6ZD6s8klmMu9TXEB_1IA\">CodeEmporium<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.dlology.com\">Blog von Chengwei Zhang<\/a><\/noindex> alias <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/Tony607\">Tony607<\/a><\/noindex> mit Schritt-f\u00fcr-Schritt-Anleitungen und offenem Quellcode.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p><\/p>\n<p>Vielen Dank f\u00fcr Ihre Aufmerksamkeit!<\/p>\n<p>Quelle: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/482794\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b. \u0421\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0432\u0438\u0434\u0435\u043e \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u044f \u0438 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435. \u0412\u0442\u043e\u0440\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u043e\u0441\u043e\u0437\u043d\u0430\u0442\u044c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439. \u0418 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439 \u043d\u0430 \u0438\u0445 \u043e\u0441\u043d\u043e\u0432\u0435. \u0420\u0438\u0441\u0443\u043d\u043e\u043a 1 \u2013 \u041f\u043e\u043d\u0438\u043c\u0430\u0442\u044c [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-54780","post","type-post","status-publish","format-standard","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.1.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/de\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.1.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"de_DE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u041a\u0443\u0434\u0430 \u044d\u0442\u043e \u0432\u0441\u0435 \u0434\u0432\u0438\u0436\u0435\u0442\u0441\u044f | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/de\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-01-03T21:00:00+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-02-18T11:02:50+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Neuronale Netze. Wohin bewegt sich das alles | ProHoster","description":"Der Artikel besteht aus zwei Teilen: Eine kurze Beschreibung einiger Architekturen von Netzwerken zur Objekterkennung in Bildern und zur Segmentierung von Bildern mit den f\u00fcr mich verst\u00e4ndlichsten Links zu Ressourcen.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u041a\u0443\u0434\u0430 \u044d\u0442\u043e \u0432\u0441\u0435 \u0434\u0432\u0438\u0436\u0435\u0442\u0441\u044f | ProHoster","og:description":"\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.","og:url":"https:\/\/prohoster.info\/de\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-01-03T21:00:00+00:00","article:modified_time":"2020-02-18T11:02:50+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"54780","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 12:43:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:57:38","updated":"2026-01-24 12:43:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/54780","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=54780"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/54780\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=54780"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=54780"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=54780"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}