{"id":54780,"date":"2020-01-04T00:00:00","date_gmt":"2020-01-03T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/nejroseti-kuda-eto-vse-dvizhetsya"},"modified":"2020-02-18T14:02:50","modified_gmt":"2020-02-18T11:02:50","slug":"nejroseti-kuda-eto-vse-dvizhetsya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya","title":{"rendered":"Redes Neurais. Para onde tudo isso est\u00e1 indo","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>O artigo consiste em duas partes:<\/p>\n<p><\/p>\n<ol>\n<li>Uma breve descri\u00e7\u00e3o de algumas arquiteturas de redes para detec\u00e7\u00e3o de objetos em imagens e segmenta\u00e7\u00e3o de imagens, com refer\u00eancias mais compreens\u00edveis para mim. Procurei selecionar v\u00eddeos explicativos, preferencialmente em russo.<\/li>\n<li>A segunda parte consiste em uma tentativa de compreender a dire\u00e7\u00e3o do desenvolvimento das arquiteturas de redes neurais. E as tecnologias com base nelas.<\/li>\n<\/ol>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Redes Neurais. Para onde tudo isso est\u00e1 indo\" src=\"\/wp-content\/uploads\/2020\/01\/3e0238547dc956dbb069c11241e4534f.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Figura 1 - Compreender as arquiteturas de redes neurais n\u00e3o \u00e9 f\u00e1cil.<\/p>\n<p><\/p>\n<p>Tudo come\u00e7ou quando desenvolvi dois aplicativos demonstrativos para classifica\u00e7\u00e3o e detec\u00e7\u00e3o de objetos em um telefone Android:<\/p>\n<p><\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/junkyard\/tree\/master\/object_classifier\">Demo de back-end<\/a><\/noindex>, onde os dados s\u00e3o processados no servidor e transmitidos para o telefone. Classifica\u00e7\u00e3o de imagens (image classification) de tr\u00eas tipos de ursos: pardo, negro e de pel\u00facia.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/android\/tree\/master\/object_detection_demo\">Demo de front-end<\/a><\/noindex>, onde os dados s\u00e3o processados no pr\u00f3prio telefone. Detec\u00e7\u00e3o de objetos (object detection) de tr\u00eas tipos: avel\u00e3, figo e t\u00e2mara.<\/li>\n<\/ul>\n<p><noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>H\u00e1 uma diferen\u00e7a entre as tarefas de classifica\u00e7\u00e3o de imagens, detec\u00e7\u00e3o de objetos em imagens e <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/analytics-vidhya\/image-classification-vs-object-detection-vs-image-segmentation-f36db85fe81\">segmenta\u00e7\u00e3o de imagens<\/a><\/noindex>. Portanto, surgiu a necessidade de saber quais arquiteturas de redes neurais detectam objetos em imagens e quais podem segmentar. Encontrei os seguintes exemplos de arquiteturas com refer\u00eancias mais compreens\u00edveis para mim:<\/p>\n<p><\/p>\n<ul>\n<li>S\u00e9rie de arquiteturas baseadas em R-CNN (<strong>R<\/strong>egions with <strong>C<\/strong>onvolution <strong>N<\/strong>eural <strong>N<\/strong>etworks features): R-CNN, Fast R-CNN, <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/@smallfishbigsea\/faster-r-cnn-explained-864d4fb7e3f8\">Faster R-CNN<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/0vt05rQqk_I\">Mask R-CNN<\/a><\/noindex>. Para a detec\u00e7\u00e3o de objetos em uma imagem, o mecanismo Region Proposal Network (RPN) destaca regi\u00f5es delimitadas (bounding boxes). Inicialmente, em vez do RPN, utilizava-se um mecanismo mais lento chamado Selective Search. Depois, as regi\u00f5es delimitadas destacadas s\u00e3o fornecidas \u00e0 rede neural comum para classifica\u00e7\u00e3o. Na arquitetura R-CNN, h\u00e1 ciclos expl\u00edcitos \"for\" percorrendo as regi\u00f5es delimitadas, totalizando at\u00e9 2000 passagens pela rede interna AlexNet. Devido aos ciclos expl\u00edcitos \"for\", a velocidade de processamento de imagens \u00e9 reduzida. O n\u00famero de ciclos expl\u00edcitos, de passagens pela rede neural interna, diminui a cada nova vers\u00e3o da arquitetura, al\u00e9m de serem realizadas dezenas de outras altera\u00e7\u00f5es para aumentar a velocidade e para substituir a tarefa de detec\u00e7\u00e3o de objetos pela segmenta\u00e7\u00e3o de objetos no Mask R-CNN.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/L0tzmv--CGY\">YOLO<\/a><\/noindex> (<strong>Y<\/strong>ou <strong>O<\/strong>nly <strong>L<\/strong>ook <strong>O<\/strong>nce) \u2013 a primeira rede neural que reconheceu objetos em tempo real em dispositivos m\u00f3veis. A caracter\u00edstica distintiva: a distin\u00e7\u00e3o de objetos em uma \u00fanica execu\u00e7\u00e3o (bastando olhar uma vez). Ou seja, na arquitetura YOLO n\u00e3o h\u00e1 ciclos expl\u00edcitos de 'for', o que torna a rede r\u00e1pida. Por exemplo, uma analogia: no NumPy, ao trabalhar com matrizes, tamb\u00e9m n\u00e3o existem ciclos 'for' expl\u00edcitos, que s\u00e3o implementados a n\u00edveis mais baixos da arquitetura atrav\u00e9s da linguagem de programa\u00e7\u00e3o C. O YOLO utiliza uma grade de janelas predefinidas. Para que o mesmo objeto n\u00e3o seja identificado repetidamente, \u00e9 utilizado o coeficiente de sobreposi\u00e7\u00e3o de janelas (IoU, <strong>I<\/strong>interse\u00e7\u00e3o <strong>o<\/strong>superior <strong>U<\/strong>uni\u00e3o). Essa arquitetura opera em uma ampla faixa e possui alta <noindex><a rel=\"nofollow\" href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%A0%D0%BE%D0%B1%D0%B0%D1%81%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C\">robustez<\/a><\/noindex>: o modelo pode ser treinado em fotografias, mas ainda assim funciona bem em pinturas desenhadas.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/P8e-G-Mhx4k\">SSD<\/a><\/noindex> (<strong>S<\/strong>single <strong>S<\/strong>shot MultiBox <strong>D<\/strong>detector) \u2013 s\u00e3o usadas as 'hacks' mais eficazes da arquitetura YOLO (por exemplo, supress\u00e3o de n\u00e3o-m\u00e1ximos) e novas s\u00e3o adicionadas para que a rede neural funcione de forma mais r\u00e1pida e precisa. A caracter\u00edstica distintiva: a distin\u00e7\u00e3o de objetos em uma \u00fanica execu\u00e7\u00e3o usando uma grade de janelas (default box) em uma pir\u00e2mide de imagens. A pir\u00e2mide de imagens \u00e9 codificada em tensores convolucionais durante opera\u00e7\u00f5es sequenciais de convolu\u00e7\u00e3o e agrupamento (na opera\u00e7\u00e3o de max-pooling, a dimens\u00e3o espacial diminui). Assim, tanto objetos grandes quanto pequenos s\u00e3o determinados em uma \u00fanica execu\u00e7\u00e3o da rede.<\/li>\n<li>MobileSSD (<strong>Mobile<\/strong>NetV2 + <strong>SSD<\/strong>) \u2013 uma combina\u00e7\u00e3o de duas arquiteturas de redes neurais. A primeira rede <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/352804\/\">MobileNetV2<\/a><\/noindex> opera rapidamente e aumenta a precis\u00e3o do reconhecimento. O MobileNetV2 \u00e9 usado em vez do VGG-16, que foi inicialmente utilizado em <noindex><a rel=\"nofollow\" href=\"https:\/\/arxiv.org\/abs\/1512.02325\">artigo original<\/a><\/noindex>. A segunda rede SSD determina a localiza\u00e7\u00e3o dos objetos na imagem.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/ge_RT5wvHvY\">SqueezeNet<\/a><\/noindex> \u2013 uma rede neural muito pequena, mas precisa. Sozinha, n\u00e3o resolve a tarefa de detec\u00e7\u00e3o de objetos. No entanto, pode ser usada em combina\u00e7\u00e3o com v\u00e1rias arquiteturas. E utilizada em dispositivos m\u00f3veis. A caracter\u00edstica distintiva \u00e9 que inicialmente os dados s\u00e3o comprimidos para quatro filtros convolucionais 1\u00d71, e depois expandidos para quatro filtros 1\u00d71 e quatro filtros 3\u00d73. Uma itera\u00e7\u00e3o de compress\u00e3o-expans\u00e3o de dados \u00e9 chamada de 'Fire Module'.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/b6jhopSMit8\">DeepLab<\/a><\/noindex> (Segmenta\u00e7\u00e3o de Imagem Sem\u00e2ntica com Redes Neurais Convolucionais Profundas) \u2013 segmenta\u00e7\u00e3o de objetos em uma imagem. A principal caracter\u00edstica da arquitetura \u00e9 a convolu\u00e7\u00e3o esparsa (dilated convolution), que preserva a resolu\u00e7\u00e3o espacial. Em seguida, ocorre uma etapa de p\u00f3s-processamento dos resultados utilizando um modelo probabil\u00edstico gr\u00e1fico (conditional random field), o que permite remover pequenos ru\u00eddos na segmenta\u00e7\u00e3o e melhorar a qualidade da imagem segmentada. Por tr\u00e1s do assustador nome 'modelo probabil\u00edstico gr\u00e1fico' esconde-se um simples filtro Gaussiano, que \u00e9 aproximado por cinco pontos.<\/li>\n<li>Tentei entender o funcionamento <noindex><a rel=\"nofollow\" href=\"https:\/\/arxiv.org\/abs\/1711.06897\">RefineDet<\/a><\/noindex> (Single-Shot <strong>Refine<\/strong>ment Neural Network for Object <strong>Det<\/strong>ec\u00e7\u00e3o), mas pouco consegui compreender.<\/li>\n<li>Tamb\u00e9m vi como funciona a tecnologia 'aten\u00e7\u00e3o' (attention): <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/W2rWgXJBZhU\">v\u00eddeo1<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/iDulhoQ2pro\">v\u00eddeo2<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/H6Qiegq_36c\">v\u00eddeo3<\/a><\/noindex>. A caracter\u00edstica distintiva da arquitetura 'aten\u00e7\u00e3o' \u00e9 a identifica\u00e7\u00e3o autom\u00e1tica de regi\u00f5es de maior aten\u00e7\u00e3o na imagem (RoI, <strong>R<\/strong>egions <strong>o<\/strong>f <strong>I<\/strong>nterest) por meio de uma rede neural chamada Unidade de Aten\u00e7\u00e3o. As regi\u00f5es de maior aten\u00e7\u00e3o se assemelham a caixas delimitadoras (bounding boxes), mas ao contr\u00e1rio destas, n\u00e3o est\u00e3o fixas na imagem e podem ter bordas borradas. A partir das regi\u00f5es de maior aten\u00e7\u00e3o, s\u00e3o extra\u00eddos caracter\u00edsticas (features), que s\u00e3o 'alimentadas' a redes neurais recorrentes com arquiteturas <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/5lUUrREboSk\">LSDM, GRU ou Vanilla RNN<\/a><\/noindex>. Redes neurais recorrentes conseguem analisar as inter-rela\u00e7\u00f5es das caracter\u00edsticas em uma sequ\u00eancia. Originalmente, redes neurais recorrentes eram aplicadas para tradu\u00e7\u00f5es de texto para outros idiomas, e agora tamb\u00e9m para a tradu\u00e7\u00e3o <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/e-WB4lfg30M\">de imagem para texto<\/a><\/noindex> e <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/rAbhypxs1qQ\">de texto para imagem<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><\/p>\n<p>Conforme fui estudando essas arquiteturas <strong>compreendi que n\u00e3o entendia nada<\/strong>. E n\u00e3o \u00e9 que minha rede neural tenha problemas com o mecanismo de aten\u00e7\u00e3o. A cria\u00e7\u00e3o de todas essas arquiteturas parece um enorme hackathon, onde os autores competem em hacks. Hack \u2013 uma solu\u00e7\u00e3o r\u00e1pida para um problema de programa\u00e7\u00e3o complicado. Ou seja, n\u00e3o h\u00e1 uma conex\u00e3o l\u00f3gica vis\u00edvel e compreens\u00edvel entre todas essas arquiteturas. Tudo o que as une \u00e9 um conjunto dos hacks mais bem-sucedidos que eles tomam uns dos outros, al\u00e9m da opera\u00e7\u00e3o comum a todas <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/Ilg3gGewQ5U\">de convolu\u00e7\u00e3o com retroalimenta\u00e7\u00e3o<\/a><\/noindex> (retropropaga\u00e7\u00e3o do erro, backpropagation). N\u00e3o h\u00e1 <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/272473\/\">pensamento sist\u00eamico<\/a><\/noindex>! N\u00e3o est\u00e1 claro o que mudar e como otimizar os progressos existentes.<\/p>\n<p><\/p>\n<p>Como resultado da falta de conex\u00e3o l\u00f3gica entre os hacks, \u00e9 extremamente dif\u00edcil lembr\u00e1-los e aplic\u00e1-los na pr\u00e1tica. Trata-se de um conhecimento fragmentado. No melhor dos casos, algumas informa\u00e7\u00f5es interessantes e inesperadas s\u00e3o memorizadas, mas a maior parte do que foi compreendido e n\u00e3o compreendido desaparece da mem\u00f3ria em poucos dias. Ser\u00e1 positivo se, ap\u00f3s uma semana, ao menos o nome da arquitetura for lembrado. E olhe que foram gastos algumas horas e at\u00e9 dias de trabalho na leitura de artigos e na visualiza\u00e7\u00e3o de v\u00eddeos resumidos!<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Redes Neurais. Para onde tudo isso est\u00e1 indo\" src=\"\/wp-content\/uploads\/2020\/01\/86f0f24e3be1d0f1a210f3132897d981.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Figura 2 \u2013 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.asimovinstitute.org\/neural-network-zoo\/\">Zool\u00f3gico de redes neurais<\/a><\/noindex><\/p>\n<p><\/p>\n<p>Na minha opini\u00e3o pessoal, a maioria dos autores de artigos cient\u00edficos faz o poss\u00edvel para que at\u00e9 mesmo esses conhecimentos fragmentados n\u00e3o sejam compreendidos pelo leitor. Mas as constru\u00e7\u00f5es com ger\u00fandios em frases de dez linhas com f\u00f3rmulas tiradas \"do nada\" \u2013 esse \u00e9 um tema para um artigo \u00e0 parte (problema <noindex><a rel=\"nofollow\" href=\"https:\/\/en.wikipedia.org\/wiki\/Publish_or_perish\">publish or perish<\/a><\/noindex>).<\/p>\n<p><\/p>\n<p>Por essa raz\u00e3o, surgiu a necessidade de sistematizar informa\u00e7\u00f5es sobre redes neurais e, assim, aumentar a qualidade da compreens\u00e3o e memoriza\u00e7\u00e3o. Portanto, o tema principal da an\u00e1lise de tecnologias e arquiteturas espec\u00edficas de redes neurais artificiais foi a seguinte tarefa: <strong>descobrir para onde tudo isso est\u00e1 se dirigindo<\/strong>, e n\u00e3o o funcionamento de uma rede neural espec\u00edfica isoladamente.<\/p>\n<p><\/p>\n<p>Para onde tudo isso est\u00e1 se dirigindo. Principais resultados:<\/p>\n<p><\/p>\n<ul>\n<li>O n\u00famero de startups na \u00e1rea de aprendizado de m\u00e1quina nos \u00faltimos dois anos <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/recognitor\/blog\/455676\/\">caiu drasticamente<\/a><\/noindex>. Poss\u00edvel motivo: \"as redes neurais deixaram de ser algo novo\".<\/li>\n<li>Qualquer um pode criar uma rede neural funcional para resolver uma tarefa simples. Para isso, pode pegar um modelo pronto do \"zool\u00f3gico de modelos\" (model zoo) e treinar a \u00faltima camada da rede neural (<noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/yofjFQddwHE\">transfer learning<\/a><\/noindex>) com dados j\u00e1 prontos de <noindex><a rel=\"nofollow\" href=\"https:\/\/toolbox.google.com\/datasetsearch\">Google Dataset Search<\/a><\/noindex> ou de <noindex><a rel=\"nofollow\" href=\"https:\/\/www.kaggle.com\/datasets\">25 mil conjuntos de dados Kaggle<\/a><\/noindex> no gratuito <noindex><a rel=\"nofollow\" href=\"https:\/\/www.dataschool.io\/cloud-services-for-jupyter-notebook\/\">nuvem Jupyter Notebook<\/a><\/noindex>.<\/li>\n<li>Grandes produtores de redes neurais come\u00e7aram a criar <strong>\"zool\u00f3gicos de modelos\"<\/strong> (model zoo). Com eles, \u00e9 poss\u00edvel rapidamente criar um aplicativo comercial: <noindex><a rel=\"nofollow\" href=\"https:\/\/tfhub.dev\/\">TF Hub<\/a><\/noindex> para TensorFlow, <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/open-mmlab\/mmdetection\">MMDetection<\/a><\/noindex> para PyTorch, <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/facebookresearch\/Detectron\">Detectron<\/a><\/noindex> para Caffe2, <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/wkentaro\/chainer-modelzoo\">chainer-modelzoo<\/a><\/noindex> para Chainer e <noindex><a rel=\"nofollow\" href=\"https:\/\/modelzoo.co\/\">outros<\/a><\/noindex>.<\/li>\n<li>Redes neurais operando em <strong>tempo real<\/strong> para dispositivos m\u00f3veis. De 10 a 50 quadros por segundo.<\/li>\n<li>A aplica\u00e7\u00e3o de redes neurais em telefones (TF Lite), em navegadores (TF.js) e em <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/19ZNz2N79u4\">itens dom\u00e9sticos<\/a><\/noindex> (IoT, <strong>I<\/strong>internet <strong>o<\/strong>f <strong>T<\/strong>das coisas). Especialmente em telefones, que j\u00e1 suportam redes neurais em n\u00edvel \"hardware\" (neuroaceleradores).<\/li>\n<li>\u00abCada dispositivo, roupas e, possivelmente, at\u00e9 mesmo alimentos ter\u00e3o <strong>endere\u00e7o IP-v6<\/strong> e se comunicar\u00e3o entre si\u00bb \u2013 <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/GG7H8Xa4m8I?t=85\">Sebasti\u00e3o Thrun<\/a><\/noindex>.<\/li>\n<li>O aumento das publica\u00e7\u00f5es sobre aprendizado de m\u00e1quina come\u00e7ou <noindex><a rel=\"nofollow\" href=\"http:\/\/data-mining.philippe-fournier-viger.com\/too-many-machine-learning-papers\">a ultrapassar a lei de Moore<\/a><\/noindex> (dobrando a cada dois anos) desde 2015. \u00c9 evidente que precisamos de redes neurais para analisar artigos.<\/li>\n<li>As seguintes tecnologias est\u00e3o ganhando popularidade:\n<ul>\n<li><strong>PyTorch<\/strong> \u2013 a popularidade cresce rapidamente e, aparentemente, est\u00e1 superando o TensorFlow.<\/li>\n<li>Ajuste autom\u00e1tico de hiperpar\u00e2metros <strong>AutoML<\/strong> \u2013 a popularidade cresce de forma gradual.<\/li>\n<li>Diminui\u00e7\u00e3o progressiva da precis\u00e3o e aumento da velocidade de c\u00e1lculos: <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/rln_kZbYaWc\">l\u00f3gica difusa<\/a><\/noindex>, algoritmos <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/MIPkK5ZAsms\">de boosting<\/a><\/noindex>, c\u00e1lculos imprecisos (aproximados), quantiza\u00e7\u00e3o (quando os pesos da rede neural s\u00e3o convertidos em inteiros e quantizados), neuroaceleradores.<\/li>\n<li>Tradu\u00e7\u00e3o <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/e-WB4lfg30M\">de imagem para texto<\/a><\/noindex> e <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/rAbhypxs1qQ\">de texto para imagem<\/a><\/noindex>.<\/li>\n<li>Criar <noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/OrHLacCDZVQ\">objetos tridimensionais em v\u00eddeo<\/a><\/noindex>, agora em tempo real.<\/li>\n<li>O principal em DL \u00e9 que h\u00e1 muitos dados, mas colet\u00e1-los e anot\u00e1-los n\u00e3o \u00e9 f\u00e1cil. Portanto, a automa\u00e7\u00e3o da anota\u00e7\u00e3o est\u00e1 se desenvolvendo (<noindex><a rel=\"nofollow\" href=\"https:\/\/youtu.be\/NcKTn4C91Yc\">automated annotation<\/a><\/noindex>) para redes neurais com a ajuda de redes neurais.<\/li>\n<\/ul>\n<\/li>\n<li>Com as redes neurais, a Ci\u00eancia da Computa\u00e7\u00e3o de repente se tornou <strong>uma ci\u00eancia experimental<\/strong> e surgiu <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/480348\">uma crise de reprodutibilidade<\/a><\/noindex>.<\/li>\n<li>O dinheiro de TI e a popularidade das redes neurais surgiram ao mesmo tempo, quando o poder de computa\u00e7\u00e3o se tornou valioso no mercado. A economia deixa de ser baseada em metais preciosos e se torna <strong>baseada em poder computacional.<\/strong>Veja meu artigo sobre <noindex><a rel=\"nofollow\" href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%AD%D0%BA%D0%BE%D0%BD%D0%BE%D1%84%D0%B8%D0%B7%D0%B8%D0%BA%D0%B0\">econof\u00edsica<\/a><\/noindex> e os motivos para o surgimento do dinheiro de TI.<\/li>\n<\/ul>\n<p><\/p>\n<p>Gradualmente, uma nova <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/481844\">metodologia de programa\u00e7\u00e3o ML\/DL<\/a><\/noindex> (Machine Learning &amp; Deep Learning), que \u00e9 baseada na representa\u00e7\u00e3o do programa como um conjunto de modelos de redes neurais treinadas.<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Redes Neurais. Para onde tudo isso est\u00e1 indo\" src=\"\/wp-content\/uploads\/2020\/01\/17df76a613191522145abeba177c2685.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Figura 3 \u2013 ML\/DL como nova metodologia de programa\u00e7\u00e3o<\/p>\n<p><\/p>\n<p>No entanto, n\u00e3o surgiu uma <strong>\u00abteoria das redes neurais\u00bb<\/strong>, dentro da qual se pode pensar e trabalhar de forma sistem\u00e1tica. O que agora \u00e9 chamado de \u00abteoria\u00bb \u00e9, na verdade, algoritmos experimentais e heur\u00edsticos.<\/p>\n<p><\/p>\n<p>Links para meus e outros recursos:<\/p>\n<p><\/p>\n<ul>\n<li>Newsletter sobre Data Science. Principalmente, sobre processamento de imagens. Quem quiser receber, pode enviar um e-mail (foobar167&lt;\u00e1f\u00e1&gt;gmail&lt;ponto&gt;com). Envio links para artigos e v\u00eddeos \u00e0 medida que o material se acumula.<\/li>\n<li>Lista geral <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/articles\/blob\/master\/Machine_Learning\/courses_on_machine_learning.md\">de cursos e artigos<\/a><\/noindex>, que eu completei e que gostaria de fazer.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/articles\/blob\/master\/Ubuntu\/13_Keras_and_TensorFlow_how-tos.md#exercises\">Cursos e v\u00eddeos para iniciantes<\/a><\/noindex>, com os quais vale a pena come\u00e7ar a estudar redes neurais. Al\u00e9m disso, um folheto <noindex><a rel=\"nofollow\" href=\"https:\/\/foobar167.github.io\/page\/vvedeniye-v-mashinnoye-obucheniye-i-iskusstvennyye-neyronnyye-seti.html\">\u00abIntrodu\u00e7\u00e3o ao aprendizado de m\u00e1quina e redes neurais artificiais\u00bb<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/foobar167\/articles\/blob\/master\/Ubuntu\/13_Keras_and_TensorFlow_how-tos.md#tools\">Ferramentas \u00fateis<\/a><\/noindex>, onde cada um encontrar\u00e1 algo interessante para si.<\/li>\n<li>Foram extremamente \u00fateis <strong>os canais de v\u00eddeo sobre a an\u00e1lise de artigos cient\u00edficos<\/strong> em Data Science. Encontre, inscreva-se nesses canais e compartilhe os links com seus colegas e comigo tamb\u00e9m. Exemplos:\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/user\/keeroyz\">Two Minute Papers<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/channel\/UCHB9VepY6kYvZjj0Bgxnpbw\">Henry AI Labs<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/channel\/UCZHmQk67mSJgfCCTn7xBfew\">Yannic Kilcher<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/channel\/UC5_6ZD6s8klmMu9TXEB_1IA\">CodeEmporium<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.dlology.com\">Blog Chengwei Zhang<\/a><\/noindex> ou <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/Tony607\">Tony607<\/a><\/noindex> com tutoriais passo a passo e c\u00f3digo-fonte aberto.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p><\/p>\n<p>Obrigado pela aten\u00e7\u00e3o!<\/p>\n<p>Fonte: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/482794\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b. \u0421\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0432\u0438\u0434\u0435\u043e \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u044f \u0438 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435. \u0412\u0442\u043e\u0440\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u043e\u0441\u043e\u0437\u043d\u0430\u0442\u044c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439. \u0418 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439 \u043d\u0430 \u0438\u0445 \u043e\u0441\u043d\u043e\u0432\u0435. \u0420\u0438\u0441\u0443\u043d\u043e\u043a 1 \u2013 \u041f\u043e\u043d\u0438\u043c\u0430\u0442\u044c [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-54780","post","type-post","status-publish","format-standard","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/pt\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"pt_PT\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u041a\u0443\u0434\u0430 \u044d\u0442\u043e \u0432\u0441\u0435 \u0434\u0432\u0438\u0436\u0435\u0442\u0441\u044f | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/pt\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-01-03T21:00:00+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-02-18T11:02:50+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Redes Neurais. Para onde tudo isso est\u00e1 indo | ProHoster","description":"O artigo \u00e9 composto por duas partes: Um resumo de algumas arquiteturas de redes para detec\u00e7\u00e3o de objetos em imagens e segmenta\u00e7\u00e3o de imagens com os recursos mais acess\u00edveis para mim.","canonical_url":"https:\/\/prohoster.info\/pt\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pt_PT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u041a\u0443\u0434\u0430 \u044d\u0442\u043e \u0432\u0441\u0435 \u0434\u0432\u0438\u0436\u0435\u0442\u0441\u044f | ProHoster","og:description":"\u0421\u0442\u0430\u0442\u044c\u044f \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u041a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0435\u0439 \u043f\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c\u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b.","og:url":"https:\/\/prohoster.info\/pt\/blog\/news\/nejroseti-kuda-eto-vse-dvizhetsya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-01-03T21:00:00+00:00","article:modified_time":"2020-02-18T11:02:50+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"54780","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 12:43:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:57:38","updated":"2026-01-24 12:43:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts\/54780","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/comments?post=54780"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts\/54780\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/media?parent=54780"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/categories?post=54780"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/tags?post=54780"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}