{"id":30936,"date":"2019-10-31T21:38:20","date_gmt":"2019-10-31T18:38:20","guid":{"rendered":"https:\/\/prohoster.info\/blog\/mashinnoe-obuchenie-bez-python-anaconda-i-prochih-presmykayushhihsya\/"},"modified":"2019-10-31T21:38:20","modified_gmt":"2019-10-31T18:38:20","slug":"mashinnoe-obuchenie-bez-python-anaconda-i-prochih-presmykayushhihsya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/news\/mashinnoe-obuchenie-bez-python-anaconda-i-prochih-presmykayushhihsya","title":{"rendered":"Aprendizado de m\u00e1quina sem Python, Anaconda e outras \"criaturas rastejantes\"","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Claro, n\u00e3o estou falando s\u00e9rio. Deve haver um limite para o quanto podemos simplificar o assunto. Mas, para as primeiras etapas, entender os conceitos b\u00e1sicos e uma r\u00e1pida \"imers\u00e3o\" no tema, talvez isso seja aceit\u00e1vel. E quanto ao nome apropriado para este material (op\u00e7\u00f5es: \"Aprendizado de M\u00e1quina para Iniciantes\", \"An\u00e1lise de Dados do Zero\", \"Algoritmos para os Pequenos\"), discutiremos no final. <\/p>\n

Vamos ao que interessa. Escrevi alguns programas pr\u00e1ticos no MS Excel para visualiza\u00e7\u00e3o e apresenta\u00e7\u00e3o clara dos processos envolvidos em diferentes m\u00e9todos de aprendizado de m\u00e1quina durante a an\u00e1lise de dados. Ver para crer, afinal, como dizem os nativos da cultura que desenvolveu a maioria desses m\u00e9todos (ali\u00e1s, nem todos. O poderoso \"m\u00e9todo de vetores de suporte\", ou SVM, \u00e9 cria\u00e7\u00e3o de nosso conterr\u00e2neo Vladimir Vapnik, do Instituto de Administra\u00e7\u00e3o de Moscou. 1963, por sinal! Agora, ele, na verdade, ensina e trabalha nos EUA).<\/p>\n

Tr\u00eas arquivos para visualiza\u00e7\u00e3o
\n<\/a><\/noindex><\/p>\n

1. Agrupamento pelo m\u00e9todo k-m\u00e9dias<\/h2>\n

\nEsse tipo de tarefa pertence ao \"aprendizado n\u00e3o supervisionado\", quando precisamos dividir os dados de entrada em um n\u00famero conhecido de categorias, mas n\u00e3o temos um conjunto de \"respostas corretas\"; essas devem ser extra\u00eddas dos pr\u00f3prios dados. A cl\u00e1ssica tarefa fundamental de encontrar subtipos de flores de \u00edris (Ronald Fisher, 1936!), que \u00e9 considerada a primeira ocorr\u00eancia nesta \u00e1rea de conhecimento, \u00e9 exatamente dessa natureza.<\/p>\n

O m\u00e9todo \u00e9 bastante simples. Temos um conjunto de objetos representados como vetores (conjuntos de N n\u00fameros). No caso das \u00edris, s\u00e3o conjuntos de 4 n\u00fameros que caracterizam a flor: comprimento e largura da parte externa e interna da pe\u00e7a do c\u00e1lice, respectivamente (Iris de Fisher \u2013 Wikip\u00e9dia<\/a><\/noindex>). Como medida de dist\u00e2ncia ou proximidade entre os objetos, \u00e9 utilizada a m\u00e9trica euclidiana comum.<\/p>\n

Em seguida, de maneira arbitr\u00e1ria (ou n\u00e3o, veja mais adiante), os centros dos cl\u00fasteres s\u00e3o escolhidos, e as dist\u00e2ncias de cada objeto at\u00e9 os centros dos cl\u00fasteres s\u00e3o calculadas. Cada objeto nesta etapa da itera\u00e7\u00e3o \u00e9 marcado como pertencente ao centro mais pr\u00f3ximo. O centro de cada cl\u00faster \u00e9 ent\u00e3o movido para a m\u00e9dia aritm\u00e9tica das coordenadas de seus membros (em f\u00edsica, isso tamb\u00e9m \u00e9 chamado de \"centro de massa\"), e o procedimento \u00e9 repetido.<\/p>\n

O processo converge rapidamente. Nas imagens em duas dimens\u00f5es, isso se parece com isto:<\/p>\n

1. Distribui\u00e7\u00e3o inicial aleat\u00f3ria de pontos no plano e n\u00famero de clusters.<\/p>\n

\"Aprendizado
\n
\n2. Defini\u00e7\u00e3o dos centros dos clusters e atribui\u00e7\u00e3o de pontos aos seus respectivos clusters.<\/p>\n

\"Aprendizado
\n
\n3. Transfer\u00eancia das coordenadas dos centros dos clusters, recalculando a perten\u00e7a dos pontos, at\u00e9 que os centros se estabilizem. A trajet\u00f3ria de movimento do centro do cluster at\u00e9 a posi\u00e7\u00e3o final \u00e9 vis\u00edvel.<\/p>\n

\"Aprendizado
\n
\nA qualquer momento, \u00e9 poss\u00edvel definir novos centros de clusters (sem gerar uma nova distribui\u00e7\u00e3o de pontos!) e observar que o processo de particionamento nem sempre \u00e9 un\u00edvoco. Matematicamente, isso significa que na fun\u00e7\u00e3o que estamos otimizando (a soma dos quadrados das dist\u00e2ncias dos pontos aos centros de seus clusters), encontramos um m\u00ednimo local, n\u00e3o global. Para superar esse problema, pode-se optar por uma escolha n\u00e3o aleat\u00f3ria dos centros iniciais dos clusters ou testar poss\u00edveis centros (\u00e0s vezes, \u00e9 vantajoso coloc\u00e1-los exatamente em um dos pontos, assim existe a garantia de que n\u00e3o teremos clusters vazios). De qualquer forma, um conjunto finito sempre tem um limite inferior exato. <\/p>\n

Voc\u00ea pode brincar com este arquivo atrav\u00e9s deste link.<\/a><\/noindex> (n\u00e3o se esque\u00e7a de ativar o suporte a macros. Os arquivos foram verificados quanto a v\u00edrus.)<\/p>\n

Descri\u00e7\u00e3o do m\u00e9todo na Wikip\u00e9dia \u2014 M\u00e9todo k-means<\/a><\/noindex><\/p>\n

2. Aproxima\u00e7\u00e3o por polin\u00f4mios e parti\u00e7\u00e3o de dados. Overfitting.<\/h2>\n

\nO renomado cientista e divulgador da ci\u00eancia de dados K.V. Vorontsov fala brevemente sobre m\u00e9todos de aprendizado de m\u00e1quina como \"a ci\u00eancia de ajustar curvas a pontos\". Neste exemplo, vamos encontrar padr\u00f5es nos dados usando o m\u00e9todo dos m\u00ednimos quadrados. <\/p>\n

\u00c9 demonstrada a t\u00e9cnica de dividir os dados originais em conjuntos de 'treinamento' e 'teste', bem como um fen\u00f4meno chamado overfitting, ou 'ajuste excessivo' aos dados. Com uma aproxima\u00e7\u00e3o correta, teremos um certo erro nos dados de treinamento e um erro maior nos dados de teste. Com uma aproxima\u00e7\u00e3o incorreta, haver\u00e1 um ajuste exato aos dados de treinamento e um erro colossal nos dados de teste.<\/p>\n

(\u00c9 um fato conhecido que \u00e9 poss\u00edvel ajustar uma \u00fanica curva de grau N-1 passando por N pontos, e esse m\u00e9todo, em geral, n\u00e3o fornece o resultado desejado. Polin\u00f4mio interpolador de Lagrange na Wikip\u00e9dia<\/a><\/noindex>)<\/p>\n

1. Definimos a distribui\u00e7\u00e3o inicial.<\/p>\n

\"Aprendizado
\n
\n2. Dividimos os pontos em conjuntos de 'treinamento' e 'teste' na propor\u00e7\u00e3o de 70 para 30.<\/p>\n

\"Aprendizado
\n
\n3. Realizamos uma curva de aproxima\u00e7\u00e3o aos pontos de treino, observamos o erro que ela gera nos dados de teste.<\/p>\n

\"Aprendizado
\n
\n4. Realizamos uma curva precisa atrav\u00e9s dos pontos de treino e vemos um erro monstruoso nos dados de teste (e zero nos dados de treino, mas de que adianta?).<\/p>\n

\"Aprendizado
\n
\nAqui \u00e9 apresentado, claro, o caso mais simples com a \u00fanica divis\u00e3o em subconjuntos de 'treino' e 'teste', no caso geral isso \u00e9 feito v\u00e1rias vezes para melhor ajuste dos coeficientes.<\/p>\n

O arquivo est\u00e1 dispon\u00edvel aqui, verificado por antiv\u00edrus.<\/a><\/noindex> Ative os macros para um funcionamento correto.<\/p>\n

3. Descenso do gradiente e din\u00e2mica da mudan\u00e7a de erro.<\/h2>\n

\nAqui teremos o caso 4-dimensional e regress\u00e3o linear. Os coeficientes da regress\u00e3o linear ser\u00e3o determinados em etapas pelo m\u00e9todo de descendo do gradiente, inicialmente todos os coeficientes s\u00e3o zero. Em um gr\u00e1fico separado pode-se ver a din\u00e2mica da redu\u00e7\u00e3o do erro \u00e0 medida que os coeficientes s\u00e3o ajustados de forma mais precisa. Existe a possibilidade de visualizar todas as quatro proje\u00e7\u00f5es 2-dimensionais.<\/p>\n

Se um passo de descendo do gradiente muito grande for definido, \u00e9 vis\u00edvel que, a cada vez, estaremos passando o m\u00ednimo e chegaremos ao resultado ap\u00f3s um maior n\u00famero de etapas, embora, no final, ainda cheguemos (a menos que o passo do descendo seja muito elevado \u2014 ent\u00e3o o algoritmo 'sair\u00e1 do controle'). E o gr\u00e1fico da depend\u00eancia do erro em rela\u00e7\u00e3o ao passo da itera\u00e7\u00e3o n\u00e3o ser\u00e1 suave, mas 'irregular'.<\/p>\n

1. Geramos dados, definimos o passo do descendo do gradiente.<\/p>\n

\"Aprendizado
\n
\n2. Com a escolha correta do passo do descendo do gradiente, chegamos ao m\u00ednimo de forma suave e r\u00e1pida.<\/p>\n

\"Aprendizado
\n
\n3. Com a escolha errada do passo do descendo do gradiente, passamos do m\u00e1ximo, o gr\u00e1fico do erro \u00e9 'irregular', e a converg\u00eancia leva mais passos.<\/p>\n

\"Aprendizado
\ne<\/p>\n

\"Aprendizado
\n
\n4. Com a escolha completamente errada do passo do descendo do gradiente, afastamo-nos do m\u00ednimo.<\/p>\n

\"Aprendizado
\n
\n(Para reproduzir o processo com os valores do passo do descendo do gradiente mostrados nas imagens, marque a op\u00e7\u00e3o 'dados de refer\u00eancia').<\/p>\n

O arquivo \u2013 neste link, \u00e9 necess\u00e1rio ativar os macros, n\u00e3o h\u00e1 v\u00edrus.<\/a><\/noindex><\/p>\n

Como acredita a respeit\u00e1vel comunidade, \u00e9 permitido tal simplifica\u00e7\u00e3o e m\u00e9todo de apresenta\u00e7\u00e3o do material? Vale a pena traduzir o artigo para o ingl\u00eas? <\/b>
\n
Fonte: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041d\u0435\u0442, \u043d\u0443 \u044f, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043d\u0435 \u0432\u0441\u0435\u0440\u044c\u0435\u0437. \u0414\u043e\u043b\u0436\u0435\u043d \u0436\u0435 \u0431\u044b\u0442\u044c \u043f\u0440\u0435\u0434\u0435\u043b, \u0434\u043e \u043a\u0430\u043a\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0443\u043f\u0440\u043e\u0449\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u043c\u0435\u0442. \u041d\u043e \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u044b\u0445 \u044d\u0442\u0430\u043f\u043e\u0432, \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0439 \u0438 \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u00ab\u0432\u044a\u0435\u0437\u0436\u0430\u043d\u0438\u044f\u00bb \u0432 \u0442\u0435\u043c\u0443, \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c, \u0438 \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e. \u0410 \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u043e\u0438\u043c\u0435\u043d\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b (\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b: \u00ab\u041c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0447\u0430\u0439\u043d\u0438\u043a\u043e\u0432\u00bb, \u00ab\u0410\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u0435\u043b\u0435\u043d\u043e\u043a\u00bb, \u00ab\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0434\u043b\u044f \u0441\u0430\u043c\u044b\u0445 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445\u00bb), \u043e\u0431\u0441\u0443\u0434\u0438\u043c \u0432 \u043a\u043e\u043d\u0446\u0435. \u041a […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":22912,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-30936","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Aprendizado de m\u00e1quina sem Python, Anaconda e outros r\u00e9pteis | ProHoster","description":"N\u00e3o, bem, claro que n\u00e3o falo s\u00e9rio. Deve haver um limite para qu\u00e3o longe podemos simplificar o assunto. Mas para os primeiros est\u00e1gios, para entender os conceitos b\u00e1sicos e uma r\u00e1pida 'integra\u00e7\u00e3o' no tema, talvez seja aceit\u00e1vel.","canonical_url":"https:\/\/prohoster.info\/pt\/blog\/news\/mashinnoe-obuchenie-bez-python-anaconda-i-prochih-presmykayushhihsya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pt_PT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0431\u0435\u0437 Python, Anaconda \u0438 \u043f\u0440\u043e\u0447\u0438\u0445 \u043f\u0440\u0435\u0441\u043c\u044b\u043a\u0430\u044e\u0449\u0438\u0445\u0441\u044f | ProHoster","og:description":"\u041d\u0435\u0442, \u043d\u0443 \u044f, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043d\u0435 \u0432\u0441\u0435\u0440\u044c\u0435\u0437. \u0414\u043e\u043b\u0436\u0435\u043d \u0436\u0435 \u0431\u044b\u0442\u044c \u043f\u0440\u0435\u0434\u0435\u043b, \u0434\u043e \u043a\u0430\u043a\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0443\u043f\u0440\u043e\u0449\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u043c\u0435\u0442. \u041d\u043e \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u044b\u0445 \u044d\u0442\u0430\u043f\u043e\u0432, \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0439 \u0438 \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u00ab\u0432\u044a\u0435\u0437\u0436\u0430\u043d\u0438\u044f\u00bb \u0432 \u0442\u0435\u043c\u0443, \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c, \u0438 \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e.","og:url":"https:\/\/prohoster.info\/pt\/blog\/news\/mashinnoe-obuchenie-bez-python-anaconda-i-prochih-presmykayushhihsya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:38:20+00:00","article:modified_time":"2019-10-31T18:38:20+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"30936","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 03:45:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 03:27:05","updated":"2026-01-21 03:45:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts\/30936","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/comments?post=30936"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts\/30936\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/media\/22912"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/media?parent=30936"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/categories?post=30936"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/tags?post=30936"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}