{"id":37955,"date":"2019-10-31T22:20:47","date_gmt":"2019-10-31T19:20:47","guid":{"rendered":"https:\/\/prohoster.info\/blog\/linejnaya-regressiya-i-metody-eyo-vosstanovleniya\/"},"modified":"2019-10-31T22:20:47","modified_gmt":"2019-10-31T19:20:47","slug":"linejnaya-regressiya-i-metody-eyo-vosstanovleniya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/linejnaya-regressiya-i-metody-eyo-vosstanovleniya","title":{"rendered":"Regresi\u00f3n lineal y sus m\u00e9todos de restauraci\u00f3n","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Regresi\u00f3n
\nFuente: xkcd<\/a><\/noindex><\/i><\/p>\n

La regresi\u00f3n lineal es uno de los algoritmos b\u00e1sicos para muchas \u00e1reas relacionadas con el an\u00e1lisis de datos. La raz\u00f3n es obvia. Es un algoritmo muy simple y comprensible, lo que contribuye a su amplia aplicaci\u00f3n durante muchas d\u00e9cadas, si no cientos de a\u00f1os. La idea es que suponemos una dependencia lineal de una variable respecto a un conjunto de otras variables, y luego intentamos recuperar esa dependencia.<\/p>\n

Pero en este art\u00edculo no se tratar\u00e1 sobre la aplicaci\u00f3n de la regresi\u00f3n lineal para resolver problemas pr\u00e1cticos. Aqu\u00ed se discutir\u00e1n caracter\u00edsticas interesantes de la implementaci\u00f3n de algoritmos distribuidos para su recuperaci\u00f3n, con las que nos encontramos al escribir el m\u00f3dulo de aprendizaje autom\u00e1tico en Apache Ignite<\/a><\/noindex>. Un poco de matem\u00e1ticas b\u00e1sicas, fundamentos de aprendizaje autom\u00e1tico y computaci\u00f3n distribuida ayudar\u00e1n a entender c\u00f3mo recuperar la regresi\u00f3n lineal, incluso si los datos est\u00e1n distribuidos entre miles de nodos.
\n<\/a><\/noindex><\/p>\n

\u00bfDe qu\u00e9 se trata?<\/h3>\n

\nSe nos presenta la tarea de recuperar una dependencia lineal. Como datos de entrada se proporciona un conjunto de vectores de variables presuntamente independientes, a cada uno de los cuales se le asigna un cierto valor de variable dependiente. Estos datos se pueden representar en forma de dos matrices:<\/p>\n

\"Regresi\u00f3n<\/p>\n

\nAhora, dado que se supone una dependencia, y adem\u00e1s lineal, escribamos nuestra suposici\u00f3n en forma de producto de matrices (para simplificar la notaci\u00f3n, de aqu\u00ed en adelante se supone que el t\u00e9rmino independiente de la ecuaci\u00f3n est\u00e1 oculto detr\u00e1s de \"Regresi\u00f3n, y la \u00faltima columna de la matriz \"Regresi\u00f3n contiene unos):<\/p>\n

\"Regresi\u00f3n<\/p>\n

\nSe parece mucho a un sistema de ecuaciones lineales, \u00bfno es as\u00ed? Se parece, pero es probable que no haya soluciones para dicho sistema de ecuaciones. La raz\u00f3n de esto es el ruido que est\u00e1 presente en pr\u00e1cticamente todos los datos reales. Tambi\u00e9n puede ser que no exista una dependencia lineal como tal, con la que se pueda intentar combatir introduciendo variables adicionales que dependan no linealmente de las originales. Consideremos el siguiente ejemplo:
\n\"Regresi\u00f3n
\nFuente: Wikipedia<\/a><\/noindex><\/i><\/p>\n

Este es un ejemplo simple de regresi\u00f3n lineal que demuestra la dependencia de una variable (en el eje \"Regresi\u00f3n) de otra variable (en el eje \"Regresi\u00f3n). Para que el sistema de ecuaciones lineales correspondiente a este ejemplo tenga soluci\u00f3n, todos los puntos deben estar exactamente en una misma l\u00ednea. Pero no es as\u00ed. Y no est\u00e1n en una misma l\u00ednea precisamente por el ruido (o porque la suposici\u00f3n de la existencia de dependencia lineal fue err\u00f3nea). As\u00ed, para restaurar la dependencia lineal a partir de datos reales, generalmente es necesario introducir otra suposici\u00f3n: los datos de entrada contienen ruido y este ruido tiene distribuci\u00f3n normal<\/a><\/noindex>. Se pueden hacer suposiciones sobre otros tipos de distribuci\u00f3n de ruido, pero en la gran mayor\u00eda de los casos se considera precisamente la distribuci\u00f3n normal, de la cual se hablar\u00e1 a continuaci\u00f3n.<\/p>\n

M\u00e9todo de m\u00e1xima verosimilitud<\/h3>\n

\nEntonces, hemos supuesto la existencia de un ruido aleatorio normalmente distribuido. \u00bfC\u00f3mo actuar en tal situaci\u00f3n? Para este caso, en matem\u00e1ticas existe y se utiliza ampliamente m\u00e9todo de m\u00e1xima verosimilitud<\/a><\/noindex>. En resumen, su esencia radica en la elecci\u00f3n la funci\u00f3n de verosimilitud<\/a><\/noindex> y su posterior maximizaci\u00f3n.<\/p>\n

Regresamos a la restauraci\u00f3n de la dependencia lineal a partir de datos con ruido normal. Observemos que la dependencia lineal supuesta es la esperanza matem\u00e1tica \"Regresi\u00f3n de la distribuci\u00f3n normal existente. Al mismo tiempo, la probabilidad de que \"Regresi\u00f3n tome un determinado valor, dado que hay observables \"Regresi\u00f3n, se ve de la siguiente manera:<\/p>\n

\"Regresi\u00f3n<\/p>\n

\nAhora sustituiremos en lugar de \"Regresi\u00f3n y \"Regresi\u00f3n las variables que necesitamos:<\/p>\n

\"Regresi\u00f3n<\/p>\n

\nSolo queda encontrar el vector \"Regresi\u00f3n, en el que esta probabilidad es m\u00e1xima. Para maximizar tal funci\u00f3n, es conveniente primero logaritmarla (el logaritmo de la funci\u00f3n alcanzar\u00e1 su m\u00e1ximo en el mismo punto que la propia funci\u00f3n):<\/p>\n

\"Regresi\u00f3n<\/p>\n

\nLo que, a su vez, se reduce a la minimizaci\u00f3n de la siguiente funci\u00f3n:<\/p>\n

\"Regresi\u00f3n<\/p>\n

\nPor cierto, esto se llama el m\u00e9todo de los m\u00ednimos cuadrados<\/a><\/noindex>. A menudo, se omiten todas las consideraciones anteriores y simplemente se utiliza este m\u00e9todo.<\/p>\n

Descomposici\u00f3n QR<\/h3>\n

\nSe puede encontrar el m\u00ednimo de la funci\u00f3n mencionada anteriormente si se encuentra el punto en el que el gradiente de esta funci\u00f3n es igual a cero. Y el gradiente se escribir\u00e1 de la siguiente manera:<\/p>\n

\"Regresi\u00f3n<\/p>\n

\nDescomposici\u00f3n QR<\/a><\/noindex> es un m\u00e9todo matricial para resolver el problema de minimizaci\u00f3n que se utiliza en el m\u00e9todo de los m\u00ednimos cuadrados. En este sentido, reescribimos la ecuaci\u00f3n en forma matricial:<\/p>\n

\"Regresi\u00f3n<\/p>\n

\nEntonces, descomponemos la matriz \"Regresi\u00f3n en matrices \"Regresi\u00f3n y \"Regresi\u00f3n y realizamos una serie de transformaciones (el algoritmo QR de descomposici\u00f3n no se discutir\u00e1 aqu\u00ed, solo su uso relativo a la tarea planteada):<\/p>\n

\"Regresi\u00f3n<\/p>\n

\nMatriz \"Regresi\u00f3n es ortogonal. Esto nos permite deshacernos del producto \"Regresi\u00f3n:<\/p>\n

\"Regresi\u00f3n<\/p>\n

\nY si reemplazamos \"Regresi\u00f3n en \"Regresi\u00f3n, entonces obtendremos \"Regresi\u00f3n. Teniendo en cuenta que \"Regresi\u00f3n es una matriz triangular superior, esto se ve de la siguiente manera:<\/p>\n

\"Regresi\u00f3n<\/p>\n

\nEsto se puede resolver mediante el m\u00e9todo de sustituci\u00f3n. El elemento \"Regresi\u00f3n se encuentra como \"Regresi\u00f3n, el elemento anterior \"Regresi\u00f3n se encuentra como \"Regresi\u00f3n y as\u00ed sucesivamente.<\/p>\n

Cabe se\u00f1alar que la complejidad del algoritmo resultante debido al uso de la descomposici\u00f3n QR es igual a \"Regresi\u00f3n. Aunque la operaci\u00f3n de multiplicaci\u00f3n de matrices se puede paralelizar bien, no parece posible escribir una versi\u00f3n distribuida efectiva de este algoritmo.<\/p>\n

Descenso por gradiente<\/h3>\n

\nAl hablar de la minimizaci\u00f3n de alguna funci\u00f3n, siempre se debe recordar el m\u00e9todo (estoc\u00e1stico) de descenso de gradientes. Este es un m\u00e9todo simple y efectivo de minimizaci\u00f3n, basado en el c\u00e1lculo iterativo del gradiente de la funci\u00f3n en un punto y su posterior desplazamiento en direcci\u00f3n opuesta al gradiente. Cada uno de estos pasos acerca la soluci\u00f3n al m\u00ednimo. El gradiente se ve igual:<\/p>\n

\"Regresi\u00f3n<\/p>\n

Adem\u00e1s, este m\u00e9todo se puede paralelizar y distribuir bien gracias a las propiedades lineales del operador gradiente. Notemos que en la f\u00f3rmula anterior, bajo el signo de suma, hay t\u00e9rminos independientes. En otras palabras, podemos calcular el gradiente de manera independiente para todos los \u00edndices \"Regresi\u00f3n desde el primero hasta \"Regresi\u00f3n, paralelamente, calcular el gradiente para los \u00edndices desde \"Regresi\u00f3n hasta \"Regresi\u00f3n. Luego, sumamos los gradientes obtenidos. El resultado de la suma ser\u00e1 el mismo que si hubi\u00e9ramos calculado el gradiente de una vez para los \u00edndices desde el primero hasta \"Regresi\u00f3n. As\u00ed, si los datos est\u00e1n distribuidos entre varias partes, el gradiente puede ser calculado independientemente en cada parte, y luego los resultados de estos c\u00e1lculos se pueden sumar para obtener el resultado final:<\/p>\n

\"Regresi\u00f3n<\/p>\n

Desde el punto de vista de la implementaci\u00f3n, esto se ajusta a la paradigma MapReduce<\/a><\/noindex>. En cada paso del descenso de gradientes, se env\u00eda una tarea a cada nodo de datos para calcular el gradiente, luego se recolectan los gradientes calculados y el resultado de su suma se utiliza para mejorar el resultado.<\/p>\n

A pesar de la simplicidad de implementaci\u00f3n y la posibilidad de ejecuci\u00f3n en la paradi\u0433ma MapReduce, el descenso de gradiente tambi\u00e9n tiene sus desventajas. En particular, el n\u00famero de pasos necesarios para alcanzar la convergencia es significativamente mayor en comparaci\u00f3n con otros m\u00e9todos m\u00e1s especializados.<\/p>\n

LSQR<\/h3>\n

\nLSQR<\/a><\/noindex> es otro m\u00e9todo para resolver el problema planteado, que es adecuado tanto para la recuperaci\u00f3n de la regresi\u00f3n lineal como para la soluci\u00f3n de sistemas de ecuaciones lineales. Su principal caracter\u00edstica es que combina las ventajas de los m\u00e9todos matriciales y el enfoque iterativo. Las implementaciones de este m\u00e9todo se pueden encontrar en la biblioteca SciPy<\/a><\/noindex>, as\u00ed como en MATLAB<\/a><\/noindex>. No se proporcionar\u00e1 una descripci\u00f3n de este m\u00e9todo (se puede encontrar en el art\u00edculo LSQR: An algorithm for sparse linear equations and sparse least squares<\/a><\/noindex>). En su lugar, se demostrar\u00e1 un enfoque que permite adaptar LSQR para su ejecuci\u00f3n en un entorno distribuido.<\/p>\n

El m\u00e9todo LSQR se basa en el procedimiento de bidiagonalizaci\u00f3n<\/a><\/noindex>. Es un procedimiento iterativo, donde cada iteraci\u00f3n consta de los siguientes pasos:
\n\"Regresi\u00f3n
\n
\nPero suponiendo que la matriz \"Regresi\u00f3n est\u00e1 particionada horizontalmente, cada iteraci\u00f3n se puede representar en forma de dos pasos MapReduce. De esta manera, se logra minimizar la transferencia de datos durante cada iteraci\u00f3n (solo vectores de longitud igual al n\u00famero de inc\u00f3gnitas):<\/p>\n

\"Regresi\u00f3n
\n
\nEste enfoque se utiliza en la implementaci\u00f3n de la regresi\u00f3n lineal en Apache Ignite ML<\/a><\/noindex>.<\/p>\n

Conclusi\u00f3n<\/h3>\n

\nExisten muchos algoritmos para la recuperaci\u00f3n de la regresi\u00f3n lineal, pero no todos pueden aplicarse en cualquier situaci\u00f3n. Por ejemplo, la descomposici\u00f3n QR es excelente para resolver con precisi\u00f3n en peque\u00f1os conjuntos de datos. El descenso de gradiente se implementa f\u00e1cilmente y permite encontrar r\u00e1pidamente una soluci\u00f3n aproximada. LSQR, por su parte, combina las mejores propiedades de los dos algoritmos anteriores, ya que puede ser distribuido, converge m\u00e1s r\u00e1pido en comparaci\u00f3n con el descenso de gradiente y tambi\u00e9n permite la detenci\u00f3n temprana del algoritmo, a diferencia de la descomposici\u00f3n QR para la b\u00fasqueda de soluciones aproximadas.
\n
Fuente: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a: xkcd \u041b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0434\u043b\u044f \u043c\u043d\u043e\u0433\u0438\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u0435\u0439, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 \u0430\u043d\u0430\u043b\u0438\u0437\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445. \u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u044d\u0442\u043e\u043c\u0443 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u0430. \u042d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u0447\u0442\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u0441\u0442\u0432\u0443\u0435\u0442 \u0435\u0433\u043e \u0448\u0438\u0440\u043e\u043a\u043e\u043c\u0443 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044e \u0443\u0436\u0435 \u043c\u043d\u043e\u0433\u0438\u0435 \u0434\u0435\u0441\u044f\u0442\u043a\u0438, \u0435\u0441\u043b\u0438 \u043d\u0435 \u0441\u043e\u0442\u043d\u0438, \u043b\u0435\u0442. \u0418\u0434\u0435\u044f \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0434\u043d\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043e\u0442 \u043d\u0430\u0431\u043e\u0440\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445, \u0430 \u043f\u043e\u0442\u043e\u043c \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":28483,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-37955","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Regresi\u00f3n lineal y m\u00e9todos de recuperaci\u00f3n | ProHoster","description":"Fuente:","canonical_url":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/linejnaya-regressiya-i-metody-eyo-vosstanovleniya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"es_ES","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u0438 \u043c\u0435\u0442\u043e\u0434\u044b \u0435\u0451 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f | ProHoster","og:description":"\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a:","og:url":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/linejnaya-regressiya-i-metody-eyo-vosstanovleniya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:20:47+00:00","article:modified_time":"2019-10-31T19:20:47+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"37955","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-23 19:55:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 01:17:23","updated":"2026-01-23 19:55:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/posts\/37955","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/comments?post=37955"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/posts\/37955\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/media\/28483"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/media?parent=37955"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/categories?post=37955"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/tags?post=37955"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}