{"id":30936,"date":"2019-10-31T21:38:20","date_gmt":"2019-10-31T18:38:20","guid":{"rendered":"https:\/\/prohoster.info\/blog\/mashinnoe-obuchenie-bez-python-anaconda-i-prochih-presmykayushhihsya\/"},"modified":"2019-10-31T21:38:20","modified_gmt":"2019-10-31T18:38:20","slug":"mashinnoe-obuchenie-bez-python-anaconda-i-prochih-presmykayushhihsya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/news\/mashinnoe-obuchenie-bez-python-anaconda-i-prochih-presmykayushhihsya","title":{"rendered":"Maskinl\u00e6ring uden Python, Anaconda og andre krybdyr","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Nej, jeg mener selvf\u00f8lgelig ikke alvorligt. Der m\u00e5 v\u00e6re en gr\u00e6nse for, hvor meget man kan forsimple emnet. Men til de f\u00f8rste trin, forst\u00e5elsen af grundl\u00e6ggende koncepter og hurtig indf\u00f8ring i emnet, kan det m\u00e5ske v\u00e6re acceptabelt. Og hvordan man korrekt navngiver dette materiale (muligheder: \"Maskinl\u00e6ring for begyndere\", \"Dataanalyse fra bunden\", \"Algoritmer for de mindste\"), diskuterer vi til sidst. <\/p>\n

Til sagen. Jeg har skrevet nogle anvendelige programmer i MS Excel til visualisering og klar pr\u00e6sentation af processerne i forskellige metoder til maskinl\u00e6ring ved dataanalyse. Seeing is believing, som kulturerne, der har udviklet de fleste af disse metoder, plejer at sige (for resten, ikke alle. Den kraftfulde \"support vector machine\" metode, eller SVM, er opfindelsen af vores landsmand Vladimir Vapnik fra Moskva Institut for Styring. 1963, for resten! I dag underviser han dog og arbejder i USA).<\/p>\n

Tre filer til besigtigelse
\n<\/a><\/noindex><\/p>\n

1. Klyngedannelse ved hj\u00e6lp af k-means<\/h2>\n

\nOpgaver af denne art falder under \"uskiftet indl\u00e6ring\", hvor vi har brug for at opdele de indledende data i et p\u00e5 forh\u00e5nd kendt antal kategorier, men hvor vi samtidig ikke har nogen m\u00e6ngde \"korrekte svar\", som vi skal udtr\u00e6kke fra dataene selv. Den fundamentale klassiske opgave med at finde underarter af irisblomster (Ronald Fisher, 1936!) er netop af denne natur og betragtes som den f\u00f8rste sp\u00e6de begyndelse inden for dette vidensomr\u00e5de.<\/p>\n

Metoden er temmelig simpel. Vi har et s\u00e6t objekter repr\u00e6senteret som vektorer (s\u00e6t af N tal). For iriserne er det s\u00e6t af 4 tal, der karakteriserer blomsten: l\u00e6ngde og bredde p\u00e5 b\u00e5de den ydre og indre del af blomsterkransen, henholdsvis (Irisserne fra Fisher \u2014 Wikipedia<\/a><\/noindex>). Som afstand, eller m\u00e5l for n\u00e6rhed mellem objekterne, v\u00e6lges den almindelige euklidiske metrik.<\/p>\n

Derefter v\u00e6lges tilf\u00e6ldigt (eller ikke tilf\u00e6ldigt, se videre) klyngernes centre, og der beregnes afstande fra hvert objekt til klyngernes centre. Hvert objekt m\u00e6rkes i dette iterationstrin som tilh\u00f8rende det n\u00e6rmeste centrum. Derefter flyttes centrum for hver klynge til det aritmetiske gennemsnit af koordinaterne for sine medlemmer (analogt med fysik kaldes det ogs\u00e5 \"massecentrum\"), og proceduren gentages.<\/p>\n

Processen konvergerer rimeligt hurtigt. P\u00e5 billederne i to dimensioner ser det s\u00e5dan ud:<\/p>\n

1. Den oprindelige tilf\u00e6ldige fordeling af punkter p\u00e5 planet og antallet af klynger<\/p>\n

\"Maskinl\u00e6ring
\n
\n2. Angivelse af klyngecentrene og tildeling af punkter til deres klynger<\/p>\n

\"Maskinl\u00e6ring
\n
\n3. Flytning af koordinaterne for klyngecentrene, genberegning af punkternes tilh\u00f8rsforhold, indtil centrene stabiliserer sig. Man kan se klyngens centrum bev\u00e6ge sig mod en endelig position.<\/p>\n

\"Maskinl\u00e6ring
\n
\nMan kan n\u00e5r som helst angive nye klyngecentre (uden at generere en ny fordeling af punkter!) og se, at opdelingen ikke altid er entydig. Matematisk set betyder det, at vi finder et lokalt minimum for den optimerede funktion (summen af kvadraterne af afstandene fra punkterne til centrene af deres klynger), ikke et globalt minimum. Man kan overvinde dette problem ved enten ikke at v\u00e6lge klyngecentre tilf\u00e6ldigt i starten eller ved at pr\u00f8ve mulige centre (nogle gange er det fordelagtigt at placere dem pr\u00e6cist p\u00e5 et af punkterne, s\u00e5 der i det mindste er en garanti for, at vi ikke f\u00e5r tomme klynger). Uanset hvad, har en \u00e6ndelig m\u00e6ngde altid en pr\u00e6cis nedre gr\u00e6nse. <\/p>\n

Du kan lege med denne fil via dette link<\/a><\/noindex> (Glem ikke at aktivere makro-support. Filen er kontrolleret for vira)<\/p>\n

Metodebeskrivelse p\u00e5 Wikipedia \u2014 k-means metoden<\/a><\/noindex><\/p>\n

2. Approksimation med polynomier og opdeling af data. Overfitting<\/h2>\n

\nDen fremragende forsker og videnskabsformidler K.V. Vorontsov beskriver kort maskinl\u00e6ringsmetoder som \"videnskaben om at tr\u00e6kke kurver gennem punkter\". I dette eksempel vil vi finde m\u00f8nstre i dataene ved hj\u00e6lp af metoden med de mindste kvadrater. <\/p>\n

Teknikken til at opdele de oprindelige data i \"tr\u00e6nings\" og \"test\" s\u00e6t vises, samt et f\u00e6nomen s\u00e5som overfitting eller \"tilpasning\" til dataene. Ved korrekt approksimation vil vi have en vis fejl p\u00e5 tr\u00e6ningsdataene og en noget st\u00f8rre p\u00e5 testdataene. Ved ukorrekt approksimation vil der v\u00e6re en pr\u00e6cis tilpasning til tr\u00e6ningsdataene og en enorm fejl p\u00e5 testdataene.<\/p>\n

(Det er en kendt kendsgerning, at der gennem N punkter kan tr\u00e6kkes en unik kurve af N-1. grad, og denne metode giver generelt ikke det \u00f8nskede resultat. Lagrange-interpolationspolynomiet p\u00e5 Wikipedia<\/a><\/noindex>)<\/p>\n

1. Vi angiver den oprindelige fordeling<\/p>\n

\"Maskinl\u00e6ring
\n
\n2. Vi opdeler punkterne i \"tr\u00e6nings\" og \"test\" s\u00e6t i forholdet 70 til 30.<\/p>\n

\"Maskinl\u00e6ring
\n
\n3. Vi tegner en approksimerende kurve baseret p\u00e5 tr\u00e6ningspunkterne, og vi ser den fejl, den giver p\u00e5 testdataene.<\/p>\n

\"Maskinl\u00e6ring
\n
\n4. Vi tr\u00e6kker en pr\u00e6cis kurve gennem tr\u00e6ningspunkterne og ser en enorm fejl p\u00e5 testdataene (og nul p\u00e5 tr\u00e6ningsdataene, men hvad nytter det?).<\/p>\n

\"Maskinl\u00e6ring
\n
\nHer vises selvf\u00f8lgelig den enkleste version med en enkelt opdeling i \"tr\u00e6nings\" og \"test\" undergrupper; i det generelle tilf\u00e6lde g\u00f8res dette flere gange for bedst at tilpasse koefficienterne.<\/p>\n

Filen er tilg\u00e6ngelig her, scannet med antivirus.<\/a><\/noindex> Aktiv\u00e9r makroer for korrekt funktion.<\/p>\n

3. Gradient descent og dynamikken i fejl\u00e6ndringen.<\/h2>\n

\nHer vil der v\u00e6re en 4-dimensional situation og line\u00e6r regression. Koefficienterne for den line\u00e6re regression vil blive fastsat trin for trin ved hj\u00e6lp af gradient descent, hvor alle koefficienter oprindeligt er nul. P\u00e5 en separat graf kan man se dynamikken i reduktionen af fejlene, efterh\u00e5nden som koefficienterne tilpasses mere pr\u00e6cist. Der er mulighed for at se alle fire 2-dimensionelle projicer.<\/p>\n

Hvis der angives et for stort skridt for gradient descent, vil man se, at vi hver gang springer forbi minimum og vil n\u00e5 frem til resultatet efter flere skridt, selvom vi til sidst stadig n\u00e5r derhen (medmindre vi s\u00e6tter skridtet for h\u00f8jt \u2014 s\u00e5 vil algoritmen g\u00e5 \"ud af kontrol\"). Og grafen for fejlens afh\u00e6ngighed af iterationsskridtet vil ikke v\u00e6re glat, men \"st\u00f8dende\".<\/p>\n

1. Generer data, angiv skridtet for gradient descent.<\/p>\n

\"Maskinl\u00e6ring
\n
\n2. Ved korrekt valg af skridtet for gradient descent kommer vi glat og hurtigt frem til minimum.<\/p>\n

\"Maskinl\u00e6ring
\n
\n3. Ved forkert valg af skridtet for gradient descent springer vi over maksimum; fejlgrafen er \"st\u00f8dende\", og konvergensen tager flere skridt.<\/p>\n

\"Maskinl\u00e6ring
\nog<\/p>\n

\"Maskinl\u00e6ring
\n
\n4. Ved helt forkert valg af skridtet for gradient descent tr\u00e6kker vi os v\u00e6k fra minimum.<\/p>\n

\"Maskinl\u00e6ring
\n
\n(For at reproducere processen med de viste skridt for gradient descent, s\u00e6t kryds i \"reference data\").<\/p>\n

Filen er tilg\u00e6ngelig via dette link, makroer skal aktiveres, der er ingen virus.<\/a><\/noindex><\/p>\n

Som det respektable samfund mener, er dette forenkling og metode til pr\u00e6sentation acceptabelt? Burde artiklen overs\u00e6ttes til engelsk? <\/b>
\n
Kilde: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041d\u0435\u0442, \u043d\u0443 \u044f, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043d\u0435 \u0432\u0441\u0435\u0440\u044c\u0435\u0437. \u0414\u043e\u043b\u0436\u0435\u043d \u0436\u0435 \u0431\u044b\u0442\u044c \u043f\u0440\u0435\u0434\u0435\u043b, \u0434\u043e \u043a\u0430\u043a\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0443\u043f\u0440\u043e\u0449\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u043c\u0435\u0442. \u041d\u043e \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u044b\u0445 \u044d\u0442\u0430\u043f\u043e\u0432, \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0439 \u0438 \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u00ab\u0432\u044a\u0435\u0437\u0436\u0430\u043d\u0438\u044f\u00bb \u0432 \u0442\u0435\u043c\u0443, \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c, \u0438 \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e. \u0410 \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u043e\u0438\u043c\u0435\u043d\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b (\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b: \u00ab\u041c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0447\u0430\u0439\u043d\u0438\u043a\u043e\u0432\u00bb, \u00ab\u0410\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u0435\u043b\u0435\u043d\u043e\u043a\u00bb, \u00ab\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0434\u043b\u044f \u0441\u0430\u043c\u044b\u0445 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445\u00bb), \u043e\u0431\u0441\u0443\u0434\u0438\u043c \u0432 \u043a\u043e\u043d\u0446\u0435. \u041a […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":22912,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-30936","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Maskinl\u00e6ring uden Python, Anaconda og andre krybdyr | ProHoster","description":"Nej, men jeg siger det selvf\u00f8lgelig ikke alvorligt. Der m\u00e5 v\u00e6re en gr\u00e6nse for, hvor meget emnet kan forenkles. Men til de f\u00f8rste faser, forst\u00e5else af grundl\u00e6ggende koncepter og hurtig \"indtr\u00e6den\" i emnet, kan det m\u00e5ske v\u00e6re acceptabelt.","canonical_url":"https:\/\/prohoster.info\/da\/blog\/news\/mashinnoe-obuchenie-bez-python-anaconda-i-prochih-presmykayushhihsya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"da_DK","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0431\u0435\u0437 Python, Anaconda \u0438 \u043f\u0440\u043e\u0447\u0438\u0445 \u043f\u0440\u0435\u0441\u043c\u044b\u043a\u0430\u044e\u0449\u0438\u0445\u0441\u044f | ProHoster","og:description":"\u041d\u0435\u0442, \u043d\u0443 \u044f, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043d\u0435 \u0432\u0441\u0435\u0440\u044c\u0435\u0437. \u0414\u043e\u043b\u0436\u0435\u043d \u0436\u0435 \u0431\u044b\u0442\u044c \u043f\u0440\u0435\u0434\u0435\u043b, \u0434\u043e \u043a\u0430\u043a\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0443\u043f\u0440\u043e\u0449\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u043c\u0435\u0442. \u041d\u043e \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u044b\u0445 \u044d\u0442\u0430\u043f\u043e\u0432, \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0439 \u0438 \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u00ab\u0432\u044a\u0435\u0437\u0436\u0430\u043d\u0438\u044f\u00bb \u0432 \u0442\u0435\u043c\u0443, \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c, \u0438 \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e.","og:url":"https:\/\/prohoster.info\/da\/blog\/news\/mashinnoe-obuchenie-bez-python-anaconda-i-prochih-presmykayushhihsya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:38:20+00:00","article:modified_time":"2019-10-31T18:38:20+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"30936","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 03:45:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 03:27:05","updated":"2026-01-21 03:45:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/30936","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/comments?post=30936"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/30936\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/media\/22912"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/media?parent=30936"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/categories?post=30936"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/tags?post=30936"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}