Омӯзиши мошин бидуни Python, Anaconda ва дигар хазандагон

Не, хуб, албатта, ман ҷиддӣ нестам. Дараҷае, ки барои содда кардани мавзӯъ имконпазир аст, бояд маҳдудият вуҷуд дошта бошад. Аммо дар марҳалаҳои аввал, фаҳмидани мафҳумҳои асосӣ ва зуд «дохил шудан» ба мавзӯъ, он метавонад қобили қабул бошад. Мо дар охир муҳокима хоҳем кард, ки чӣ гуна ин маводро дуруст номгузорӣ кунем (вариантҳо: "Омӯзиши мошин барои dummies", "Таҳлили маълумот аз памперс", "Алгоритмҳо барои хурдсолон").

Ба нукта. Якчанд барномаҳои замимавӣ дар MS Excel барои визуализатсия ва муаррифии визуалии равандҳое, ки дар усулҳои гуногуни омӯзиши мошинсозӣ ҳангоми таҳлили додаҳо рух медиҳанд, навишт. Дидан бовар кардан аст, охир, чунон ки аҳли фарҳанг мегӯянд, ки аксари ин усулҳоро таҳия кардааст (дар омади гап, на ҳамаашон. тавонотарин «мошини вектории дастгирӣ» ё SVM, мошини вектории дастгирӣ ихтирои хамватани мо Владимир Вапник, Институти идоракунин Москва, соли 1963, дар омади ran, холо дар ШМА таълим медихад ва кор мекунад).

Се файл барои баррасӣ

1. К-маънои гурӯҳбандӣ

Мушкилоти ин намуд ба «таълими беназорат» дахл доранд, вақте ки мо бояд маълумоти ибтидоиро ба шумораи муайяни категорияҳои пешакӣ маълум тақсим кунем, аммо мо ягон шумораи «ҷавобҳои дуруст» надорем; мо бояд онҳоро аз худи маълумот истихроҷ кунем. . Масъалаи бунёдии классикии дарёфти зернамудҳои гулҳои Айрис (Роналд Фишер, 1936!), ки аввалин нишонаи ин соҳаи дониш маҳсуб мешавад, маҳз ҳамин хусусият дорад.

Усули хеле содда аст. Мо маҷмӯи объектҳо дорем, ки ҳамчун векторҳо (маҷмӯи рақамҳои N) муаррифӣ карда мешаванд. Дар ирисҳо, инҳо маҷмӯи 4 рақам мебошанд, ки гулро тавсиф мекунанд: дарозӣ ва паҳнои лобҳои берунӣ ва дарунии периант мутаносибан (Ирисҳои Фишер - Википедиа). Метрикаи маъмулии декартӣ ҳамчун масофа ё ченаки наздикии байни объектҳо интихоб карда мешавад.

Баъдан, марказҳои кластер ба таври тасодуфӣ интихоб карда мешаванд (ё ба таври тасодуфӣ, ба поён нигаред) ва масофа аз ҳар як объект то марказҳои кластер ҳисоб карда мешаванд. Ҳар як объект дар қадами такрории додашуда ҳамчун мансуб ба маркази наздиктарин қайд карда мешавад. Сипас маркази ҳар як кластер ба миёнаи арифметикии координатаҳои аъзои он гузаронида мешавад (аз рӯи қиёс бо физика онро «маркази масса» низ меноманд) ва ин тартиб такрор мешавад.

Раванд хеле зуд ба ҳам мепайвандад. Дар расмҳои ду андоза он чунин аст:

1. Тақсимоти ибтидоии тасодуфии нуқтаҳо дар ҳавопаймо ва шумораи кластерҳо

Омӯзиши мошин бидуни Python, Anaconda ва дигар хазандагон

2. Муайян кардани марказҳои кластер ва таъини нуқтаҳо ба кластерҳои онҳо

Омӯзиши мошин бидуни Python, Anaconda ва дигар хазандагон

3. Интиқоли координатҳои марказҳои кластерӣ, аз нав ҳисоб кардани мансубияти нуқтаҳо то ба эътидол омадани марказҳо. Траекторияи маркази кластер, ки ба мавқеи ниҳоии худ ҳаракат мекунад, намоён аст.

Омӯзиши мошин бидуни Python, Anaconda ва дигар хазандагон

Дар ҳар вақт, шумо метавонед марказҳои кластерҳои нав таъин кунед (бе тавлиди тақсимоти нави нуқтаҳо!) ва бубинед, ки раванди тақсимкунӣ на ҳама вақт якхела аст. Аз ҷиҳати риёзӣ ин маънои онро дорад, ки барои функсияи оптимизатсияшуда (маблағи масофаҳои квадратӣ аз нуқтаҳо то марказҳои кластерҳои онҳо) мо на глобалӣ, балки ҳадди ақали маҳаллиро пайдо мекунем. Ин мушкилотро ё бо интихоби ғайриоддӣ аз марказҳои кластери ибтидоӣ ва ё бо номбар кардани марказҳои имконпазир ҳал кардан мумкин аст (баъзан онҳоро маҳз дар яке аз нуқтаҳо ҷойгир кардан фоидаовар аст, пас ҳадди аққал кафолат вуҷуд дорад, ки мо холӣ нахоҳем шуд. кластерҳо). Дар ҳар сурат, маҷмӯи ниҳоӣ ҳамеша дорои инфимум аст.

Шумо метавонед бо ин файл дар ин пайванд бозӣ кунед (фаромуш накунед, ки дастгирии макросро фаъол созед. Файлҳо барои вирусҳо скан карда шудаанд)

Тавсифи усул дар Википедиа - к-усули маънои

2. Наздиккуни тавассути полиномҳо ва тақсими маълумот. Бозомузй

Олими барҷаста ва маъмулкунандаи илми маълумот К.В. Воронцов ба таври мухтасар усулҳои омӯзиши мошинро ҳамчун "илми кашидани каҷҳо тавассути нуқтаҳо" тавсиф мекунад. Дар ин мисол, мо намунаеро дар маълумот бо истифода аз усули квадратҳои хурдтарин пайдо хоҳем кард.

Усули ба «омўзиш» ва «назорат» таќсим кардани маълумоти сарчашма, инчунин падидаи бозомўзї ё «аз нав танзим кардан» ба маълумот нишон дода шудааст. Бо тахмини дуруст, мо дар маълумоти омӯзишӣ хатои муайян ва дар маълумоти назорат хатои каме калонтар хоҳем дошт. Агар нодуруст бошад, он боиси тасҳеҳи дақиқи маълумоти омӯзишӣ ва хатои азим дар маълумоти санҷиш мегардад.

(Чунин факт маълум аст, ки ба воситаи N нуқтаҳо хатти ягонаи дараҷаи N-1 кашидан мумкин аст ва ин усул дар ҳолати умумӣ натиҷаи дилхоҳ намедиҳад. Полиномияи интерполяционии Лагранж дар Википедиа)

1. Тақсимоти ибтидоиро таъин кунед

Омӯзиши мошин бидуни Python, Anaconda ва дигар хазандагон

2. Нуқтаҳоро бо таносуби 70 ба 30 ба “омӯзиш” ва “назорат” тақсим мекунем.

Омӯзиши мошин бидуни Python, Anaconda ва дигар хазандагон

3. Мо хатти тақрибиро қад-қади нуқтаҳои омӯзишӣ мекашем, мо хатоеро мебинем, ки он дар маълумоти идоракунӣ медиҳад.

Омӯзиши мошин бидуни Python, Anaconda ва дигар хазандагон

4. Мо тавассути нуқтаҳои омӯзиш хатти дақиқро мекашем ва дар маълумоти идоракунӣ хатои даҳшатнокро мебинем (ва дар маълумоти омӯзишӣ сифр, аммо ин чӣ маъно дорад?).

Омӯзиши мошин бидуни Python, Anaconda ва дигар хазандагон

Албатта, варианти соддатарин бо тақсимоти ягона ба зергурӯҳҳои “омӯзиш” ва “назорат” нишон дода шудааст; дар сурати умумӣ, ин барои беҳтарин тасҳеҳи коэффитсиентҳо борҳо анҷом дода мешавад.

Файл дар ин ҷо дастрас аст, ки тавассути антивирус скан шудааст. Барои кори дуруст макросҳоро фаъол созед

3. Пастшавии градиент ва динамикаи тағирёбии хато

Парвандаи 4-ченака ва регрессияи хатӣ вуҷуд хоҳад дошт. Коэффитсиентҳои регрессияи хатӣ бо истифода аз усули пастшавии градиент зина ба зина муайян карда мешаванд, дар аввал ҳамаи коэффитсиентҳо сифр мебошанд. Графикаи алохида динамикаи камшавии хатохоро нишон медихад, зеро коэффициентхо торафт бештар дурусттар тасдик карда мешаванд. Ҳама чаҳор проексияи 2-ченакаро дидан мумкин аст.

Агар шумо қадами фаромадани градиентро хеле калон таъин кунед, шумо мебинед, ки ҳар дафъа мо ҳадди аққалро мегузарем ва ба натиҷа бо шумораи бештари қадамҳо мерасем, гарчанде ки дар ниҳоят мо ба ҳар ҳол меоем (агар мо қадами фаромаданро низ таъхир кунем) зиёд - он гоҳ алгоритм "дар бели") меравад. Ва графики хато вобаста ба қадами итератсия ҳамвор нест, балки "ҳаракат" хоҳад буд.

1. Маълумот тавлид кунед, қадами пастшавии градиентро таъин кунед

Омӯзиши мошин бидуни Python, Anaconda ва дигар хазандагон

2. Бо интихоби дурусти қадами фаромадани градиент, мо осон ва зуд ба ҳадди ақал мерасем

Омӯзиши мошин бидуни Python, Anaconda ва дигар хазандагон

3. Агар қадами пастшавии градиент нодуруст интихоб шуда бошад, мо ҳадди аксарро боло мебарем, графики хатогӣ "чалоқ" аст, конвергенсия шумораи бештари қадамҳоро мегирад

Омӯзиши мошин бидуни Python, Anaconda ва дигар хазандагон
и

Омӯзиши мошин бидуни Python, Anaconda ва дигар хазандагон

4. Агар қадами пастшавии градиентро комилан нодуруст интихоб кунем, мо аз ҳадди ақал дур мешавем.

Омӯзиши мошин бидуни Python, Anaconda ва дигар хазандагон

(Барои дубора тавлид кардани раванд бо истифода аз арзишҳои қадами пастшавии градиент, ки дар расмҳо нишон дода шудаанд, қуттии "маълумоти истинод" -ро тафтиш кунед).

Файл дар ин пайванд аст, шумо бояд макросҳоро фаъол созед, вирусҳо вуҷуд надоранд.

Ба эътиқоди ҷомеаи мӯҳтарам, оё чунин соддасозӣ ва усули пешниҳоди мавод қобили қабул аст? Оё ба забони англисӣ тарҷума кардани мақола меарзад?

Манбаъ: will.com

Илова Эзоҳ