Машинно обучение без Python, Anaconda и други подобни инструменти

Разбира се, не говоря сериозно. Трябва да има граница, до която може да се опрости предмета. Но за началните етапи, разбирането на основните концепции и бързото "вливане" в темата, може би е допустимо. Как да наречем този материал (възможности: "Машинно обучение за начинаещи", "Анализ на данни от нулата", "Алгоритми за най-малките"), ще обсъдим в края.

Нека да продължим. Написах няколко практически програми на MS Excel за визуализация и нагледно представяне на процесите, които се случват в различните методи на машинно обучение при анализ на данни. Виждането е повярване, в крайна сметка, както казват носителите на културата, която разработи повечето от тези методи (между другото, не всичките. Мощният "метод на опорните вектори", или SVM, поддържаща векторна машина – е изобретение на нашия сънародник Владимир Вапник, Московския институт за управление. 1963 година, между другото! Сега той, обаче, преподава и работи в САЩ).

Три файла за преглед

1. Кластеризация с метода k-средни

Задачите от този вид принадлежат на "обучение без учител", когато трябва да разделим изходните данни на определен предварително известен брой категории, но нямаме никакви "правилни отговори", които да извлечем от самите данни. Фундаменталната класическа задача за намиране на подвидове цветя от ирис (Роналд Фишър, 1936 година!), която се счита за първото изследване в тази област на знание – е точно от такава природа.

Методът е сравнително прост. Имаме набор от обекти, представени под формата на вектори (набори от N числа). При ирисите това са набори от 4 числа, характеризиращи цветята: дължина и ширина на външните и вътрешните венчелистчета, съответно (Ирисите на Фишър — Уикипедия). Като разстояние, или мера на близост между обектите, се избира обикновената декартова метрика.

След това, произволно (или не произволно, вижте по-долу) се избират центрове на кластерите и се изчисляват разстоянията от всеки обект до центровете на кластерите. Всеки обект на този етап от итерацията се маркира като принадлежащ на най-близкия център. След това центърът на всеки кластер се премества в средното аритметично на координатите на членовете си (по аналогия с физиката, също се нарича "център на масите"), и процедурата се повтаря.

Процесът бързо се стабилизира. На изображенията в двумерен вид изглежда по следния начин:

1. Първоначално случайно разпределение на точки в равнината и брой клъстери

2. Задаване на центровете на клъстерите и отнасяне на точките към техните клъстери

3. Преместване на координатите на центровете на клъстерите, преизчисляване на принадлежността на точките, докато центровете не се стабилизират. Видима е траекторията на движението на центъра на клъстера към крайното положение.

По всяко време можете да зададете нови центрове на клъстерите (без да генерирате ново разпределение на точките!) и да видите, че процесът на разпределение не винаги е еднозначен. Математически това означава, че в оптимизираната функция (сумата на квадратите на разстоянията от точките до центровете на техните клъстери) намираме не глобален, а локален минимум. Тази проблематика може да бъде решена или чрез неслучайно избиране на началните центрове на клъстерите, или чрез проверка на възможните центрове (понякога е полезно да се поставят точно в някоя от точките, за да имаме поне гаранция, че няма да получим празни клъстери). Във всеки случай, за крайно множество винаги има точна долна граница.

Можете да поиграете с този файл на следната връзка (не забравяйте да включите поддръжка на макроси. Файловете са проверени за вируси)

Описание на метода в Википедията — Метод на k-средни

2. Аппроксимация с полиноми и разделяне на данни. Преобучение

Забележителният учен и популяризатор на науката за данни К.В. Воронцов накратко говори за методите на машинното обучение като "наука за провеждане на криви през точки." В този пример ще намерим закономерност в данните чрез метода на най-малките квадрати.

Показана е техниката за разделяне на възходящите данни на "обучаващи" и "контролни", а също така и такъв феномен, като преобучение, или "переподстройка" под данни. При правилна аппроксимация ще имаме определена грешка на обучаващите данни и малко по-голяма – на контролни. При неправилна – точна настройка под обучаващите данни и огромна грешка на контролни.

(Известен факт е, че през N точки може да бъде проведена единствена крива от N-1 степен, и този метод в общия случай не дава нужния резултат. Интерполационният полином на Лагранж в Википедията)

1. Задаваме изходно разпределение

2. Разделяме точките на "обучаващи" и "контролни" в съотношение 70 на 30.

3. Провеждаме аппроксимираща крива по обучителните точки и виждаме грешката, която тя дава на контролните данни.

4. Провеждаме точна крива през обучителните точки и виждаме огромна грешка на контролни данни (и нулева на обучителните, но каква полза от това?).

Показан е, разбира се, най-простият вариант с единствено разделяне на "обучителни" и "контролни" подмножества. В общия случай това се прави многократно за най-добро настрояване на коефициентите.

Файлът е достъпен тук, проверен е с антивирус. Включете макросите за правилна работа.

3. Градиентно спускане и динамика на промяна на грешката.

Тук ще бъде 4-мерен случай и линейна регресия. Коефициентите на линейната регресия ще се определят по стъпки с метода на градиентното спускане, първоначално всички коефициенти са нули. На отделен график се вижда динамиката на намаляване на грешката с все по-точното регулиране на коефициентите. Има възможност да се видят всички четири 2-мерни проекции.

Ако се зададе твърде голямо стъпило на градиентното спускане, се вижда, че всеки път ще пропускаме минимума и до резултата ще стигнем за по-дълъг период от стъпки, въпреки че в крайна сметка все пак ще достигнем (освен ако стъпката на спускане не е твърде висока — тогава алгоритъмът ще се "разкаже"). И графикът на зависимостта на грешката от стъпката на итерацията няма да бъде плавен, а "дърпан".

1. Генерираме данни, задаваме стъпка на градиентното спускане.

2. При правилен подбор на стъпка на градиентното спускане плавно и достатъчно бързо достигаме до минимума.

3. При неправилен подбор на стъпка на градиентното спускане пропускаме максимума, графикът на грешката е "дърпан", а конвергенцията отнема повече стъпки.

и

4. При съвсем неправилен подбор на стъпка на градиентното спускане се отдалечаваме от минимума.

(За да възпроизведете процеса при показаните на изображенията стойности на стъпката на градиентното спускане, поставете отметка "еталонни данни").

Файлът – по тази връзка, необходимо е да се включат макросите, вируси няма.

Как смята уважаемото общество, допустимо ли е такова опростяване и метод на представяне на материала? Струва ли си да се преведе статията на английски?

Източник: habr.com