Машинно обучение без Python, Anaconda и други подобни изучавания

Не, разбира се, не говоря сериозно. Трябва да има предел, до който можем да опростим темата. Но за начален етап, за разбиране на основните концепции и бързо влизане в темата, може би е приемливо. А как точно да наречем този материал (варианти: «Машинно обучение за начинаещи», «Анализ на данни от нулата», «Алгоритми за най-малките»), ще обсъдим в края.

Както и да е. Написах няколко приложни програми на MS Excel за визуализация и нагледно представяне на процесите, които протичат в различните методи на машинно обучение при анализ на данни. Виждането е вярване, в крайна сметка, както казват представителите на културата, която е разработила повечето от тези методи (между другото, далеч не всички. Мощният „метод на опорни вектори“, или SVM, support vector machine – е изобретение на нашия сънародник Владимир Вапник, Московски институт по управление. Запомнете, 1963 година! Сега той, между другото, преподава и работи в САЩ).

Три файла за преглед

1. Кластеризация с метода k-средни

Задачите от този тип попадат в категорията на «обучението без учител», когато трябва да разделим входните данни на предварително известен брой категории, но нямаме количество «правилни отговори», които да извлечем от самите данни. Фундаменталната класическа задача за намиране на подвидове на цветята ирис (Роналд Фишер, 1936 година!), която се счита за първата пеперуда в тази област – е точно от такъв тип.

Методът е достатъчно прост. Имаме набор от обекти, представени като вектори (набори от N числа). При ирисите това са набори от 4 числа, характеризиращи цветето: дължина и ширина на външния и вътрешния дял на околоцветника, съответно (Ирисите на Фишър — Уикипедия). Като разстояние, или мярка за близост между обектите, се избира обичайната декартова метрика.

След това, произволно (или не произволно, вижте по-долу) се избират центровете на клъстери и се изчисляват разстоянията от всеки обект до центровете на клъстерите. Всеки обект в тази итерационна стъпка се обозначава като принадлежащ на най-близкия център. След това центърът на всеки клъстер се премества в средното аритметично на координатите на членовете си (във физиката се нарича още „център на масата“), и процедурата се повтаря.

Процесът бързо конвергира. На картинките в двумерно пространство това изглежда така:

1. Първоначално случайно разпределение на точките на равнината и брой клъстери

2. Задаване на центровете на клъстерите и отнасяне на точките към своите клъстери

3. Преместване на координатите на центровете на клъстерите, повторно изчисление на принадлежността на точките, докато центровете не се стабилизират. Ясно се вижда траекторията на движението на центъра на клъстера към окончателно положение.

По всяко време могат да се зададат нови центрове на клъстерите (без да се генерира ново разпределение на точките!) и да се види, че процесът на разпределение не винаги е еднозначен. Математически това означава, че за оптимизираната функция (сумата на квадратите на разстоянията от точките до центровете на техните клъстери) намираме не глобален, а локален минимум. Този проблем може да бъде решен или чрез нек случайно избиране на начални центрове на клъстери, или чрез перебор на възможни центрове (понякога е изгодно да се поставят точно в някоя от точките, така поне има гаранция, че няма да получим празни клъстери). Във всеки случай, крайното множество винаги има точна долна граница.

Можете да експериментирате с този файл по тази връзка (не забравяйте да включите поддръжка на макроси. Файловете са проверени за вируси)

Описание на метода в Wikipedia — Метод k-средни

2. Апроксимация с многочлени и разделяне на данните. Преобучение

Учен с изключителни качества и популяризатор на науката за данни К.В. Воронцов кратко описва методите на машинно обучение като „наука за провеждане на криви през точки“. В този пример ще откриваме закономерности в данните с метода на най-малките квадрати.

Показана е техниката за разчленяване на изходните данни на "обучаващи" и "контролни", а също така и феноменът на преобучаването или "перенастройването". При правилна апроксимация ще имаме известна грешка върху обучаващите данни и малко по-голяма – върху контролните. При неправилна настройка ще имаме точна адаптация към обучаващите данни и огромна грешка върху контролните.

(Известен факт е, че през N точки може да се проведе единствена крива N-1-та степен и този метод в общия случай не води до желания резултат. Интерполяционният многочлен на Лагранж в Уикипедия)

1. Задаваме началното разпределение

2. Разделяме точките на "обучаващи" и "контролни" в съотношение 70 на 30.

3. Изготвяме апроксимираща крива по обучаващите точки, виждаме грешката, която тя дава на контролните данни

4. Изготвяме точна крива през обучаващите точки и наблюдаваме чудовищна грешка на контролните данни (и нулева на обучаващите, но каква полза?).

Показан е, разбира се, най-простият вариант с единствено разчленяване на "обучаващи" и "контролни" подмножества, в обичайната практика това се извършва многократно за оптимизиране на параметрите.

Файлът е наличен тук, проверен е с антивирус. Активирайте макросите за правилна работа

3. Градиентен спуск и динамика на изменение на грешката

Тук ще бъде 4-мерният случай и линейната регресия. Коэффициентите на линейната регресия ще се определят стъпка по стъпка с метода на градиентния спуск, като всички коэффициенти в началото са нули. На отделен график се вижда динамиката на намаляване на грешката с все по-точната настройка на коэффициентите. Има възможност да се видят четирите 2-мерни проекции.

Ако зададете твърде голямо стъпало за градиентния спуск, ще видите, че всеки път ще пропускаме минимума и ще достигаме до резултата за повече стъпки, въпреки че в крайна сметка все пак ще се стигне (освен ако не повишите стъпалото твърде много — тогава алгоритъмът ще "излезе от строя"). Графикът на зависимостта на грешката от стъпаловидната итерация няма да бъде плавен, а "трептящ".

1. Генерираме данни, задаваме стъпалото за градиентния спуск

2. При правилно подбиране на стъпалото за градиентния спуск плавно и достатъчно бързо достигаме до минимума

3. При неправилно избран стъпка на градиентното спускане, преминаваме максимума, графикът на грешката – „ръчен“, конвергенцията отнема повече стъпки

и

4. При напълно неправилно избран стъпка на градиентното спускане, се отдалечаваме от минимума

(За да възпроизведете процеса с показаните на картинките стойности на стъпката на градиентното спускане, поставете отметка на „референтни данни“).

Файлът – по тази връзка, нужно е да включите макроси, вируси няма.

Как смята уважаваното общество, допустимо ли е такова опростяване и метод на представяне на материала? Струва ли си да преведем статията на английски?

Източник: habr.com