Ahoj, Habr!
V Rexoft jsme přeložili článek do ruštiny . Doufáme, že to bude užitečné pro všechny, kdo se zajímají o toto téma.
Ve skutečném světě data nejsou vždy tak čistá, jak si mnohdy podnikatelé myslí. Proto je poptávka po inteligentní analýze dat (data mining a data wrangling). Pomáhá odhalovat chybějící hodnoty a vzory ve strukturovaných datech prostřednictvím dotazů, které člověk nedokáže identifikovat. Abychom našli a využili tyto vzory pro předpověď výsledků prostřednictvím objevených vazeb v datech, bude užitečné strojové učení (Machine Learning).
Abychom porozuměli jakémukoli algoritmu, je nezbytné projít všechny proměnné v datech a zjistit, co tyto proměnné představují. To je nesmírně důležité, protože ospravedlnění výsledků se zakládá na pochopení dat. Pokud data obsahují 5 nebo dokonce 50 proměnných, lze je všechny studovat. A co když je jich 200? Pak nebude čas na prozkoumání každé jednotlivé proměnné. Navíc některé algoritmy nefungují s kategorickými daty, takže bude nutné převést všechny kategorické sloupce na kvantitativní proměnné (mohou vypadat kvantitativně, ale metriky ukážou, že jsou kategorické), abychom je mohli zařadit do modelu. Tím se počet proměnných zvyšuje a může jich být kolem 500. Co teď dělat? Mohli bychom si myslet, že odpovědí bude snížení dimenze. Algoritmy pro snižování dimenze snižují počet parametrů, ale negativně ovlivňují interpretovatelnost. Co když existují jiné techniky, které vylučují příznaky a přitom umožňují snadno porozumět a interpretovat zbylé?
V závislosti na tom, zda je analýza založena na regresi nebo klasifikaci, se algoritmy pro výběr funkcí mohou lišit, ale hlavní myšlenka jejich implementace zůstává stejná.
Silně korelované proměnné
Silně korelované mezi sebou navzájem proměnné poskytují modelu stejnou informaci, a proto není nutné používat všechny k analýze. Například pokud datový soubor obsahuje atributy „Čas online“ a „Použitý datový objem“, můžeme předpokládat, že budou do určité míry korelovány, a uvidíme silnou korelaci, i když vybereme nezaujatou vzorku dat. V tomto případě je v modelu potřebná pouze jedna z těchto proměnných. Pokud použijeme obě, model bude přeškolen (overfit) a zaujatý vůči jednomu konkrétnímu atributu.
P-hodnoty
V takových algoritmech, jako je lineární regrese, je počáteční statistický model vždy dobrý nápad. Pomáhá ukázat důležitost atributů pomocí jejich p-hodnot, které byly získány tímto modelem. Stanovením hladiny významnosti kontrolujeme získané p-hodnoty, a pokud se nějaká hodnota ukáže být pod zadanou hladinou významnosti, pak je tento atribut prohlášen za významný, tedy změna jeho hodnoty pravděpodobně povede ke změně cílové hodnoty (target).
Přímý výběr
Přímý výběr je technika, která spočívá v aplikaci krokové regrese. Vytváření modelu začíná úplně od nuly, tedy prázdného modelu, a poté každá iterace přidává proměnnou, která zlepšuje vytvářený model. To, která proměnná je do modelu přidána, je určeno její významností. To může být vypočítáno pomocí různých metrik. Nejpoužívanějším způsobem je aplikace p-hodnot, získaných v počáteční statistické modelu s použitím všech proměnných. Někdy může přímý výběr vést k přeškolení modelu, protože v modelu se mohou vyskytnout silně korelované proměnné, i když poskytují stejnou informaci modelu (ale model přitom vykazuje zlepšení).
Zadní výběr
Zpětný výběr se také skládá z postupného vylučování vlastností, avšak v opačném směru než přímočarý výběr. V tomto případě počáteční model zahrnuje všechny nezávislé proměnné. Poté se proměnné vylučují (jedna za iteraci), pokud nepřispívají k nové regresnímu modelu v každé iteraci. Základem vylučování vlastností jsou p-hodnoty počátečního modelu. I v této metodě existuje nejistota při odstraňování silně korelovaných proměnných.
Rekurzivní vylučování vlastností
RFE je široce používaná technika/algoritmus pro výběr přesného počtu významných vlastností. Někdy se metoda používá k vysvětlení určitého počtu „nejvýznamnějších“ vlastností, které ovlivňují výsledky; a někdy k redukci velmi velkého počtu proměnných (kolem 200-400), přičemž se ponechají pouze ty, které přispívají alespoň nějakým způsobem k modelu, zatímco všechny ostatní se vylučují. RFE využívá systém hodnocení. Vlastnostem v datové sadě jsou přiděleny hodnocení. Tato hodnocení se poté používají pro rekurzivní vylučování vlastností v závislosti na kolinearite mezi nimi a významnosti těchto vlastností v modelu. Kromě hodnocení vlastností může RFE také ukázat, zda jsou tyto vlastnosti důležité nebo ne, i pro daný počet vlastností (protože je velmi pravděpodobné, že zvolený počet vlastností nemusí být optimální a optimální počet vlastností může být jak větší, tak menší než zvolený).
Diagram důležitosti vlastností
Když se hovoří o interpretovatelnosti algoritmů strojového učení, obvykle se diskutují lineární regrese (které umožňují analyzovat významnost vlastností pomocí p-hodnot) a rozhodovací stromy (doslovně ukazující důležitost vlastností ve formě stromu, spolu s jejich hierarchií). Na druhé straně u algoritmů jako Random Forest, LightGBM a XG Boost se často používá diagram důležitosti vlastností, to znamená, že se vytváří diagram proměnných a „množství jejich důležitosti“. To je obzvlášť užitečné, když je třeba poskytnout strukturované odůvodnění důležitosti vlastností z pohledu jejich vlivu na podnikání.
Regularizace
Regularizace se provádí za účelem řízení rovnováhy mezi zaujatostí (bias) a rozptylem (variance). Zaujatost ukazuje, jak moc se model přeoptimalizoval (overfit) na tréninkovém datasetu. Rozptyl ukazuje, jak se lišila predikce mezi tréninkovým a testovacím datasetem. Ideálně by měla být jak zaujatost, tak rozptyl malé. A zde nastupuje na scénu regularizace! Existují dvě hlavní techniky:
L1 regularizace – Lasso: Lasso penalizuje váhové koeficienty modelu za účelem změny jejich důležitosti pro model a může je dokonce zcela anulovat (tj. odstranit tyto proměnné z konečného modelu). Obvykle se Lasso používá, pokud dataset obsahuje velké množství proměnných a je třeba některé z nich vyloučit, aby lépe pochopili, jak důležité vlastnosti ovlivňují model (tj. ty vlastnosti, které byly vybrány Lasso a mají stanovenou důležitost).
L2 regularizace – metodou Ridge: Cílem Ridge je zachování všech proměnných a zároveň jim přiřazení důležitosti na základě jejich příspěvku k účinnosti modelu. Ridge bude dobrou volbou, pokud dataset obsahuje malé množství proměnných a všechny jsou nezbytné pro interpretaci závěrů a získaných výsledků.
Protože Ridge zachovává všechny proměnné a Lasso lépe stanovuje jejich důležitost, byl vyvinut algoritmus, který spojuje nejlepší funkce obou regularizací a je známý jako Elastic-Net.
Existuje mnoho dalších metod výběru vlastností pro strojové učení, ale hlavní myšlenka zůstává vždy stejná: demonstrovat důležitost proměnných a poté některé z nich vyloučit na základě získané důležitosti. Důležitost je velmi subjektivní pojem, protože to není jeden, ale celá řada metrik a diagramů, které mohou být použity k nalezení klíčových vlastností.
Děkujeme za přečtení! Šťastné učení!
Zdroj: habr.com
