기계 학습의 기능 선택

헤이 하브르!

Reksoft에서는 기사를 러시아어로 번역했습니다. 기계 학습의 기능 선택. 해당 주제에 관심이 있는 모든 분들께 도움이 되기를 바랍니다.

현실 세계에서 데이터는 비즈니스 고객이 생각하는 것만큼 항상 깨끗하지는 않습니다. 이것이 바로 데이터 마이닝과 데이터 랭글링이 요구되는 이유입니다. 쿼리 구조의 데이터에서 사람이 식별할 수 없는 결측값과 패턴을 식별하는 데 도움이 됩니다. 이러한 패턴을 찾고 사용하여 데이터에서 발견된 관계를 사용하여 결과를 예측하려면 기계 학습이 유용합니다.

알고리즘을 이해하려면 데이터의 모든 변수를 살펴보고 해당 변수가 무엇을 나타내는지 파악해야 합니다. 이는 결과의 근거가 데이터 이해를 기반으로 하기 때문에 매우 중요합니다. 데이터에 5개 또는 50개의 변수가 포함되어 있으면 모두 조사할 수 있습니다. 만약 200개가 있다면 어떨까요? 그러면 모든 단일 변수를 연구할 시간이 충분하지 않을 것입니다. 또한 일부 알고리즘은 범주형 데이터에 작동하지 않으므로 모든 범주형 열을 정량적 변수(정량적으로 보일 수 있지만 메트릭에서는 범주형으로 표시됨)로 변환하여 모델에 추가해야 합니다. 그래서 변수의 개수가 늘어나서 약 500개 정도가 되었는데, 이제 어떻게 해야 할까요? 차원을 줄이는 것이 답이라고 생각할 수도 있습니다. 차원 축소 알고리즘은 매개변수 수를 줄이지만 해석 가능성에 부정적인 영향을 미칩니다. 기능을 제거하고 나머지 기능을 쉽게 이해하고 해석할 수 있는 다른 기술이 있다면 어떨까요?

분석이 회귀 기반인지 분류 기반인지에 따라 특징 선택 알고리즘이 다를 수 있지만 구현의 주요 아이디어는 동일합니다.

상관관계가 높은 변수

서로 상관관계가 높은 변수들은 모델에 동일한 정보를 제공하므로 분석에 모두 사용할 필요는 없습니다. 예를 들어, 데이터 세트에 "온라인 시간" 및 "사용된 트래픽" 기능이 포함된 경우 두 기능이 어느 정도 상관 관계가 있다고 가정할 수 있으며 편견이 없는 데이터 샘플을 선택하더라도 강한 상관 관계를 볼 수 있습니다. 이 경우 모델에는 이러한 변수 중 하나만 필요합니다. 두 가지를 모두 사용하면 모델이 과적합되어 하나의 특정 기능에 편향됩니다.

P-값

선형 회귀와 같은 알고리즘에서는 초기 통계 모델이 항상 좋은 생각입니다. 이 모델에서 얻은 p-값을 통해 특징의 중요성을 보여주는 데 도움이 됩니다. 유의 수준을 설정한 후 결과 p-값을 확인하고 값이 지정된 유의 수준보다 낮으면 이 기능은 유의미한 것으로 선언됩니다. 즉, 값이 변경되면 값이 변경될 가능성이 높습니다. 목표.

직접 선택

순방향 선택은 단계적 회귀를 적용하는 기술입니다. 모델 구축은 완전한 XNUMX, 즉 빈 모델로 시작되며, 각 반복은 구축 중인 모델을 개선하는 변수를 추가합니다. 모델에 추가되는 변수는 해당 변수의 중요성에 따라 결정됩니다. 이는 다양한 측정항목을 사용하여 계산할 수 있습니다. 가장 일반적인 방법은 모든 변수를 사용하여 원래 통계 모델에서 얻은 p-값을 사용하는 것입니다. 때로는 전진 선택이 모델에 동일한 정보를 제공하더라도 모델에 상관 관계가 높은 변수가 있을 수 있기 때문에 모델에 과적합이 발생할 수 있습니다(그러나 모델은 여전히 ​​개선을 보여줍니다).

역방향 선택

역방향 선택도 특성을 단계적으로 제거하지만 순방향 선택과 비교하면 반대 방향입니다. 이 경우 초기 모형에는 모든 독립변수가 포함됩니다. 그런 다음 각 반복에서 새 회귀 모델에 가치를 제공하지 않는 변수는 제거됩니다(반복당 하나씩). 특징 제외는 초기 모델의 p-값을 기반으로 합니다. 이 방법은 상관관계가 높은 변수를 제거할 때 불확실성도 있습니다.

재귀적 특징 제거

RFE는 중요한 특징의 정확한 수를 선택하기 위해 널리 사용되는 기술/알고리즘입니다. 때때로 이 방법은 결과에 영향을 미치는 여러 가지 "가장 중요한" 기능을 설명하는 데 사용됩니다. 때로는 매우 많은 수의 변수(약 200-400개)를 줄이기 위해 모델에 최소한 어느 정도 기여하는 변수만 유지되고 다른 모든 변수는 제외됩니다. RFE는 순위 시스템을 사용합니다. 데이터 세트의 기능에는 순위가 할당됩니다. 그런 다음 이러한 순위는 기능 간의 공선성과 모델에서 해당 기능의 중요성을 기반으로 기능을 반복적으로 제거하는 데 사용됩니다. 순위 지정 기능 외에도 RFE는 이러한 기능이 주어진 기능 수에 대해서도 중요한지 여부를 표시할 수 있습니다(왜냐하면 선택한 기능 수가 최적이 아닐 가능성이 높기 때문이며 최적의 기능 수는 그 이상일 수 있기 때문입니다) 또는 선택한 숫자보다 작습니다).

기능 중요도 다이어그램

기계 학습 알고리즘의 해석 가능성에 관해 이야기할 때 일반적으로 선형 회귀(p-값을 사용하여 특성의 중요성을 분석할 수 있음)와 의사 결정 트리(문자 그대로 트리 형태로 특성의 중요성을 표시함)에 대해 논의합니다. 동시에 계층 구조). 반면에 Random Forest, LightGBM 및 XG Boost와 같은 알고리즘은 특성 중요도 다이어그램, 즉 변수 다이어그램과 "중요도 수치"가 표시되는 경우가 많습니다. 이는 비즈니스에 미치는 영향 측면에서 속성의 중요성에 대한 구조화된 근거를 제공해야 할 때 특히 유용합니다.

정규화

편향과 분산 사이의 균형을 제어하기 위해 정규화가 수행됩니다. 편향은 모델이 훈련 데이터 세트에 얼마나 과적합되었는지 보여줍니다. 편차는 학습 데이터세트와 테스트 데이터세트 간의 예측이 얼마나 다른지 보여줍니다. 이상적으로는 편향과 분산이 모두 작아야 합니다. 이것이 바로 정규화가 구출되는 곳입니다! 두 가지 주요 기술이 있습니다.

L1 정규화 - 올가미: 올가미는 모델 가중치에 불이익을 주어 모델에 대한 중요성을 변경하고 심지어 null을 적용할 수도 있습니다(즉, 최종 모델에서 해당 변수를 제거함). 일반적으로 Lasso는 데이터 세트에 많은 수의 변수가 포함되어 있고 중요한 기능이 모델에 미치는 영향(즉, Lasso에서 선택하고 중요도가 할당된 기능)을 더 잘 이해하기 위해 일부 변수를 제외하려는 경우에 사용됩니다.

L2 정규화 - Ridge 방법: Ridge의 임무는 모든 변수를 저장하는 동시에 모델 성능에 대한 기여도에 따라 중요도를 할당하는 것입니다. Ridge는 데이터 세트에 소수의 변수가 포함되어 있고 모든 변수가 결과 및 얻은 결과를 해석하는 데 필요한 경우 좋은 선택이 될 것입니다.

Ridge는 모든 변수를 유지하고 Lasso는 변수의 중요성을 더 잘 설정하므로 Elastic-Net이라고 알려진 두 정규화의 가장 좋은 기능을 결합하는 알고리즘이 개발되었습니다.

기계 학습을 위한 기능을 선택하는 방법은 더 많지만 주요 아이디어는 항상 동일합니다. 즉, 변수의 중요성을 입증한 다음 결과 중요성에 따라 일부를 제거하는 것입니다. 중요도는 하나가 아니라 핵심 속성을 찾는 데 사용할 수 있는 전체 측정항목 및 차트 집합이므로 매우 주관적인 용어입니다.

읽어 주셔서 감사합니다! 즐거운 학습!

출처 : habr.com