선형 회귀 방정식을 행렬 형태로 가져옵니다.

이 기사의 목적은 초보 데이터 과학자에게 지원을 제공하는 것입니다. 안에 이전 기사 선형 회귀 방정식을 푸는 세 가지 방법, 즉 분석 솔루션, 경사하강법, 확률적 경사하강법을 간략하게 설명했습니다. 그런 다음 분석 솔루션을 위해 공식을 적용했습니다. . 이 기사에서는 제목에서 알 수 있듯이 이 공식의 사용을 정당화하거나, 즉 직접 파생해 보겠습니다.

공식에 특별한 주의를 기울이는 것이 왜 타당합니까? ?

대부분의 경우 선형 회귀에 익숙해지기 시작하는 것은 행렬 방정식을 사용하는 것입니다. 동시에 공식이 어떻게 도출되었는지에 대한 자세한 계산은 거의 없습니다.

예를 들어 Yandex의 기계 학습 과정에서 학생들에게 정규화를 소개하면 라이브러리의 기능을 사용하도록 제안됩니다. kle 다, 알고리즘의 행렬 표현에 대해서는 한마디도 언급되지 않았습니다. 이 순간 일부 청취자는 이 문제를 더 자세히 이해하고 싶어할 수 있습니다. 이미 만들어진 함수를 사용하지 않고 코드를 작성하세요. 이를 위해서는 먼저 행렬 형태의 정규화 기능을 사용하여 방정식을 제시해야 합니다. 이 기사에서는 그러한 기술을 습득하려는 사람들을 허용할 것입니다. 시작하자.

초기 조건

목표지표

우리는 다양한 목표 값을 가지고 있습니다. 예를 들어, 목표 지표는 석유, 금, 밀, 달러 등 모든 자산의 가격이 될 수 있습니다. 동시에, 목표 지표 값의 수는 관찰 수를 의미합니다. 예를 들어, 그러한 관찰은 해당 연도의 월간 유가일 수 있습니다. 즉, 우리는 12개의 목표 값을 갖게 됩니다. 표기법 소개를 시작해 보겠습니다. 목표 지표의 각 값을 다음과 같이 표시하겠습니다. . 전체적으로 우리는 관찰, 이는 관찰을 다음과 같이 나타낼 수 있음을 의미합니다. .

회귀자

목표 지표의 값을 어느 정도 설명하는 요인이 있다고 가정하겠습니다. 예를 들어, 달러/루블 환율은 유가, 연방준비은행 금리 등에 크게 영향을 받습니다. 이러한 요인을 회귀변수라고 합니다. 동시에 각 목표 지표 값은 회귀 값과 일치해야 합니다. 즉, 12년 매월 2018개의 목표 지표가 있는 경우 동일한 기간에 대한 12개의 회귀 값도 있어야 합니다. 각 회귀 변수의 값을 다음과 같이 표시하겠습니다. . 우리의 경우에는 회귀자(예: 목표 지표 값에 영향을 미치는 요인). 이는 회귀 변수가 다음과 같이 표시될 수 있음을 의미합니다. 첫 번째 회귀 변수의 경우(예: 석유 가격): , 두 번째 회귀 변수(예: 연준 금리)의 경우: , 을 위한 "-th" 회귀자:

회귀 변수에 대한 대상 지표의 의존성

목표 지표의 의존성이 있다고 가정합시다. 회귀자로부터 ""관찰은 다음 형식의 선형 회귀 방정식을 통해 표현될 수 있습니다.

어디에서 - "-th" 회귀값은 1부터 ,

— 1에서 회귀자 수

— 각도 계수는 회귀 변수가 변경될 때 계산된 대상 지표가 평균적으로 변경되는 양을 나타냅니다.

즉, 우리는 모든 사람을 위한 것입니다. ) 회귀 분석기의 "우리" 계수를 결정합니다. , 계수에 회귀 변수의 값을 곱합니다. "일" 관찰 결과로 우리는 특정 근사치를 얻습니다 "-th" 목표 표시기.

그러므로 우리는 그러한 계수를 선택해야 합니다. , 근사 함수의 값 목표 지표 값에 최대한 가깝게 위치하게 됩니다.

근사 함수의 품질 평가

최소 제곱법을 사용하여 근사 함수의 품질 평가를 결정합니다. 이 경우 품질 평가 기능은 다음과 같은 형식을 취합니다.

우리는 $w$의 계수 값을 선택해야 합니다. 가장 작을 것입니다.

방정식을 행렬 형태로 변환

벡터 표현

우선, 삶을 더 쉽게 만들기 위해 선형 회귀 방정식에 주의를 기울이고 첫 번째 계수가 어떤 회귀변수도 곱해지지 않습니다. 동시에 데이터를 행렬 형식으로 변환하면 위에서 언급한 상황으로 인해 계산이 심각하게 복잡해집니다. 이와 관련하여 첫 번째 계수에 대해 또 다른 회귀분석기를 도입하는 것이 제안됩니다. 그리고 그것을 하나로 동일시합니다. 아니면 오히려 매 "이 회귀 분석기의 값을 XNUMX과 동일시합니다. 결국 XNUMX을 곱하면 계산 결과의 관점에서는 아무것도 변하지 않지만 행렬 곱에 대한 규칙의 관점에서 보면 우리의 고통 현저히 줄어들게 됩니다.

이제 지금은 자료를 단순화하기 위해 "-번째" 관찰. 그런 다음 회귀 변수의 값을 상상해보십시오.-th" 관측치를 벡터로 . 벡터 차원이 있다 즉, 행과 열 1개:

필요한 계수를 벡터로 표현해보자 , 차원을 갖는 것 :

"에 대한 선형 회귀 방정식-th" 관찰은 다음과 같은 형식을 취합니다.

선형 모델의 품질을 평가하는 기능은 다음과 같은 형식을 취합니다.

행렬 곱셈의 규칙에 따라 벡터를 전치해야 했습니다. .

매트릭스 표현

벡터를 곱한 결과 다음과 같은 숫자를 얻습니다. , 이는 예상됩니다. 이 숫자는 대략적인 수치입니다."-th" 목표 표시기. 하지만 하나의 목표 값뿐만 아니라 모든 목표 값의 근사치가 필요합니다. 그러기 위해서는 모든 것을 적어보자”-th" 행렬 형식의 회귀자 . 결과 행렬은 다음 차원을 갖습니다. :

이제 선형 회귀 방정식은 다음과 같은 형식을 취합니다.

목표 지표의 값을 표시합시다 (모두 ) 벡터당 치수 :

이제 행렬 형식으로 선형 모델의 품질을 평가하는 방정식을 작성할 수 있습니다.

실제로, 이 공식으로부터 우리는 우리에게 알려진 공식을 더 얻습니다.

어떻게 이루어졌나요? 괄호를 열고, 미분을 수행하고, 결과 표현식을 변환하는 등의 작업이 바로 지금 수행할 작업입니다.

매트릭스 변환

괄호를 열어보자

미분 방정식을 준비해보자

이를 위해 몇 가지 변환을 수행하겠습니다. 후속 계산에서는 벡터를 사용하는 것이 더 편리할 것입니다. 방정식의 각 제품의 시작 부분에 표시됩니다.

전환 1

어떻게이 일이 일어 났어요? 이 질문에 대답하려면 곱셈되는 행렬의 크기를 살펴보고 출력에서 ​​숫자 등을 얻는다는 것을 확인하십시오. .

행렬 표현식의 크기를 적어 보겠습니다.

전환 2

변환 1과 비슷한 방식으로 작성해 보겠습니다.

출력에서 우리는 미분해야 하는 방정식을 얻습니다.

모델 품질 평가 기능을 차별화합니다.

벡터에 대해 미분해보자 :

질문 이유 없어야 하지만, 다른 두 표현식의 도함수를 결정하는 연산을 더 자세히 살펴보겠습니다.

차별화 1

차별화를 확장해 보겠습니다.

행렬이나 벡터의 도함수를 결정하려면 그 안에 무엇이 있는지 살펴봐야 합니다. 한번 보자:

행렬의 곱을 나타내자 매트릭스를 통해 . 행렬 정사각형이고 게다가 대칭입니다. 이 속성은 나중에 우리에게 유용할 것입니다. 기억해 두세요. 행렬 차원이 있다 :

이제 우리의 임무는 벡터에 행렬을 올바르게 곱하고 "XNUMX는 XNUMX"를 얻지 않는 것이므로 집중하고 극도로 조심합시다.

그러나 복잡한 표현을 실현했습니다! 사실, 우리는 스칼라라는 숫자를 얻었습니다. 이제 실제로 차별화로 넘어갑니다. 각 계수에 대해 결과 표현식의 도함수를 찾는 것이 필요합니다. 차원 벡터를 출력으로 가져옵니다. . 만일을 대비하여 조치별로 절차를 적어 보겠습니다.

1) 차별화 , 우리는 다음을 얻습니다:

2) 차별화 , 우리는 다음을 얻습니다:

3) 차별화 , 우리는 다음을 얻습니다:

출력은 약속된 크기 벡터입니다. :

벡터를 더 자세히 살펴보면 벡터의 왼쪽 요소와 오른쪽 요소가 그룹화되어 결과적으로 벡터가 제시된 벡터에서 분리될 수 있다는 것을 알 수 있습니다. размера . 예를 들어, (벡터 맨 윗줄의 왼쪽 요소) (벡터 윗줄의 오른쪽 요소)는 다음과 같이 표현될 수 있습니다. 과 - 같이 등. 각 줄에. 그룹화해보자:

벡터를 꺼내보자 그리고 출력에서 ​​우리는 다음을 얻습니다:

이제 결과 행렬을 자세히 살펴보겠습니다. 행렬은 두 행렬의 합입니다. :

조금 더 일찍 우리가 행렬의 중요한 속성 중 하나를 언급했다는 것을 기억해 봅시다. - 대칭입니다. 이 속성을 바탕으로 우리는 다음과 같은 표현을 자신있게 말할 수 있습니다. 같음 . 이는 행렬 요소의 곱을 요소별로 확장하여 쉽게 확인할 수 있습니다. . 여기서는 이 작업을 수행하지 않으며 관심 있는 사용자는 직접 확인할 수 있습니다.

우리의 표현으로 돌아가자. 변환 후에는 우리가 보고 싶은 대로 나타났습니다.

이로써 XNUMX차 차별화가 완료되었습니다. 두 번째 표현으로 넘어가겠습니다.

차별화 2

구타당한 길을 따라 갑시다. 이전보다 훨씬 짧아지므로 화면에서 너무 멀리 나가지 마세요.

벡터와 행렬 요소를 요소별로 확장해 보겠습니다.

잠시 동안 계산에서 두 가지를 제거해 보겠습니다. 큰 역할을 하지 않는 경우 다시 제자리에 두겠습니다. 벡터에 행렬을 곱해 봅시다. 우선 행렬을 곱해보자. 벡터하다 , 여기에는 제한이 없습니다. 우리는 크기 벡터를 얻습니다. :

다음 작업을 수행해 보겠습니다. 벡터를 곱합니다. 결과 벡터에. 출구에서 다음 번호가 우리를 기다리고 있습니다.

그럼 차별화해보겠습니다. 출력에서 우리는 차원의 벡터를 얻습니다 :

뭔가 생각나는데? 좋아요! 이것은 매트릭스의 산물이다. 벡터하다 .

이로써 XNUMX차 차별화가 성공적으로 마무리됐다.

대신 결론

이제 우리는 평등이 어떻게 이루어졌는지 안다. .

마지막으로 기본 수식을 변환하는 빠른 방법을 설명합니다.

최소 제곱법에 따라 모델의 품질을 평가해 보겠습니다.

결과 표현식을 차별화해 보겠습니다.

문학

인터넷 출처:

1) habr.com/en/post/278513
2) habr.com/ru/company/ods/blog/322076
3) habr.com/en/post/307004
4) nabatchikov.com/blog/view/matrix_der

교과서, 문제집:

1) 고등수학강의노트 : 풀코스 / D.T. 작성 – 4판. – M.: 아이리스프레스, 2006
2) 응용회귀분석 / N. Draper, G. Smith - 2nd ed. – M.: 금융 및 통계, 1986(영어 번역)
3) 행렬 방정식을 풀기 위한 문제:
function-x.ru/matrix_equations.html
mathprofi.ru/deistviya_s_matricami.html

출처 : habr.com