วัตถุประสงค์ของบทความนี้คือเพื่อสนับสนุนนักวิทยาศาสตร์ข้อมูลมือใหม่ ใน
เหตุใดจึงควรให้ความสำคัญกับสูตรเป็นพิเศษ ?
ด้วยสมการเมทริกซ์ซึ่งในกรณีส่วนใหญ่เราจะเริ่มทำความคุ้นเคยกับการถดถอยเชิงเส้น ในขณะเดียวกัน การคำนวณโดยละเอียดเกี่ยวกับวิธีการหาสูตรนั้นหาได้ยาก
ตัวอย่างเช่น ในหลักสูตรการเรียนรู้ของเครื่องจาก Yandex เมื่อนักเรียนได้รับการแนะนำให้รู้จักกับการทำให้เป็นมาตรฐาน พวกเขาจะถูกเสนอให้ใช้ฟังก์ชันจากห้องสมุด สเลิร์นแม้ว่าจะไม่มีการกล่าวถึงคำใดเกี่ยวกับการเป็นตัวแทนเมทริกซ์ของอัลกอริทึม ในขณะนี้เองที่ผู้ฟังบางคนอาจต้องการทำความเข้าใจปัญหานี้โดยละเอียดยิ่งขึ้น - เขียนโค้ดโดยไม่ต้องใช้ฟังก์ชันสำเร็จรูป และในการทำเช่นนี้ คุณต้องนำเสนอสมการด้วย Regularizer ในรูปแบบเมทริกซ์ก่อน บทความนี้จะเปิดโอกาสให้ผู้ที่ต้องการฝึกฝนทักษะดังกล่าว มาเริ่มกันเลย.
เงื่อนไขเบื้องต้น
ตัวชี้วัดเป้าหมาย
เรามีค่าเป้าหมายที่หลากหลาย ตัวอย่างเช่น ตัวบ่งชี้เป้าหมายอาจเป็นราคาของสินทรัพย์ใดๆ เช่น น้ำมัน ทองคำ ข้าวสาลี ดอลลาร์ ฯลฯ ในเวลาเดียวกัน ด้วยค่าตัวบ่งชี้เป้าหมายจำนวนหนึ่ง เราหมายถึงจำนวนการสังเกต การสังเกตดังกล่าวอาจเป็นราคาน้ำมันรายเดือนสำหรับปี กล่าวคือ เราจะมีค่าเป้าหมาย 12 ค่า เรามาเริ่มแนะนำสัญกรณ์กันดีกว่า ให้เราแสดงแต่ละค่าของตัวบ่งชี้เป้าหมายเป็น . โดยรวมแล้วเรามี การสังเกต ซึ่งหมายความว่าเราสามารถแสดงการสังเกตของเราได้ .
ผู้ถดถอย
เราจะถือว่ามีปัจจัยที่อธิบายค่าของตัวบ่งชี้เป้าหมายได้ในระดับหนึ่ง ตัวอย่างเช่น อัตราแลกเปลี่ยนดอลลาร์/รูเบิลได้รับอิทธิพลอย่างมากจากราคาน้ำมัน อัตราของธนาคารกลางสหรัฐ ฯลฯ ปัจจัยดังกล่าวเรียกว่าปัจจัยถดถอย ในเวลาเดียวกัน ค่าตัวบ่งชี้เป้าหมายแต่ละรายการจะต้องสอดคล้องกับค่าตัวถดถอย กล่าวคือ หากเรามีตัวบ่งชี้เป้าหมาย 12 ตัวในแต่ละเดือนในปี 2018 เราก็ควรมีค่าตัวถดถอย 12 ค่าในช่วงเวลาเดียวกันด้วย ให้เราแสดงค่าของตัวถดถอยแต่ละตัวด้วย . ให้ในกรณีของเรามี ผู้ถดถอย (เช่น ปัจจัยที่มีอิทธิพลต่อค่าตัวบ่งชี้เป้าหมาย) ซึ่งหมายความว่าสามารถแสดงตัวถดถอยของเราได้ดังต่อไปนี้: สำหรับตัวถดถอยที่ 1 (เช่น ราคาน้ำมัน): สำหรับผู้ถดถอยครั้งที่ 2 (เช่น อัตราเฟด): , สำหรับ "-th" ตัวถดถอย:
การพึ่งพาตัวบ่งชี้เป้าหมายกับตัวถดถอย
ให้เราสมมติว่าการพึ่งพาตัวบ่งชี้เป้าหมาย จากผู้ถดถอย”การสังเกตสามารถแสดงผ่านสมการการถดถอยเชิงเส้นในรูปแบบ:
ที่ไหน - "-th" ค่าตัวถดถอยตั้งแต่ 1 ถึง ,
- จำนวนผู้ถดถอยตั้งแต่ 1 ถึง
— ค่าสัมประสิทธิ์เชิงมุมซึ่งแสดงถึงจำนวนที่ตัวบ่งชี้เป้าหมายที่คำนวณได้จะเปลี่ยนแปลงโดยเฉลี่ยเมื่อตัวถดถอยเปลี่ยนแปลง
กล่าวอีกนัยหนึ่ง เรามีไว้สำหรับทุกคน (ยกเว้น ) ของตัวถดถอยเราจะกำหนดค่าสัมประสิทธิ์ "ของเรา" แล้วคูณสัมประสิทธิ์ด้วยค่าของตัวถดถอย "th" การสังเกตด้วยเหตุนี้เราจึงได้ค่าประมาณที่แน่นอน "-th" ตัวบ่งชี้เป้าหมาย
ดังนั้นเราจึงต้องเลือกค่าสัมประสิทธิ์ดังกล่าว ซึ่งค่าของฟังก์ชันการประมาณของเรา จะตั้งอยู่ใกล้กับค่าตัวบ่งชี้เป้าหมายมากที่สุด
การประเมินคุณภาพของฟังก์ชันการประมาณ
เราจะพิจารณาการประเมินคุณภาพของฟังก์ชันการประมาณโดยใช้วิธีกำลังสองน้อยที่สุด ฟังก์ชันการประเมินคุณภาพในกรณีนี้จะใช้แบบฟอร์มต่อไปนี้:
เราจำเป็นต้องเลือกค่าดังกล่าวของสัมประสิทธิ์ $w$ ซึ่งเป็นค่านั้น จะเล็กที่สุด
การแปลงสมการเป็นรูปแบบเมทริกซ์
การแสดงเวกเตอร์
ก่อนอื่นเพื่อให้ชีวิตของคุณง่ายขึ้นคุณควรใส่ใจกับสมการถดถอยเชิงเส้นและสังเกตว่าค่าสัมประสิทธิ์แรก จะไม่คูณด้วยตัวถดถอยใดๆ ในขณะเดียวกัน เมื่อเราแปลงข้อมูลเป็นรูปแบบเมทริกซ์ เหตุการณ์ที่กล่าวมาข้างต้นจะทำให้การคำนวณยุ่งยากอย่างมาก ในเรื่องนี้เสนอให้แนะนำตัวถดถอยตัวอื่นสำหรับค่าสัมประสิทธิ์แรก และทำให้มันเท่ากับหนึ่ง หรือค่อนข้างทุก "เท่ากับค่า th ของตัวถดถอยนี้เป็นหนึ่ง - หลังจากทั้งหมดเมื่อคูณด้วยหนึ่งจะไม่มีอะไรเปลี่ยนแปลงจากมุมมองของผลลัพธ์ของการคำนวณ แต่จากมุมมองของกฎสำหรับผลคูณของเมทริกซ์การทรมานของเรา จะลดลงอย่างมาก
ในตอนนี้ เพื่อให้วัสดุง่ายขึ้น สมมติว่าเรามีเพียงหนึ่ง "-th" การสังเกต แล้วลองจินตนาการถึงคุณค่าของผู้ถดถอย”-th" การสังเกตในรูปแบบเวกเตอร์ . เวกเตอร์ มีมิติ นั่นคือ แถวและ 1 คอลัมน์:
ลองแสดงสัมประสิทธิ์ที่ต้องการเป็นเวกเตอร์ มีมิติ :
สมการการถดถอยเชิงเส้นสำหรับ "-th" การสังเกตจะอยู่ในรูปแบบ:
ฟังก์ชันสำหรับประเมินคุณภาพของแบบจำลองเชิงเส้นจะอยู่ในรูปแบบ:
โปรดทราบว่าตามกฎของการคูณเมทริกซ์ เราจำเป็นต้องย้ายเวกเตอร์ .
การเป็นตัวแทนเมทริกซ์
จากการคูณเวกเตอร์ เราจะได้ตัวเลข: ซึ่งเป็นสิ่งที่คาดหวังได้ ตัวเลขนี้เป็นค่าประมาณ”-th" ตัวบ่งชี้เป้าหมาย แต่เราต้องการการประมาณไม่ใช่แค่ค่าเป้าหมายเดียวเท่านั้น แต่ยังต้องมีค่าประมาณทั้งหมดด้วย เพื่อทำสิ่งนี้มาเขียนทุกอย่างกันเถอะ”-th" ตัวถดถอยในรูปแบบเมทริกซ์ . เมทริกซ์ผลลัพธ์จะมีมิติ :
ตอนนี้สมการการถดถอยเชิงเส้นจะอยู่ในรูปแบบ:
ให้เราแสดงค่าของตัวบ่งชี้เป้าหมาย (ทั้งหมด ) ต่อเวกเตอร์ มิติ :
ตอนนี้เราสามารถเขียนสมการเพื่อประเมินคุณภาพของแบบจำลองเชิงเส้นในรูปแบบเมทริกซ์ได้:
จริงๆ แล้ว จากสูตรนี้ เราได้สูตรที่เรารู้จักเพิ่มเติมอีก
เป็นยังไงบ้าง? วงเล็บเปิดอยู่ ดำเนินการสร้างความแตกต่าง นิพจน์ผลลัพธ์จะถูกแปลง ฯลฯ และนี่คือสิ่งที่เราจะทำตอนนี้
การแปลงเมทริกซ์
มาเปิดวงเล็บกันดีกว่า
มาเตรียมสมการเพื่อหาอนุพันธ์กันดีกว่า
เมื่อต้องการทำเช่นนี้ เราจะทำการเปลี่ยนแปลงบางอย่าง ในการคำนวณครั้งต่อไปจะสะดวกกว่าสำหรับเราหากเป็นเวกเตอร์ จะแสดงที่จุดเริ่มต้นของผลคูณแต่ละตัวในสมการ
การแปลง 1
มันเกิดขึ้นได้อย่างไร? เพื่อตอบคำถามนี้ เพียงแค่ดูขนาดของเมทริกซ์ที่กำลังคูณ และดูว่าผลลัพธ์ที่ได้คือตัวเลขหรืออย่างอื่น .
ลองเขียนขนาดของนิพจน์เมทริกซ์กัน
การแปลง 2
ลองเขียนมันแบบเดียวกับการแปลง 1 กัน
ที่ผลลัพธ์ เราได้สมการที่เราต้องแยกความแตกต่าง:
เราสร้างความแตกต่างให้กับฟังก์ชันการประเมินคุณภาพแบบจำลอง
ลองแยกความแตกต่างด้วยความเคารพกับเวกเตอร์กัน :
คำถามว่าทำไม ไม่ควรจะมี แต่เราจะตรวจสอบการดำเนินการเพื่อหาอนุพันธ์ในอีกสองนิพจน์โดยละเอียดยิ่งขึ้น
ความแตกต่าง 1
มาขยายความแตกต่างกัน:
ในการหาอนุพันธ์ของเมทริกซ์หรือเวกเตอร์ คุณต้องดูว่ามีอะไรอยู่ข้างใน มาดูกัน:
ให้เราแสดงผลคูณของเมทริกซ์ ผ่านเมทริกซ์ . เมทริกซ์ สี่เหลี่ยมจัตุรัสและยิ่งไปกว่านั้น มันยังสมมาตรอีกด้วย คุณสมบัติเหล่านี้จะเป็นประโยชน์กับเราในภายหลัง จำไว้เลย เมทริกซ์ มีมิติ :
ตอนนี้งานของเราคือการคูณเวกเตอร์ด้วยเมทริกซ์ให้ถูกต้องและไม่ให้ "สองเท่าเป็นห้า" ดังนั้นขอให้มีสมาธิและระมัดระวังอย่างยิ่ง
อย่างไรก็ตาม เราได้รับการแสดงออกที่ซับซ้อน! ที่จริง เรามีตัวเลข -- สเกลาร์ และตอนนี้ จริงๆ แล้ว เราก้าวไปสู่การสร้างความแตกต่าง จำเป็นต้องค้นหาอนุพันธ์ของนิพจน์ผลลัพธ์สำหรับแต่ละสัมประสิทธิ์ และรับเวกเตอร์มิติเป็นเอาต์พุต . ในกรณีนี้ ฉันจะเขียนขั้นตอนตามการดำเนินการ:
1) สร้างความแตกต่างโดย , เราได้รับ:
2) สร้างความแตกต่างโดย , เราได้รับ:
3) สร้างความแตกต่างโดย , เราได้รับ:
ผลลัพธ์คือเวกเตอร์ขนาดที่สัญญาไว้ :
หากคุณดูเวกเตอร์อย่างใกล้ชิดมากขึ้น คุณจะสังเกตเห็นว่าองค์ประกอบด้านซ้ายและด้านขวาของเวกเตอร์สามารถจัดกลุ่มในลักษณะที่ทำให้เวกเตอร์สามารถแยกออกจากเวกเตอร์ที่นำเสนอได้ ขนาด . ตัวอย่างเช่น (องค์ประกอบด้านซ้ายของเส้นบนสุดของเวกเตอร์) (องค์ประกอบด้านขวาของเส้นบนสุดของเวกเตอร์) สามารถแสดงเป็น และ - เช่น ฯลฯ ในแต่ละบรรทัด มาจัดกลุ่มกัน:
ลองเอาเวกเตอร์ออกมา และที่ผลลัพธ์เราได้รับ:
ทีนี้ เรามาดูเมทริกซ์ผลลัพธ์กันดีกว่า เมทริกซ์คือผลรวมของเมทริกซ์สองตัว :
ให้เราจำไว้ว่าก่อนหน้านี้เล็กน้อยเราได้สังเกตคุณสมบัติที่สำคัญอย่างหนึ่งของเมทริกซ์ - มันสมมาตร จากคุณสมบัตินี้เราสามารถพูดได้อย่างมั่นใจว่าสำนวนนี้ เท่ากับ . ซึ่งสามารถตรวจสอบได้อย่างง่ายดายโดยการขยายผลคูณขององค์ประกอบเมทริกซ์ทีละองค์ประกอบ . เราจะไม่ทำที่นี่ ผู้สนใจสามารถตรวจสอบได้ด้วยตนเอง
กลับไปที่การแสดงออกของเรา หลังจากการเปลี่ยนแปลงของเรา มันกลับกลายเป็นอย่างที่เราต้องการเห็น:
ดังนั้นเราจึงได้เสร็จสิ้นการสร้างความแตกต่างครั้งแรกแล้ว มาดูนิพจน์ที่สองกันดีกว่า
ความแตกต่าง 2
มาตามเส้นทางที่ถูกตีกันเถอะ มันจะสั้นกว่าครั้งก่อนมาก ดังนั้นอย่าอยู่ห่างจากหน้าจอมากเกินไป
ลองขยายองค์ประกอบเวกเตอร์และเมทริกซ์ตามองค์ประกอบ:
ลองลบทั้งสองออกจากการคำนวณสักพัก - มันไม่ได้มีบทบาทสำคัญ จากนั้นเราจะนำมันกลับเข้าที่ ลองคูณเวกเตอร์ด้วยเมทริกซ์กัน ก่อนอื่น ลองคูณเมทริกซ์กันก่อน เป็นเวกเตอร์ เราไม่มีข้อ จำกัด ที่นี่ เราได้เวกเตอร์ขนาด :
มาดำเนินการต่อไปนี้ - คูณเวกเตอร์ ไปยังเวกเตอร์ผลลัพธ์ ที่ทางออกหมายเลขจะรอเราอยู่:
แล้วเราจะแยกแยะมัน ที่เอาต์พุตเราจะได้เวกเตอร์ของมิติ :
ทำให้ฉันนึกถึงบางสิ่งบางอย่าง? ถูกตัอง! นี่คือผลคูณของเมทริกซ์ เป็นเวกเตอร์ .
ดังนั้นการสร้างความแตกต่างครั้งที่สองจึงเสร็จสมบูรณ์
แทนการสรุป
ตอนนี้เรารู้แล้วว่าความเท่าเทียมกันเกิดขึ้นได้อย่างไร .
สุดท้ายนี้ เราจะอธิบายวิธีที่รวดเร็วในการแปลงสูตรพื้นฐาน
มาประเมินคุณภาพของแบบจำลองตามวิธีกำลังสองน้อยที่สุด:
ให้เราแยกแยะนิพจน์ผลลัพธ์:
วรรณกรรม
แหล่งที่มาทางอินเทอร์เน็ต:
1)
2)
3)
4)
หนังสือเรียนรวบรวมปัญหา:
1) บันทึกการบรรยายวิชาคณิตศาสตร์ขั้นสูง: เต็มหลักสูตร / D.T. เขียน – ฉบับที่ 4 – อ.: ไอริส-เพรส, 2006
2) การวิเคราะห์การถดถอยประยุกต์ / N. Draper, G. Smith - 2nd ed. – อ.: การเงินและสถิติ, 1986 (แปลจากภาษาอังกฤษ)
3) ปัญหาในการแก้สมการเมทริกซ์:
ที่มา: will.com