ทีมนักวิจัยจาก Stanford University, University of California at Berkeley, ETH Zurich, Graduate School of Economics, Carnegie Mellon University รวมถึง Yandex และ Meta ได้เผยแพร่ซอร์สโค้ดของกลไกสำหรับการรันโมเดลภาษาขนาดใหญ่บนทรัพยากร -ระบบที่มีข้อจำกัด ตัวอย่างเช่น เอ็นจิ้นให้ความสามารถในการสร้างฟังก์ชันที่ชวนให้นึกถึง ChatGPT และ Copilot โดยการรันโมเดล OPT-175B ที่ได้รับการฝึกอบรมล่วงหน้า ซึ่งครอบคลุมพารามิเตอร์ 175 พันล้านพารามิเตอร์ บนคอมพิวเตอร์ทั่วไปที่มีการ์ดกราฟิกสำหรับเล่นเกม NVIDIA RTX3090 ที่มาพร้อมกับหน่วยความจำวิดีโอขนาด 24GB โค้ดนี้เขียนด้วยภาษา Python ใช้เฟรมเวิร์ก PyTorch และเผยแพร่ภายใต้ลิขสิทธิ์ Apache 2.0
ประกอบด้วยสคริปต์ตัวอย่างสำหรับการสร้างบอทที่ให้คุณดาวน์โหลดหนึ่งในโมเดลภาษาที่เผยแพร่ต่อสาธารณะ และเริ่มการสื่อสารได้ทันที (เช่น โดยการรันคำสั่ง “python apps/chatbot.py —model facebook/opt-30b — -percent 0 100 100 0 100 0”) โดยพื้นฐานแล้ว ขอเสนอให้ใช้แบบจำลองภาษาขนาดใหญ่ที่เผยแพร่โดย Facebook ซึ่งได้รับการฝึกฝนเกี่ยวกับคอลเลกชันของ BookCorpus (หนังสือ 10 เล่ม), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews ฯลฯ ), Pushshift io (อิงจากข้อมูล Reddit ) และ CCNewsV2 (คลังข่าว) โมเดลนี้ครอบคลุมโทเค็นประมาณ 180 พันล้านโทเค็น (ข้อมูล 800 GB) ใช้เวลา 33 วันของการดำเนินการคลัสเตอร์กับ GPU NVIDIA A992 100GB จำนวน 80 ตัวในการฝึกโมเดล
เมื่อใช้งานรุ่น OPT-175B บนระบบที่มี NVIDIA T4 GPU เดี่ยว (16GB) เอ็นจิ้น FlexGen แสดงให้เห็นถึงประสิทธิภาพที่เร็วกว่าโซลูชันที่นำเสนอก่อนหน้านี้ถึง 100 เท่า ทำให้การใช้โมเดลภาษาขนาดใหญ่มีราคาไม่แพงมากขึ้นและช่วยให้ทำงานต่อไปได้ ระบบที่ไม่มีตัวเร่งความเร็วเฉพาะ ในเวลาเดียวกัน FlexGen สามารถปรับขนาดเพื่อให้การคำนวณแบบขนานกับ GPU หลายตัวได้ เพื่อลดขนาดของโมเดล จึงมีการใช้รูปแบบการบีบอัดพารามิเตอร์ที่เป็นกรรมสิทธิ์และกลไกการแคชโมเดลเพิ่มเติม
ปัจจุบัน FlexGen รองรับเฉพาะโมเดลภาษา OPT แต่ในอนาคตนักพัฒนายังสัญญาว่าจะเพิ่มการรองรับ BLOOM (พารามิเตอร์ 176 พันล้านพารามิเตอร์ รองรับ 46 ภาษา และ 13 ภาษาการเขียนโปรแกรม), CodeGen (สามารถสร้างโค้ดในภาษาการเขียนโปรแกรม 22 ภาษา) และ โมเดล GLM ตัวอย่างบทสนทนากับบอทที่ใช้ FlexGen และรุ่น OPT-30B:
มนุษย์: ภูเขาที่สูงที่สุดในโลกชื่ออะไร?
ผู้ช่วย: เอเวอเรสต์
มนุษย์: ฉันกำลังวางแผนไปเที่ยววันครบรอบของเรา เราทำอะไรได้บ้าง?
ผู้ช่วย: มีหลายสิ่งที่คุณสามารถทำได้ในวันครบรอบของคุณ ขั้นแรกคุณสามารถเล่นไพ่ได้ ประการที่สอง คุณสามารถไปเดินป่าได้ ประการที่สาม คุณสามารถไปพิพิธภัณฑ์ได้
ที่มา: opennet.ru