פרויקט RedPajama מפתח מערך נתונים פתוח למערכות בינה מלאכותית

פרויקט שיתופי של RedPajama מוצג ליצירת מודלים של למידת מכונה פתוחה ותשומות אימון נלוות שניתן להשתמש בהן לבניית עוזרים אינטליגנטיים שמתחרים במוצרים מסחריים כגון ChatGPT. צפוי כי נוכחותם של נתוני קוד פתוח ומודלים של שפות גדולים תסיר את המגבלות של צוותים עצמאיים העוסקים במחקר בתחום למידת מכונה, ותפשט את יצירת מערכות דיאלוג מיוחדות. ארגונים וקהילות כמו Together, Ontocord.ai, ETH DS3Lab, Stanford CRFM, Hazy Research ו-MILA Québec AI Institute הצטרפו לעבודה על הפרויקט.

הצעד הראשון היה פרסום מערך הנתונים RedPajama-Data-1T בנפח 1.2 טריליון אסימון לאימון מודלים של שיחה. ערכת RedPajama משכפלת נתונים ממקורות ציבוריים ששימשו את פייסבוק ליצירת מודל ה-LAMA שלה (סה"כ 1.25 טריליון אסימונים), אך מסופקת ברישיון פתוח שאינו מגביל את היקף השימוש (נתוני LLaMA ומודלים סופקו רק לחוקרים על ידי מיוחדים בקשה לשימוש לא מסחרי). הסט להורדה RedPajama-Data-1T הוא 2.67 TB וכולל מידע מדפי אינטרנט שנוספו לאינדקס Common Crawl, ארכיוני ויקיפדיה, קוד מקור מ-GitHub, ספרים ציבוריים מספריית גוטנברג, מאמרים מדעיים מארכיון ArXiv ודיונים עם Stack Overflow ושאר Stack Overflow. החלפת אתרים.

מודלים מוכנים, שהוכשרו על בסיס מערך הנתונים המוכנים ועברו אופטימיזציה באמצעות דוגמאות מוכנות של דיאלוגים בצורה של הוראה-ביצוע מפרויקטי Alpaca ו-OpenChatKit, מתוכננים להיווצר בשבועות הקרובים. יוזמות מודל שפה דומות כוללות את פרויקטי הקוד הפתוח בחלקם LLaMA, Alpaca, Vicuna ו-Koala, כמו גם את יוזמות הקוד הפתוח המלאות Pythia, OpenChatKit, Open Assistant ודולי.

בנוסף, ישנם מספר פרויקטים חדשים הקשורים ללמידת מכונה:

• MiniGPT-4 - מרחיב צ'אטבוטים מסורתיים לשיחה עם יכולות שלוקחות בחשבון מידע חזותי, מה שמאפשר לך לנתח תמונות ולקחת בחשבון טקסט בכתב יד בתהליך האינטראקציה עם המערכת (לדוגמה, אתה יכול לשאול איזה סוג של אובייקט מוצג בתמונה, בקש מהבוט לכתוב סיפור על סמך מה שמוצג בתמונה, או על סמך סקיצה סכמטית, בקש ליצור אתר אינטרנט). המימוש של MiniGPT-4 נכתב ב-Python ומופץ תחת רישיון BSD.
• פייסבוק פרסמה ערכת כלים ומודל למידה עצמית (SSL, Self-Supervised Learning, אינו משתמש בתוויות והערות שהוכנו על ידי אדם) DINOv2 מודל ראיית מכונה המתאים לפתרון בעיות של עיבוד מידע חזותי כללי (סיווג תמונה, חילוץ מידע על אובייקטים ב תמונות, הבנת מה קורה בווידאו) ומניפולציות ברמת הפיקסלים (חיזוי עומק, פילוח). הדגם מאומן על אוסף של 142 מיליון תמונות. המימוש נכתב ב-Python ומופץ תחת רישיון Creative Commons Attribution-NonCommercial 4.0 המאפשר שימוש לא מסחרי.
• GPT4All הוא ערכת כלים להפעלה מהירה של צ'אטבוטים עצמאיים על החומרה שלהם (הם לא ניגשים לשירותים חיצוניים ומשתמשים במעבדים עם תמיכה ב-AVX2 לביצוע). חיבור דגמי שפה גדולים המבוססים על GPT-J ו-LLaMa נתמך. הקוד כתוב ב-Python ומופץ תחת רישיון MIT.

מקור: OpenNet.ru