הטמעת מערכת למידת מכונה לסינתזת תמונות על בסיס תיאור טקסט

יישום פתוח של מערכת למידת המכונה DALL-E 2, שהוצע על ידי OpenAI, פורסם ומאפשר לך לסנתז תמונות וציורים ריאליסטיים על סמך תיאור טקסט בשפה טבעית, וכן להחיל פקודות בשפה טבעית כדי לערוך תמונות ( לדוגמה, הוספה, מחיקה או העברה של אובייקטים בתמונה). דגמי ה-DALL-E 2 המקוריים של OpenAI אינם מתפרסמים, אך קיים מאמר המפרט את השיטה. בהתבסס על התיאור הקיים, חוקרים עצמאיים הכינו יישום חלופי שנכתב ב-Python, תוך שימוש במסגרת Pytorch ומופץ תחת רישיון MIT.

בהשוואה למימוש שפורסם בעבר של הדור הראשון של DALL-E, הגרסה החדשה מספקת התאמה מדויקת יותר של התמונה לתיאור, מאפשרת פוטוריאליזם גדול יותר ומאפשרת ליצור תמונות ברזולוציות גבוהות יותר. המערכת דורשת משאבים גדולים כדי לאמן את המודל; למשל, אימון הגרסה המקורית של DALL-E 2 דורש 100-200 אלף שעות מחשוב על ה-GPU, כלומר. כ-2-4 שבועות של חישובים עם 256 GPUs NVIDIA Tesla V100.

אותו מחבר החל גם לפתח גרסה מורחבת - DALLE2 Video, שמטרתה לסנתז וידאו מתיאור טקסט. בנפרד, אנו יכולים לציין את פרויקט ru-dalle שפותח על ידי Sberbank, עם יישום פתוח של הדור הראשון של DALL-E, המותאם לזיהוי תיאורים ברוסית.

מקור: OpenNet.ru