מערכות למידת מכונה לסינתזת תמונה והפחתת רעשים בצילומי לילה

Stability AI פרסמה מודלים מוכנים עבור מערכת למידת המכונה Stable Diffusion, המסוגלים לסנתז ולשנות תמונות על סמך תיאור טקסט בשפה טבעית. דגמים מורשים תחת רישיון Creative ML OpenRAIL-M מתירני לשימוש מסחרי. כדי להכשיר את המערכת, נעשה שימוש באשכול של 4000 NVIDIA A100 Ezra-1 GPUs ואוסף LAION-5B, כולל 5.85 מיליארד תמונות עם תיאורי טקסט. בעבר, הקוד לכלים לאימון רשת עצבית ויצירת תמונות היה בקוד פתוח תחת רישיון MIT.

הזמינות של מודל מוכן ודרישות מערכת צנועות למדי המאפשרות להתחיל ניסויים במחשב עם GPUs סטנדרטיים הובילו להופעתם של מספר פרויקטים קשורים:

• textual-inversion (קוד) - תוסף המאפשר לסנתז תמונות עם אופי, אובייקט או סגנון נתון. ב-Stable Diffusion המקורי, האובייקטים בתמונות המסונתזות הם אקראיים ובלתי ניתנים לשליטה. התוסף המוצע מאפשר לך להוסיף אובייקטים חזותיים משלך, לאגד אותם למילות מפתח ולהשתמש בהם בסינתזה.

  לדוגמה, ב-Stable Diffusion רגיל אתה יכול לבקש מהמערכת ליצור תמונה עם "חתול בסירה". בנוסף, אתה יכול להבהיר את המאפיינים של החתול והסירה, אבל לא ניתן לחזות איזה חתול וסירה יסונתז. היפוך טקסט מאפשר לך לאמן את המערכת עם תמונה של החתול או הסירה שלך ולסנתז את התמונה עם חתול או סירה ספציפיים. באופן דומה הוא יכול גם להחליף אלמנטים תמונה באובייקטים מסוימים, להוות דוגמה לסגנון חזותי לסינתזה ולפרט מושגים (למשל מכל מגוון הרופאים ניתן להשתמש בבחירה מדויקת ואיכותית יותר בסגנון הרצוי).

  
• stable-diffusion-animation - יצירת תמונות מונפשות (נעות) המבוססות על אינטרפולציה בין תמונות שנוצרות ב-Stable Diffusion.
• stable_diffusion.openvino (קוד) - יציאה של Stable Diffusion, המשתמשת רק במעבד לחישובים, מה שמאפשר ניסויים במערכות ללא GPUs חזקים. דורש מעבד נתמך בספריית OpenVINO. באופן רשמי, OpenVINO מספקת תוספים למעבדי אינטל עם הרחבות AVX2, AVX-512, AVX512_BF16 ו-SSE, כמו גם עבור לוחות Raspberry Pi 4 Model B, Apple Mac mini ו-NVIDIA Jetson Nano. באופן לא רשמי, אפשר להשתמש ב-OpenVINO במעבדי AMD Ryzen.
• sdamd היא יציאה למעבדי AMD GPU.
• יישום ראשוני של סינתזת וידאו.
• stable-diffusion-gui, stable-diffusion-ui, Artbreeder Collage, diffuse-the-rest - ממשקים גרפיים להפקת תמונות באמצעות Stable Diffusion.
• beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - ממשקי אינטרנט לסינתזת תמונות באמצעות Stable Diffusion.
• תוספים לשילוב Diffusion Stable עם GIMP, Figma, Blender ו-Photoshop.

בנוסף, אנו יכולים לציין את פרסום הקוד על ידי גוגל של מערכת למידת המכונה RawNeRF (RAW Neural Radiance Fields), המאפשרת, בהתבסס על נתונים ממספר תמונות RAW, לשפר את האיכות של תמונות רועשות מאוד שצולמו בחושך וב תאורה לקויה. בנוסף לביטול הרעש, הכלים שפותח בפרויקט מאפשרים להגדיל את הפרטים, להעלים סנוור, לסנתז HDR ולשנות את התאורה הכוללת בצילומים, וכן לשחזר את המיקום התלת מימדי של אובייקטים באמצעות מספר תצלומים מזוויות שונות, לשנות את נקודת המבט, לתפעל את המיקוד וליצור תמונות נעות.

מקור: OpenNet.ru