🥇ระบบการเรียนรู้ของเครื่องจักรสำหรับการสังเคราะห์ภาพและลดสัญญาณรบกวนในภาพถ่ายกลางคืน

Stability AI ได้เผยแพร่โมเดลสำเร็จรูปสำหรับระบบการเรียนรู้ของเครื่อง Stable Diffusion ซึ่งสามารถสังเคราะห์และแก้ไขรูปภาพตามคำอธิบายข้อความในภาษาธรรมชาติได้ โมเดลได้รับอนุญาตภายใต้ใบอนุญาต Creative ML OpenRAIL-M ที่อนุญาตสำหรับการใช้งานเชิงพาณิชย์ ในการฝึกอบรมระบบ มีการใช้คลัสเตอร์ NVIDIA A4000 Ezra-100 GPU จำนวน 1 ตัว และคอลเลกชัน LAION-5B รวมถึงรูปภาพพร้อมคำอธิบายข้อความจำนวน 5.85 พันล้านภาพ ก่อนหน้านี้ โค้ดสำหรับเครื่องมือสำหรับการฝึกอบรมโครงข่ายประสาทเทียมและการสร้างรูปภาพเป็นแบบโอเพ่นซอร์สภายใต้ใบอนุญาต MIT

ความพร้อมใช้งานของโมเดลสำเร็จรูปและข้อกำหนดของระบบที่ค่อนข้างเรียบง่ายซึ่งช่วยให้สามารถเริ่มการทดลองบนพีซีที่มี GPU มาตรฐานได้นำไปสู่การเกิดขึ้นของโครงการที่เกี่ยวข้องหลายโครงการ:

การผกผันข้อความ (รหัส) - ส่วนเสริมที่ให้คุณสังเคราะห์ภาพด้วยอักขระวัตถุหรือสไตล์ที่กำหนด ใน Stable Diffusion ดั้งเดิม วัตถุในภาพสังเคราะห์จะเป็นแบบสุ่มและไม่สามารถควบคุมได้ ส่วนเสริมที่นำเสนอช่วยให้คุณสามารถเพิ่มออบเจ็กต์ภาพของคุณเอง ผูกเข้ากับคีย์เวิร์ด และใช้ในการสังเคราะห์
ตัวอย่างเช่น ใน Stable Diffusion ปกติ คุณสามารถขอให้ระบบสร้างภาพที่มี "แมวอยู่ในเรือ" ได้ นอกจากนี้ คุณสามารถชี้แจงลักษณะของแมวและเรือได้ แต่ไม่สามารถคาดเดาได้ว่าแมวและเรือตัวใดจะถูกสังเคราะห์ขึ้น การกลับข้อความทำให้คุณสามารถฝึกระบบกับรูปภาพแมวหรือเรือของคุณ และสังเคราะห์รูปภาพด้วยแมวหรือเรือเฉพาะได้ ในทำนองเดียวกัน ยังสามารถแทนที่องค์ประกอบรูปภาพด้วยวัตถุบางอย่าง ตั้งตัวอย่างสไตล์ภาพสำหรับการสังเคราะห์ และระบุแนวคิด (เช่น จากแพทย์ที่หลากหลายทั้งหมด คุณสามารถใช้ตัวเลือกที่แม่นยำและมีคุณภาพสูงมากขึ้นได้ ในรูปแบบที่ต้องการ)
Stable-Diffusion-Animation - การสร้างภาพเคลื่อนไหว (ภาพเคลื่อนไหว) โดยอาศัยการประมาณค่าระหว่างรูปภาพที่สร้างใน Stable Diffusion
stable_diffusion.openvino (รหัส) - พอร์ตของ Stable Diffusion ซึ่งใช้เฉพาะ CPU ในการคำนวณ ซึ่งอนุญาตให้ทำการทดลองบนระบบที่ไม่มี GPU ที่ทรงพลัง ต้องใช้โปรเซสเซอร์ที่รองรับไลบรารี OpenVINO OpenVINO อย่างเป็นทางการมีปลั๊กอินสำหรับโปรเซสเซอร์ Intel ที่มีส่วนขยาย AVX2, AVX-512, AVX512_BF16 และ SSE รวมถึง Raspberry Pi 4 Model B, Apple Mac mini และบอร์ด NVIDIA Jetson Nano อย่างไม่เป็นทางการ คุณสามารถใช้ OpenVINO บนโปรเซสเซอร์ AMD Ryzen ได้
sdamd เป็นพอร์ตสำหรับ AMD GPU
การใช้งานการสังเคราะห์วิดีโอเบื้องต้น
stable-diffusion-gui, stable-diffusion-ui, Artbreeder Collage, diffuse-the-rest - อินเทอร์เฟซแบบกราฟิกสำหรับการสร้างภาพโดยใช้ Stable Diffusion
beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - เว็บอินเตอร์เฟสสำหรับการสังเคราะห์ภาพโดยใช้ Stable Diffusion
ปลั๊กอินสำหรับการรวม Stable Diffusion เข้ากับ GIMP, Figma, Blender และ Photoshop

นอกจากนี้ เรายังสังเกตเห็นการเผยแพร่โค้ดของระบบการเรียนรู้ของเครื่อง RawNeRF (RAW Neural Radiance Fields) โดย Google ซึ่งช่วยให้สามารถปรับปรุงคุณภาพของภาพที่มีสัญญาณรบกวนสูงที่ถ่ายในที่มืดและในที่ต่างๆ ได้ โดยอาศัยข้อมูลจากภาพ RAW หลายภาพ แสงไม่ดี นอกเหนือจากการกำจัดจุดรบกวนแล้ว เครื่องมือที่พัฒนาโดยโครงการยังช่วยเพิ่มรายละเอียด กำจัดแสงจ้า สังเคราะห์ HDR และเปลี่ยนแสงโดยรวมในภาพถ่าย รวมถึงสร้างตำแหน่งสามมิติของวัตถุขึ้นใหม่โดยใช้ภาพถ่ายหลายภาพจากมุมที่ต่างกัน เปลี่ยนมุมมอง ปรับโฟกัส และสร้างภาพเคลื่อนไหว