Η NVIDIA ανοίγει τον κώδικα για ένα σύστημα μηχανικής εκμάθησης που συνθέτει τοπία από σκίτσα

Εταιρεία NVIDIA опубликовала πηγαίους κώδικες συστημάτων μηχανικής εκμάθησης ΦΤΥΑΡΙ (GauGAN), το οποίο σας επιτρέπει να συνθέσετε ρεαλιστικά τοπία βασισμένα σε πρόχειρα σκίτσα, καθώς και σε αυτά που σχετίζονται με το έργο εκπαιδευμένα μοντέλα. Το σύστημα ήταν αποδείχθηκε τον Μάρτιο στο συνέδριο GTC 2019, αλλά ο κώδικας δημοσιεύτηκε μόλις χθες. Εξελίξεις Άνοιξε με ιδιόκτητη άδεια CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), επιτρέποντας μόνο μη εμπορική χρήση. Ο κώδικας είναι γραμμένος σε Python χρησιμοποιώντας το πλαίσιο PyTorch.

Τα σκίτσα συντάσσονται με τη μορφή ενός τμηματοποιημένου χάρτη που καθορίζει την τοποθέτηση κατά προσέγγιση αντικειμένων στη σκηνή. Η φύση των δημιουργούμενων αντικειμένων καθορίζεται χρησιμοποιώντας έγχρωμα σημάδια. Για παράδειγμα, ένα μπλε γέμισμα μεταμορφώνεται στον ουρανό, το μπλε σε νερό, το σκούρο πράσινο σε δέντρα, το ανοιχτό πράσινο σε γρασίδι, το ανοιχτό καφέ σε βράχους, το σκούρο καφέ σε βουνά, το γκρι σε χιόνι, μια καφέ γραμμή μεταμορφώνεται σε δρόμο και ένα μπλε γραμμή στο ποτάμι Επιπλέον, με βάση την επιλογή των εικόνων αναφοράς, καθορίζεται το συνολικό στυλ σύνθεσης και η ώρα της ημέρας. Το προτεινόμενο εργαλείο για τη δημιουργία εικονικών κόσμων μπορεί να είναι χρήσιμο σε ένα ευρύ φάσμα ειδικών, από αρχιτέκτονες και πολεοδόμους μέχρι προγραμματιστές παιχνιδιών και σχεδιαστές τοπίου.

Τα αντικείμενα συντίθενται από ένα γενετικό αντίθετο νευρωνικό δίκτυο (GAN), το οποίο δημιουργεί ρεαλιστικές εικόνες με βάση έναν σχηματικό τμηματοποιημένο χάρτη, δανειζόμενος λεπτομέρειες από ένα μοντέλο προεκπαιδευμένο σε πολλά εκατομμύρια φωτογραφίες. Σε αντίθεση με τα συστήματα σύνθεσης εικόνας που αναπτύχθηκαν προηγουμένως, η προτεινόμενη μέθοδος βασίζεται στη χρήση προσαρμοστικού χωρικού μετασχηματισμού που ακολουθείται από μετασχηματισμό που βασίζεται στη μηχανική μάθηση. Η επεξεργασία ενός τμηματοποιημένου χάρτη αντί για σημασιολογική σήμανση σάς επιτρέπει να επιτύχετε αποτελέσματα ακριβούς αντιστοίχισης και να ελέγχετε το στυλ.

Για να επιτευχθεί ο ρεαλισμός, δύο νευρωνικά δίκτυα ανταγωνίζονται μεταξύ τους: ένας γεννήτρια και ένας διαχωριστής. Η γεννήτρια δημιουργεί εικόνες με βάση την ανάμειξη στοιχείων πραγματικών φωτογραφιών και ο διαχωριστής εντοπίζει πιθανές αποκλίσεις από τις πραγματικές εικόνες. Ως αποτέλεσμα, σχηματίζεται ανατροφοδότηση, βάσει της οποίας η γεννήτρια αρχίζει να συνθέτει ολοένα και καλύτερα δείγματα έως ότου ο διαχωριστής πάψει να τα διακρίνει από τα πραγματικά.

Πηγή: opennet.ru