Istnieją już sieci neuronowe, które tworzą oryginalne filmy na podstawie opisów tekstowych. I choć nie są jeszcze w stanie całkowicie zastąpić filmowców czy animatorów, to już widać postęp w tym kierunku. Disney Research i Rutgers sieć neuronowa, która może stworzyć szorstki scenorys i wideo na podstawie skryptu tekstowego.
Jak zauważono, system współpracuje z językiem naturalnym, co pozwoli na wykorzystanie go w wielu obszarach, np. przy tworzeniu filmów edukacyjnych. Systemy te pomogą także scenarzystom w wizualizacji swoich pomysłów. Jednocześnie stwierdza się, że celem nie jest zastąpienie pisarzy i artystów, ale uczynienie ich pracy bardziej wydajną i mniej uciążliwą.
Twórcy twierdzą, że tłumaczenie tekstu na animację nie jest łatwym zadaniem, ponieważ dane wejściowe i wyjściowe nie mają ustalonej struktury. Dlatego większość takich systemów nie jest w stanie przetwarzać złożonych zdań. Aby pokonać ograniczenia poprzednich podobnych programów, twórcy zbudowali modułową sieć neuronową składającą się z kilku komponentów. Należą do nich moduł przetwarzania języka naturalnego, moduł analizowania skryptów i moduł generujący animację.
Na początek system analizuje tekst i tłumaczy złożone zdania na proste. Następnie tworzona jest animacja 3D. Do pracy wykorzystywana jest biblioteka 52 animowanych bloków, których lista została rozszerzona do 92 poprzez dodanie podobnych elementów. Do tworzenia animacji wykorzystywany jest silnik gry Unreal Engine, który opiera się na wstępnie załadowanych obiektach i modelach. Na tej podstawie system wybiera odpowiednie elementy i generuje film.
Aby wyszkolić system, badacze skompilowali zestaw opisów 996 elementów zaczerpniętych z ponad 1000 skryptów z IMSDb, SimplyScripts i ScriptORama5. Następnie przeprowadzono testy jakościowe, w których 22 uczestników miało okazję ocenić 20 animacji. Jednocześnie 68% stwierdziło, że system stworzył całkiem przyzwoitą animację na podstawie wprowadzonych tekstów.
Zespół przyznał jednak, że system nie jest doskonały. Lista działań i obiektów nie jest wyczerpująca, a czasami uproszczenia leksykalne nie dopasowują czasowników z podobnymi animacjami. Naukowcy zamierzają wyeliminować te niedociągnięcia w przyszłych pracach.
Źródło: 3dnews.ru