Collabora a publicat o implementare a unui sistem de învățare automată pentru a îmbunătăți eficiența compresiei videoconferințelor, care permite, în cazul transmiterii video cu fața unui participant, să reducă lățimea de bandă necesară de 10 ori, menținând în același timp calitatea la nivelul H.264. . Implementarea este scrisă în Python folosind cadrul PyTorch și este deschisă sub licența GPLv3.
Metoda vă permite să reconstruiți detaliile faciale care s-au pierdut în timpul transmisiei cu un nivel ridicat de compresie. Modelul de învățare automată generează o animație cu cap vorbitor bazată pe o imagine facială de înaltă calitate transmisă separat și pe videoclipul rezultat, urmărind modificările expresiei faciale și poziției capului în videoclip. Pe partea expeditorului, videoclipul este transmis la un bitrate foarte scăzut, iar pe partea destinatarului este procesat de un sistem de învățare automată. Pentru a îmbunătăți și mai mult calitatea, videoclipul generat poate fi procesat folosind modelul Super-Resolution.
Sursa: opennet.ru