Nagkaroon ng utility para sa pag-alis ng mga gumagalaw na bagay mula sa video

Ngayon, para sa marami, hindi na problema ang pag-alis ng nakakasagabal na elemento sa isang litrato. Ang mga pangunahing kasanayan sa Photoshop o mga usong neural network ngayon ay maaaring malutas ang problema. Gayunpaman, sa kaso ng video, ang sitwasyon ay kumplikado, dahil kailangan mong iproseso ang hindi bababa sa 24 na mga frame sa bawat segundo ng video.

At dito sa Github lumitaw isang utility na nag-automate ng mga pagkilos na ito, na nagbibigay-daan sa iyong alisin ang anumang gumagalaw na bagay mula sa video. Ito ay sapat lamang upang pumili ng isang dagdag na bagay na may isang frame gamit ang cursor, at gagawin ng system ang natitira. Ang utility ay tinatawag na malinaw - video-object-removal. Gayunpaman, ito ay batay sa mga advanced na teknolohiya.

Gumagamit ang system ng neural network na nagpoproseso ng video frame sa pamamagitan ng frame, na pinapalitan ang isang hindi kinakailangang bagay o tao na may background. Ang programa ay maaaring magbago ng hanggang 55 mga frame bawat segundo, na kumukumpleto sa background batay sa nakapalibot na larawan. Bagaman sa mas malapit na pagsisiyasat ay nagiging malinaw na ang paraan ng pagtanggal ng mga bagay ay malayo sa perpekto, ang mga resulta ay kahanga-hanga.

Ang ilang mga frame ay nagpapakita na ang isang transparent o translucent na bakas ng phantom ay nananatili sa lugar ng "malayuan" na tao. Ang katotohanan ay pinag-aaralan lamang ng system ang magagamit na background at sa ngayon ay hindi ito palaging maaaring tapusin nang sapat. Depende ito sa pagiging kumplikado ng background - mas simple at mas pare-pareho ito, mas mabuti ang huling resulta.

Para sa pagsubok, ginamit namin ang Ubuntu 16.04, Python 3.5, Pytorch 0.4.0, CUDA 8.0, at ang pagproseso ay isinagawa sa isang NVIDIA GeForce GTX 1080 Ti video card. Ang mga mapagkukunan mismo ay bukas at maaaring magamit ng lahat. Kasabay nito, tandaan namin na ang teknolohiyang ito ay maaari ding gamitin para sa mga malisyosong layunin. Halimbawa, upang "itago" ang mga paglabag sa trapiko o iba pang krimen na nakunan ng mga camera.

Pinagmulan: 3dnews.ru