Grensesnittprototype for overføring av bilder fra den virkelige verden til et grafikkredigeringsprogram

Cyril Diagne (Cyril Diagne), fransk kunstner, designer, programmerer og eksperimentator innen brukergrensesnitt, publisert applikasjonsprototype ar-cutpaste, som bruker augmented reality-teknologier for å overføre bilder fra den virkelige verden til et grafikkredigeringsprogram. Programmet lar deg bruke mobiltelefonen til å ta et bilde av et hvilket som helst ekte objekt fra ønsket vinkel, hvoretter applikasjonen vil fjerne bakgrunnen og bare la dette objektet være igjen. Deretter kan brukeren fokusere mobilkameraet på dataskjermen som kjører et grafikkredigeringsprogram, velge et punkt og sette inn et objekt i denne posisjonen.

Grensesnittprototype for overføring av bilder fra den virkelige verden til et grafikkredigeringsprogram

Kode serverdelen er skrevet i Python, og mobile applikasjoner for Android-plattformen ved å bruke TypeScript ved å bruke React Native-rammeverket. For å fremheve et motiv i et bilde og fjerne bakgrunnen gjelder maskinlæringsbibliotek BASNet, ved å bruke PyTorch og torchvision. For å finne punktet på skjermen som telefonkameraet var rettet mot da du satte inn et objekt, brukes OpenCV-pakke og klasse sile. For å samhandle med den grafiske editoren, startes en enkel serverbehandler på systemet, som overfører et bilde for innsetting ved visse X- og Y-koordinater på skjermen (for øyeblikket støttes kun Photoshop-fjernkontrollprotokollen, og støtte for andre grafiske editorer er lovet å bli lagt til i fremtiden).

Kilde: opennet.ru

Legg til en kommentar