Protótipo de interface para transferência de imagens do mundo real para um editor gráfico

Cirilo Diagne (Cirilo Diagne), artista, designer, programador e experimentador francês na área de interfaces de usuário, опубликовал protótipo de aplicativo ar-cutpaste, que utiliza tecnologias de realidade aumentada para transferir imagens do mundo real para um editor gráfico. O programa permite que você use seu celular para tirar uma foto de qualquer objeto real no ângulo desejado, após o que o aplicativo irá remover o fundo e deixar apenas este objeto. A seguir, o usuário pode focar a câmera do celular na tela do computador rodando um editor gráfico, selecionar um ponto e inserir um objeto nesta posição.

Protótipo de interface para transferência de imagens do mundo real para um editor gráfico

código parte do servidor está escrita em Python e aplicações móveis para a plataforma Android usando TypeScript usando a estrutura React Native. Para destacar um assunto em uma foto e limpar o fundo aplicada biblioteca de aprendizado de máquina BASNet, usando PyTorch e torchvision. Para determinar o ponto na tela para o qual a câmera do telefone estava apontada quando você inseriu um objeto, usado Pacote e classe OpenCV SIFT. Para interagir com o editor gráfico, um simples manipulador de servidor é lançado no sistema, que transmite uma imagem para inserção em determinadas coordenadas X e Y na tela (atualmente apenas o protocolo de controle remoto do Photoshop é suportado, e suporte para outros editores gráficos é prometido ser adicionado no futuro).

Fonte: opennet.ru

Adicionar um comentário