De 3 a 16 de julho na Universidade Estadual de Nizhny Novgorod. N.I. Lobachevsky sediou a Intel Interuniversity Summer School on Computer Vision - Computer Vision Summer Camp, da qual participaram mais de 100 alunos. A escola era voltada para estudantes técnicos das universidades de Nizhny Novgorod interessados em visão computacional, aprendizagem profunda, redes neurais, Intel OpenVINO, OpenCV.
Neste artigo vamos compartilhar como foi a seleção para a Escola, o que estudaram, o que os alunos fizeram na parte prática e também falar sobre alguns dos projetos apresentados na defesa.
Processo seletivo e formas de participação
Decidimos dar às crianças a opção de se candidatarem a duas formas de ensino: a tempo inteiro e a tempo parcial. Para os cursos de tempo parcial e parcial, os alunos não passaram por seleção e foram matriculados imediatamente. Assistiam apenas às palestras, nos dias de semana, no período da manhã. As crianças também tiveram a oportunidade de realizar tarefas práticas e enviá-las para para teste pelos professores.
Para se qualificarem para o exame em tempo integral, os rapazes tiveram que comparecer ao escritório da Intel para uma entrevista com a comissão. A diferença entre o regime de meio período e o regime de meio período foi que, além das palestras, os participantes do acampamento realizaram tarefas práticas com curadores - professores da UNN e engenheiros da Intel. Na segunda semana terminaram os trabalhos práticos e iniciaram-se os projetos, nos quais os participantes trabalharam em grupos de 3 pessoas.
Durante a entrevista, os alunos responderam a perguntas sobre matemática e programação, e também receberam um problema que precisava ser resolvido na hora. Vale ressaltar que a comissão era composta por engenheiros de software, engenheiros de algoritmos e professores universitários. N.I. Lobachevsky, então a entrevista acabou sendo multifacetada e extraordinária. Do ponto de vista do entrevistador, foi interessante conhecer os conhecimentos técnicos básicos dos alunos em relação à visão computacional, portanto tópicos como C++/STL, OOP, algoritmos básicos e estruturas de dados, álgebra linear, análise matemática, matemática discreta e muito mais foi perguntado. Dentre as tarefas, a prioridade era descobrir o raciocínio dos alunos. A comissão também se interessou em saber onde estudaram, que experiência tiveram antes desta escola (por exemplo, atividade científica) e como esta poderia ser aplicada diretamente no campo da visão computacional.
Participaram da seleção de período integral 78 alunos, e foram abertas 24 vagas de período integral, sendo a competição de 3 alunos por vaga. As estatísticas sobre os participantes e as diferenças visuais entre as formas de participação a tempo inteiro e a tempo parcial podem ser vistas na tabela abaixo:
O que os caras fizeram por 2 semanas?
Os alunos conheceram na teoria e na prática as principais tarefas da visão computacional: classificação de imagens, detecção de objetos e seu rastreamento. O componente de aula para cada tópico geralmente incluía uma excursão histórica no desenvolvimento de métodos clássicos para resolver problemas de visão computacional e métodos modernos de resolução usando aprendizado de máquina e redes neurais. A teoria foi seguida pela prática, onde os alunos baixaram modelos populares de redes neurais e os lançaram usando o módulo DNN da biblioteca OpenCV, criando um aplicativo customizado.
As apresentações de todas as palestras foram postadas em um repositório público , para que os alunos possam sempre abrir e visualizar as informações necessárias, inclusive depois das aulas. Foi possível comunicar-se com palestrantes, professores práticos e engenheiros da Intel ao vivo e via chat no Gitter. O calendário da semana do projeto também acabou por ser um sucesso: começou na quarta-feira, o que permitiu passar de forma útil o fim de semana livre de palestras, melhorando as decisões da equipa. Os participantes mais responsáveis passaram metade do sábado no escritório da Intel, pelo que foram recompensados com uma excursão não programada no mesmo dia.
Como foi a defesa dos projetos?
Cada equipe teve 10 minutos para falar sobre o que fizeram durante o projeto e o que fizeram. Após esse tempo, iniciaram-se 5 minutos, durante os quais os engenheiros da empresa fizeram perguntas aos rapazes e deram pequenas dicas que os ajudariam a melhorar seu projeto ou a evitar erros futuros. Cada um dos rapazes experimentou-se como orador, demonstrando os seus conhecimentos na área da visão computacional e confirmando o seu contributo para a criação do projeto, o que nos ajudou a refletir e tirar uma conclusão sobre cada participante da escola. A defesa durou 3 horas, mas cuidamos da galera e aliviamos a tensão com um breve intervalo para o café, onde a galera pôde respirar fundo e discutir assuntos com os principais especialistas da Intel.
Ao final do dia, premiamos um primeiro, dois segundos e três terceiros lugares. Foi bastante difícil escolher, porque cada equipa, cada projecto tinha o seu sabor e distinguia-se pela originalidade de apresentação.
Participantes do CV Camp em tempo integral, defesa do projeto, escritório da Intel em Nizhny Novgorod
Projetos apresentados
Luva inteligente
Usando um detector e rastreador usando OpenCV para navegação visual no espaço. A equipe também adicionou capacidade de detecção de profundidade usando duas câmeras. A API Microsoft Speech é usada como interface de gerenciamento.
Receptor
Detecção de alimentos e seleção de receita de prato pronto, incluindo os ingredientes encontrados. Os caras não tiveram medo da tarefa e em uma semana marcaram um número suficiente de imagens por conta própria, treinaram o detector usando a API TensorFlow Object Detection e adicionaram lógica para encontrar a receita. Simples e de bom gosto!
Editor 2.0
Os participantes do projeto utilizaram um conjunto de redes neurais (pesquisa facial, normalização da imagem facial por pontos-chave, cálculo do descritor da imagem facial) para reconhecimento facial como parte da tarefa de busca de fragmentos em vídeos longos em que uma determinada pessoa é presente. O sistema desenvolvido pode ser utilizado como sistema de auxílio à edição de vídeos, dispensando a pessoa de ter que assistir ela mesma ao vídeo em busca dos fragmentos necessários. Usando redes neurais de , a equipe conseguiu atingir alta velocidade do aplicativo: em um laptop com processador Intel Core i5, a velocidade de processamento de vídeo era de 58 quadros por segundo.
Anonimizador
Desenhar óculos e máscaras no rosto de uma pessoa. A rede MTCNN foi utilizada para detectar faces e pontos-chave.
Anônimo
Outro trabalho interessante sobre o tema da ocultação de identidade. Esta equipe introduziu várias opções para distorcer rostos: desfoque e pixelização. Em uma semana, os caras não só resolveram a tarefa, mas também disponibilizaram uma modalidade para anonimizar uma determinada pessoa (com reconhecimento facial).
Aquecer
A equipe do projeto “Aquecimento” resolveu o problema de criação de um assistente esportivo para o exercício de inclinação da cabeça. E mesmo que a aplicação final desta aplicação ainda seja controversa, foi realizado um estudo abrangente comparando vários algoritmos de detecção de rosto: cascatas Haar, redes do TensorFlow, OpenCV e OpenVINO. Aquecemos não só fisicamente, mas também mentalmente!
Menor 800
Nizhny Novgorod, cidade onde funcionou a escola, completará 2 anos em 800 anos, o que significa que há tempo suficiente para implementar um projeto interessante. Pedimos às crianças que pensassem na tarefa de criar um guia que, a partir da imagem da fachada dos edifícios, pudesse fornecer informações sobre que tipo de objeto aparece na imagem e quais fatos se conhecem sobre ele. Em nossa opinião, esta tarefa foi uma das mais difíceis, pois se refere à visão computacional clássica, mas a equipe apresentou um resultado decente.
Pedra Papel Tesoura
Apesar das rígidas restrições de tempo para concluir o trabalho de design, esta equipe também não teve medo de realizar um experimento para treinar sua própria rede neural para classificar as posições das mãos em um jogo bem conhecido.
Feedback dos participantes
Pedimos aos alunos de diferentes cursos que compartilhassem suas impressões sobre a Escola de Verão:
Recentemente tive a sorte de participar do acampamento de verão da Intel Computer Vision e foi uma experiência maravilhosa. Adquirimos muitos novos conhecimentos e habilidades na área de CV, instalação de software, depuração, também estivemos imersos em um ambiente de trabalho, enfrentamos problemas reais, discutimos possíveis soluções com colegas e professores. Existe um mito de que o trabalho de um programador consiste apenas em comunicar com um computador. No entanto, este não é o caso. Nosso trabalho criativo é inseparável da comunicação com as pessoas. Foi através da comunicação que se pôde adquirir um conhecimento único. E eu gostei mais desse componente da escola. Porém, há uma desvantagem... depois de terminar o treinamento eu queria continuar! Além dos conhecimentos teóricos em EaD e das habilidades práticas em CV, tive uma ideia de quais áreas da matemática deveriam receber atenção especial e quais tecnologias deveriam ser estudadas. A dedicação, profissionalismo e amor pelo trabalho dos engenheiros e pesquisadores da Intel influenciaram minha escolha de rumo em TI. É por isso que gostaria de agradecer a todos os organizadores da escola.
Kristina, 1º ano, HSE
Em tão pouco tempo, a escola conseguiu fornecer o máximo de informação e prática sobre o tema visão computacional. E embora tenham sido pensadas para conhecimentos básicos, as palestras continham muito material técnico que você quer entender e passar mais tempo estudando. Os mentores e professores da escola responderam prontamente a todas as perguntas e se comunicaram com os alunos. Pois bem, ao concluir o projeto final, tive que mergulhar na selva do desenvolvimento de um aplicativo finalizado e encontrar dificuldades que nem sempre surgem durante o estudo. Nossa equipe acabou criando um aplicativo para jogar o jogo “pedra-papel-tesoura” com um computador. Treinamos um modelo para reconhecer uma figura em uma webcam, escrevemos lógica e fizemos uma interface baseada no framework opencv. A escola forneceu o que pensar e um vetor para a aprendizagem e o desenvolvimento subsequentes. Estou muito feliz por ter participado.
Sergey, 3º ano, UNN
A escola não correspondeu às minhas expectativas. As palestras foram ministradas por pessoas bastante experientes de desenvolvedores da Intel. A comunicação com os palestrantes sempre foi interessante e útil, os mentores são receptivos e estão sempre prontos para ajudar.As palestras são agradáveis de ouvir, os temas são bastante relevantes e informativos. Mas eu já sabia algumas coisas, e aquelas que eu não sabia não eram apoiadas pela prática de forma alguma e, portanto, o material realmente bom nunca foi totalmente compreendido e estudado por mim. Sim, a maior parte da informação é fornecida para fins informativos, para que você possa experimentá-la em casa, ou apenas ter uma ideia do que se trata, mas eu ainda queria implementar alguns algoritmos existentes por conta própria sob o a supervisão de professores experientes que podem dar bons conselhos ou ajudar se algo acontecer não funciona. Como resultado, na prática, foram utilizadas soluções prontas, e o código, pode-se dizer, foi pré-escrito para nós, só precisou ser ligeiramente modificado. Os projetos foram os mais simples, e se você tentar complicar de alguma forma a tarefa, não terá tempo suficiente para implementá-la até um estado mais ou menos estável, como aconteceu conosco.
Em geral, toda a escola parece uma espécie de jogo pouco sério de desenvolvedores, e isso é justamente culpa da parte prática. Eu acho que é preciso aumentar o tempo gasto na escola, complicar o material prático para que você mesmo possa e deva escrever algo, algo realmente complexo e necessário, e não usar os prontos, para tornar a prática mais suave no aumento complexidade, os temas para projetos de concursos deverão ser divulgados nos primeiros dias, para que o material das palestras e práticas possa ser utilizado imediatamente em seus projetos e haja mais tempo para implementação. Então o tempo passado na escola servirá como uma boa experiência para aspirantes a especialistas.
Dmitry, 1º ano de mestrado, NSTU
A escola de verão da Intel foi uma ótima oportunidade para passar o verão fazendo o que você ama. O próprio facto de as palestras terem sido ministradas por funcionários da Intel relacionadas com programação na área de visão computacional não me permitiu relaxar, queria tirar o máximo partido de todo o processo, embora por vezes fosse difícil. Cada dia passou muito rápido, imperceptível e frutífero. A oportunidade de implementar meu próprio projeto me permitiu trabalhar em equipe com curadores maravilhosos e outros participantes da escola. Estas duas semanas podem ser brevemente descritas da seguinte forma: interessantes e fugazes.
Elizaveta, 2º ano, UNN
No outono (outubro-novembro), o programa educacional Delta espera por você, informações sobre as quais você pode descobrir em nosso . Fique atento!
Fonte: habr.com