{"id":54494,"date":"2019-12-27T00:00:00","date_gmt":"2019-12-26T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning"},"modified":"2020-02-18T14:02:30","modified_gmt":"2020-02-18T11:02:30","slug":"dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/news\/dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning","title":{"rendered":"T\u00e9cnica Jedi de redu\u00e7\u00e3o de redes convolucionais \u2014 pruning","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"T\u00e9cnica<\/p>\n

<\/p>\n

Voc\u00ea tem novamente a tarefa de detec\u00e7\u00e3o de objetos. A prioridade \u00e9 a velocidade de opera\u00e7\u00e3o com uma precis\u00e3o aceit\u00e1vel. Voc\u00ea utiliza a arquitetura YOLOv3 e a ajusta. A precis\u00e3o (mAP75) \u00e9 maior que 0,95. Mas a velocidade de execu\u00e7\u00e3o ainda \u00e9 baixa. Droga. <\/p>\n

<\/p>\n

Hoje vamos evitar a quantiza\u00e7\u00e3o. E abaixo veremos Model Pruning<\/strong> \u2014 a remo\u00e7\u00e3o de partes redundantes da rede para acelerar a infer\u00eancia sem perda de precis\u00e3o. De forma visual \u2014 de onde, quanto e como \u00e9 poss\u00edvel cortar. Vamos discutir como fazer isso manualmente e onde \u00e9 poss\u00edvel automatizar. No final \u2014 reposit\u00f3rio em keras.<\/p>\n

<\/a><\/noindex><\/p>\n

Introdu\u00e7\u00e3o<\/h3>\n

<\/p>\n

No meu antigo emprego, na Macroscop de Perm, adquiri um h\u00e1bito \u2014 sempre acompanhar o tempo de execu\u00e7\u00e3o dos algoritmos. E o tempo de execu\u00e7\u00e3o das redes deve sempre ser verificado por meio de um filtro de adequa\u00e7\u00e3o. Normalmente, o state-of-the-art n\u00e3o passa por esse filtro, o que me levou ao Pruning. <\/p>\n

<\/p>\n

O Pruning \u00e9 um tema antigo, apresentado nas aulas de Stanford<\/a><\/noindex> em 2017. A ideia principal \u00e9 reduzir o tamanho da rede treinada sem perder precis\u00e3o, removendo v\u00e1rios n\u00f3s. Parece \u00f3timo, mas raramente ou\u00e7o sobre sua aplica\u00e7\u00e3o. Provavelmente, faltam implementa\u00e7\u00f5es, h\u00e1 escassez de artigos em russo ou simplesmente todos acham o pruning um segredo e permanecem em sil\u00eancio.
\nMas vamos analisar.<\/p>\n

<\/p>\n

Uma vis\u00e3o na biologia<\/h3>\n

<\/p>\n

Gosto quando ideias da biologia s\u00e3o incorporadas ao Deep Learning. Elas, assim como a evolu\u00e7\u00e3o, podem ser confi\u00e1veis (e voc\u00ea sabia que a ReLU \u00e9 bastante semelhante \u00e0 fun\u00e7\u00e3o de ativa\u00e7\u00e3o dos neur\u00f4nios no c\u00e9rebro?<\/a><\/noindex>?) <\/p>\n

<\/p>\n

O processo de Model Pruning tamb\u00e9m \u00e9 similar \u00e0 biologia. A rea\u00e7\u00e3o da rede aqui pode ser comparada \u00e0 plasticidade do c\u00e9rebro. H\u00e1 alguns exemplos interessantes no livro de Norman Doidge.<\/a><\/noindex>:<\/p>\n

<\/p>\n

    \n
  1. O c\u00e9rebro de uma mulher, que tinha apenas uma metade desde o nascimento, reprogramou a si mesmo para realizar as fun\u00e7\u00f5es da metade que faltava.<\/li>\n
  2. Um rapaz se atirou na cabe\u00e7a e atingiu a parte do c\u00e9rebro respons\u00e1vel pela vis\u00e3o. Com o tempo, outras partes do c\u00e9rebro assumiram essas fun\u00e7\u00f5es. (n\u00e3o estamos tentando repetir isso)<\/li>\n<\/ol>\n

    <\/p>\n

    Assim, \u00e9 poss\u00edvel cortar partes das suas convolu\u00e7\u00f5es fracas. No pior dos casos, as convolu\u00e7\u00f5es restantes ajudar\u00e3o a substituir as cortadas. <\/p>\n

    <\/p>\n

    Voc\u00ea prefere Transfer Learning ou est\u00e1 aprendendo do zero?<\/h3>\n

    <\/p>\n

    Op\u00e7\u00e3o n\u00famero um.<\/strong> Voc\u00ea est\u00e1 usando Transfer Learning no Yolov3, Retina, Mask-RCNN ou U-Net. Mas, na maioria das vezes, n\u00e3o precisamos reconhecer 80 classes de objetos, como no COCO. Na minha experi\u00eancia, tudo se limita a 1-2 classes. Pode-se supor que a arquitetura para 80 classes \u00e9 excessiva aqui. Surge a ideia de que a arquitetura precisa ser reduzida, e isso deve ser feito sem perder os pesos pr\u00e9-treinados existentes.<\/p>\n

    <\/p>\n

    A segunda op\u00e7\u00e3o.<\/strong> Talvez voc\u00ea tenha muitos dados e recursos computacionais ou simplesmente precise de uma arquitetura super personalizada. N\u00e3o importa. Mas voc\u00ea est\u00e1 treinando a rede do zero. A ordem comum \u00e9 observar a estrutura dos dados, escolher uma arquitetura EXCESSIVA em pot\u00eancia e aplicar dropout para evitar overfitting. Eu j\u00e1 vi dropouts de 0.6, cara. <\/p>\n

    <\/p>\n

    Em ambos os casos, a rede pode ser reduzida. Motivados. Agora vamos entender o que \u00e9 o pruning.<\/p>\n

    <\/p>\n

    Algoritmo geral<\/h3>\n

    <\/p>\n

    Decidimos que podemos remover as convolu\u00e7\u00f5es. Isso parece bastante simples:<\/p>\n

    <\/p>\n

    \"T\u00e9cnica<\/p>\n

    <\/p>\n

    Remover qualquer convolu\u00e7\u00e3o \u00e9 um estresse para a rede, que geralmente leva a um aumento do erro. Por um lado, esse aumento de erro \u00e9 um indicativo de qu\u00e3o corretamente estamos removendo as convolu\u00e7\u00f5es (por exemplo, um grande aumento indica que estamos fazendo algo errado). Mas um pequeno aumento \u00e9 aceit\u00e1vel e muitas vezes \u00e9 eliminado por um leve re-treinamento com uma baixa taxa de aprendizado. Vamos adicionar um passo de re-treinamento:<\/p>\n

    <\/p>\n

    \"T\u00e9cnica<\/p>\n

    <\/p>\n

    Agora precisamos entender quando queremos parar nosso ciclo de LearningPruning. Aqui podem existir op\u00e7\u00f5es ex\u00f3ticas, onde precisamos reduzir a rede a um determinado tamanho e velocidade de execu\u00e7\u00e3o (por exemplo, para dispositivos m\u00f3veis). No entanto, a op\u00e7\u00e3o mais comum \u00e9 continuar o ciclo at\u00e9 que o erro se torne maior do que o permitido. Vamos adicionar uma condi\u00e7\u00e3o:<\/p>\n

    <\/p>\n

    \"T\u00e9cnica<\/p>\n

    <\/p>\n

    Ent\u00e3o, o algoritmo se torna claro. Resta entender como identificar as convolu\u00e7\u00f5es a serem removidas.<\/p>\n

    <\/p>\n

    Busca por convolu\u00e7\u00f5es remov\u00edveis<\/h3>\n

    <\/p>\n

    Precisamos remover algumas agrega\u00e7\u00f5es. Atacar de forma obstinada e \"descarregar\" qualquer uma delas \u00e9 uma m\u00e1 ideia, mesmo que funcione. Mas, j\u00e1 que temos a cabe\u00e7a, podemos pensar e tentar identificar as agrega\u00e7\u00f5es \"fracas\" para remo\u00e7\u00e3o. Existem v\u00e1rias op\u00e7\u00f5es:<\/p>\n

    <\/p>\n

      \n
    1. Menor medida L1 ou low_magnitude_pruning<\/a><\/noindex>. A ideia \u00e9 que convolu\u00e7\u00f5es com valores de peso baixos t\u00eam uma pequena contribui\u00e7\u00e3o na decis\u00e3o final. <\/li>\n
    2. Menor medida L1 considerando a m\u00e9dia e o desvio padr\u00e3o. Complementamos com uma avalia\u00e7\u00e3o do tipo de distribui\u00e7\u00e3o.<\/li>\n
    3. M\u00e1scara de convolu\u00e7\u00f5es e exclus\u00e3o das que t\u00eam menor impacto na precis\u00e3o final<\/a><\/noindex>. Defini\u00e7\u00e3o mais precisa de convolu\u00e7\u00f5es insignificantes, mas bastante dispendiosa em termos de tempo e recursos. <\/li>\n
    4. O status est\u00e1vel (GA) foi obtido para os seguintes recursos: <\/li>\n<\/ol>\n

      <\/p>\n

      Cada uma das op\u00e7\u00f5es tem seu valor e suas caracter\u00edsticas de implementa\u00e7\u00e3o. Aqui, vamos considerar a op\u00e7\u00e3o com a menor medida L1<\/p>\n

      <\/p>\n

      Processo manual para YOLOv3<\/h3>\n

      <\/p>\n

      A arquitetura original cont\u00e9m blocos residuais. Mas, por mais avan\u00e7ados que sejam para redes profundas, eles podem atrapalhar um pouco. O problema \u00e9 que n\u00e3o podemos remover convolu\u00e7\u00f5es com \u00edndices diferentes nessas camadas:<\/p>\n

      <\/p>\n

      \"T\u00e9cnica<\/p>\n

      <\/p>\n

      Portanto, vamos destacar as camadas das quais podemos remover as convolu\u00e7\u00f5es livremente:<\/p>\n

      <\/p>\n

      \"T\u00e9cnica<\/p>\n

      <\/p>\n

      Agora vamos construir um ciclo de trabalho:<\/p>\n

      <\/p>\n

        \n
      1. Exportamos as ativa\u00e7\u00f5es<\/li>\n
      2. Estimamos quanto cortar <\/li>\n
      3. Cortamos<\/li>\n
      4. Treinamos por 10 \u00e9pocas com LR=1e-4 <\/li>\n
      5. Testando <\/li>\n<\/ol>\n

        <\/p>\n

        Exportar convolu\u00e7\u00f5es \u00e9 \u00fatil para avaliar qual parte podemos remover em uma determinada etapa. Exemplos de exporta\u00e7\u00e3o:<\/p>\n

        <\/p>\n

        \"T\u00e9cnica<\/p>\n

        <\/p>\n

        Vemos que praticamente em todos os lugares, 5% das convolu\u00e7\u00f5es t\u00eam uma norma L1 bastante baixa e podemos remov\u00ea-las. Em cada etapa, essa exporta\u00e7\u00e3o foi repetida e foram feitas avalia\u00e7\u00f5es de quais camadas e quanto poder\u00edamos cortar. <\/p>\n

        <\/p>\n

        Todo o processo se resolveu em 4 etapas (aqui e em todos os lugares, n\u00fameros para RTX 2060 Super):<\/p>\n

        <\/p>\n\n\n\n\n\n\n\n\n\n
        Passo<\/th>\nmAp75<\/th>\nN\u00famero de par\u00e2metros, milh\u00f5es<\/th>\nTamanho da rede, MB<\/th>\nEm rela\u00e7\u00e3o ao original, %<\/th>\nTempo de execu\u00e7\u00e3o, ms<\/th>\nCondi\u00e7\u00e3o de corte<\/th>\n<\/tr>\n<\/thead>\n
        0<\/td>\n0.9656<\/td>\n60<\/td>\n241<\/td>\n100<\/td>\n180<\/td>\n\u2014<\/td>\n<\/tr>\n
        1<\/td>\n0.9622<\/td>\n55<\/td>\n218<\/td>\n91<\/td>\n175<\/td>\n5% do total<\/td>\n<\/tr>\n
        2<\/td>\n0.9625<\/td>\n50<\/td>\n197<\/td>\n83<\/td>\n168<\/td>\n5% do total<\/td>\n<\/tr>\n
        3<\/td>\n0.9633<\/td>\n39<\/td>\n155<\/td>\n64<\/td>\n155<\/td>\n15% para camadas com 400+ convolu\u00e7\u00f5es<\/td>\n<\/tr>\n
        4<\/td>\n0.9555<\/td>\n31<\/td>\n124<\/td>\n51<\/td>\n146<\/td>\n10% para camadas com 100+ convolu\u00e7\u00f5es<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

        <\/p>\n

        No passo 2, surgiu um efeito positivo \u2014 o tamanho do lote 4 cabia na mem\u00f3ria, o que acelerou bastante o processo de re-treinamento.
        \nNo passo 4, o processo foi interrompido, pois mesmo um longo re-treinamento n\u00e3o elevou o mAp75 aos valores antigos.
        \nNo final, conseguimos acelerar a infer\u00eancia em 15%<\/strong>, reduzir o tamanho em 35% <\/strong>e n\u00e3o perder precis\u00e3o. <\/p>\n

        <\/p>\n

        Automatiza\u00e7\u00e3o para arquiteturas mais simples<\/h3>\n

        <\/p>\n

        Para arquiteturas de rede mais simples (sem blocos condicionais add, concatenate e residuais), \u00e9 poss\u00edvel focar em processar todas as camadas convolucionais e automatizar o processo de remo\u00e7\u00e3o de convolu\u00e7\u00f5es.<\/p>\n

        <\/p>\n

        Esse tipo de implementa\u00e7\u00e3o eu realizei aqui<\/a><\/noindex>.
        \n\u00c9 simples: voc\u00ea s\u00f3 precisa da fun\u00e7\u00e3o de perda, otimizador e geradores de lote:<\/p>\n

        <\/p>\n

        import pruning\nfrom keras.optimizers import Adam\nfrom keras.utils import Sequence\n\ntrain_batch_generator = BatchGenerator...\nscore_batch_generator = BatchGenerator...\n\nopt = Adam(lr=1e-4)\npruner = pruning.Pruner(\"config.json\", \"categorical_crossentropy\", opt)\n\npruner.prune(train_batch, valid_batch)<\/code><\/pre>\n
        <\/p>\n
        Se necess\u00e1rio, voc\u00ea pode alterar as configura\u00e7\u00f5es dos par\u00e2metros:<\/p>\n
        <\/p>\n
        {\n    \"input_model_path\": \"model.h5\",\n    \"output_model_path\": \"model_pruned.h5\",\n    \"finetuning_epochs\": 10, # o n\u00famero de \u00e9pocas para treinar entre as etapas de poda\n    \"stop_loss\": 0.1, # perda para interromper o processo\n    \"pruning_percent_step\": 0.05, # parte das convolu\u00e7\u00f5es a serem eliminadas a cada etapa de poda\n    \"pruning_standart_deviation_part\": 0.2 # deslocamento para limitar a parte de poda\n}<\/code><\/pre>\n
        <\/p>\n
        Al\u00e9m disso, foi implementada uma limita\u00e7\u00e3o baseada no desvio padr\u00e3o. O objetivo \u00e9 restringir a parte removida, excluindo agrega\u00e7\u00f5es com medidas L1 j\u00e1 \"suficientes\":<\/p>\n
        <\/p>\n
        \"T\u00e9cnica<\/p>\n
        <\/p>\n
        Com isso, permitimos a remo\u00e7\u00e3o apenas de convolu\u00e7\u00f5es fracas de distribui\u00e7\u00f5es semelhantes \u00e0 direita e n\u00e3o influenciamos a remo\u00e7\u00e3o de distribui\u00e7\u00f5es semelhantes \u00e0 esquerda:<\/p>\n
        <\/p>\n
        \"T\u00e9cnica<\/p>\n
        <\/p>\n
        \u00c0 medida que a distribui\u00e7\u00e3o se aproxima da normal, o coeficiente pruning_standart_deviation_part pode ser escolhido a partir de:<\/p>\n
        <\/p>\n
        \"T\u00e9cnica
        \nRecomendo uma margem de 2 sigmas. Ou pode-se n\u00e3o se basear nessa particularidade, deixando o valor < 1.0.<\/p>\n
        <\/p>\n
        O resultado \u00e9 um gr\u00e1fico do tamanho da rede, perda e tempo de execu\u00e7\u00e3o da rede em todo o teste, normalizados para 1.0. Por exemplo, aqui o tamanho da rede foi reduzido quase pela metade sem perda de qualidade (uma pequena rede convolucional com 100k pesos):<\/p>\n
        <\/p>\n
        \"T\u00e9cnica<\/p>\n
        <\/p>\n
        A velocidade de execu\u00e7\u00e3o est\u00e1 sujeita a flutua\u00e7\u00f5es normais e praticamente n\u00e3o mudou. Existe uma explica\u00e7\u00e3o para isso:<\/p>\n
        <\/p>\n
          \n
        1. O n\u00famero de convolu\u00e7\u00f5es muda de formatos convenientes (32, 64, 128) para op\u00e7\u00f5es menos convenientes para placas gr\u00e1ficas \u2014 27, 51 etc. Posso estar errado, mas provavelmente isso influencia.<\/li>\n
        2. A arquitetura n\u00e3o \u00e9 ampla, mas sequencial. Ao reduzir a largura, n\u00e3o alteramos a profundidade. Assim, reduzimos a carga, mas n\u00e3o mudamos a velocidade.<\/li>\n<\/ol>\n
          <\/p>\n
          Portanto, a melhoria se traduz em uma redu\u00e7\u00e3o na carga do CUDA durante a execu\u00e7\u00e3o em 20-30%, mas n\u00e3o na redu\u00e7\u00e3o do tempo de execu\u00e7\u00e3o.<\/p>\n
          <\/p>\n
          Resultados<\/h3>\n
          <\/p>\n
          Vamos refletir. Consideramos 2 variantes de poda \u2014 para YOLOv3 (quando \u00e9 necess\u00e1rio trabalhar manualmente) e para redes com arquiteturas mais simples. \u00c9 evidente que em ambos os casos \u00e9 poss\u00edvel alcan\u00e7ar a redu\u00e7\u00e3o do tamanho da rede e acelera\u00e7\u00e3o sem perda de precis\u00e3o. Resultados:<\/p>\n
          <\/p>\n