{"id":54494,"date":"2019-12-27T00:00:00","date_gmt":"2019-12-26T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning"},"modified":"2020-02-18T14:02:30","modified_gmt":"2020-02-18T11:02:30","slug":"dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning","status":"publish","type":"post","link":"https:\/\/prohoster.info\/es\/blog\/news\/dzhedajskaya-tehnika-umensheniya-svertochnyh-setej-pruning","title":{"rendered":"T\u00e9cnica Jedi para reducir redes convolucionales \u2014 pruning","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"T\u00e9cnica<\/p>\n

<\/p>\n

Ante ti est\u00e1 de nuevo la tarea de detecci\u00f3n de objetos. La prioridad es la velocidad de trabajo con una precisi\u00f3n aceptable. Utilizas la arquitectura YOLOv3 y la ajustas. La precisi\u00f3n (mAp75) es mayor a 0.95. Pero la velocidad de procesamiento sigue siendo baja. Maldita sea. <\/p>\n

<\/p>\n

Hoy evitaremos la cuantizaci\u00f3n. Y en el siguiente apartado abordaremos Model Pruning<\/strong> \u2014 el recorte de partes redundantes de la red para acelerar la inferencia sin p\u00e9rdida de precisi\u00f3n. Visualmente, de d\u00f3nde, cu\u00e1nto y c\u00f3mo se puede recortar. Analizaremos c\u00f3mo hacerlo manualmente y d\u00f3nde se puede automatizar. Al final, un repositorio en keras.<\/p>\n

<\/a><\/noindex><\/p>\n

Introducci\u00f3n<\/h3>\n

<\/p>\n

En mi trabajo anterior, en Macroscop de Perm, adquir\u00ed un h\u00e1bito: siempre prestar atenci\u00f3n al tiempo de ejecuci\u00f3n de los algoritmos. Y el tiempo de procesamiento de las redes siempre se verifica a trav\u00e9s de un filtro de adecuaci\u00f3n. Por lo general, los \u00faltimos avances en producci\u00f3n no superan este filtro, lo que me llev\u00f3 al Pruning. <\/p>\n

<\/p>\n

El Pruning es un tema antiguo, del que se habl\u00f3 en las conferencias de Stanford<\/a><\/noindex> en 2017. La idea principal es reducir el tama\u00f1o de la red entrenada sin p\u00e9rdida de precisi\u00f3n mediante la eliminaci\u00f3n de varios nodos. Suena genial, pero rara vez escucho sobre su aplicaci\u00f3n. Probablemente faltan implementaciones, no hay art\u00edculos en ruso o simplemente todos consideran el pruning como un secreto y no dicen nada.
\nPero vamos a analizarlo.<\/p>\n

<\/p>\n

Una mirada a la biolog\u00eda<\/h3>\n

<\/p>\n

Me gusta cuando en Deep Learning se incorporan ideas provenientes de la biolog\u00eda. A ellas, al igual que a la evoluci\u00f3n, se les puede confiar (\u00bfsab\u00edas que ReLU es muy similar a la funci\u00f3n de activaci\u00f3n de las neuronas en el cerebro?<\/a><\/noindex>?) <\/p>\n

<\/p>\n

El proceso de Model Pruning tambi\u00e9n se asemeja a la biolog\u00eda. La reacci\u00f3n de la red aqu\u00ed se puede comparar con la plasticidad del cerebro. Hay un par de ejemplos interesantes en el libro de Norman Doidge.<\/a><\/noindex>:<\/p>\n

<\/p>\n

    \n
  1. El cerebro de una mujer que naci\u00f3 con solo una mitad reprogram\u00f3 por s\u00ed mismo para cumplir las funciones de la mitad que falta.<\/li>\n
  2. Un chico se dispar\u00f3 en la parte del cerebro responsable de la visi\u00f3n. Con el tiempo, otras partes del cerebro asumieron esas funciones. (no intentamos repetirlo)<\/li>\n<\/ol>\n

    <\/p>\n

    As\u00ed tambi\u00e9n se puede recortar parte de las convoluciones d\u00e9biles de tu modelo. En \u00faltima instancia, las convoluciones restantes ayudar\u00e1n a reemplazar las recortadas. <\/p>\n

    <\/p>\n

    \u00bfTe gusta el Transfer Learning o aprendes desde cero?<\/h3>\n

    <\/p>\n

    Opci\u00f3n n\u00famero uno.<\/strong> Est\u00e1s utilizando Transfer Learning en Yolov3. Retina, Mask-RCNN o U-Net. Pero, a menudo, no necesitamos reconocer 80 clases de objetos, como en COCO. En mi experiencia, todo se limita a 1-2 clases. Se puede suponer que la arquitectura para 80 clases aqu\u00ed es excesiva. Surge la idea de que la arquitectura necesita reducirse. Adem\u00e1s, me gustar\u00eda hacerlo sin perder los pesos preentrenados existentes.<\/p>\n

    <\/p>\n

    La opci\u00f3n n\u00famero dos.<\/strong> Tal vez tengas muchos datos y recursos computacionales o simplemente necesites una arquitectura altamente personalizada. No importa. Pero est\u00e1s entrenando la red desde cero. El orden habitual es observar la estructura de los datos, seleccionar una arquitectura SOBREDIMENSIONADA en t\u00e9rminos de potencia y aplicar dropout para evitar el sobreajuste. He visto dropouts de 0.6, Carl. <\/p>\n

    <\/p>\n

    En ambos casos, se puede reducir la red. Nos han motivado. Ahora vamos a aclarar qu\u00e9 es la reducci\u00f3n pruning.<\/p>\n

    <\/p>\n

    Algoritmo general<\/h3>\n

    <\/p>\n

    Hemos decidido que podemos eliminar convoluciones. Esto parece bastante simple:<\/p>\n

    <\/p>\n

    \"T\u00e9cnica<\/p>\n

    <\/p>\n

    Eliminar cualquier convoluci\u00f3n es un estr\u00e9s para la red, que generalmente conlleva un aumento en el error. Por un lado, este aumento en el error es un indicador de cu\u00e1n correctamente estamos eliminando las convoluciones (por ejemplo, un gran aumento indica que estamos haciendo algo mal). Pero un peque\u00f1o aumento es perfectamente aceptable y a menudo se corrige con un ligero reentrenamiento utilizando un LR bajo. A\u00f1adimos un paso de reentrenamiento:<\/p>\n

    <\/p>\n

    \"T\u00e9cnica<\/p>\n

    <\/p>\n

    Ahora necesitamos entender cu\u00e1ndo queremos detener nuestro ciclo LearningPruning. Aqu\u00ed pueden haber variantes ex\u00f3ticas, donde necesitamos reducir la red a un tama\u00f1o y velocidad de ejecuci\u00f3n espec\u00edficos (por ejemplo, para dispositivos m\u00f3viles). Sin embargo, la opci\u00f3n m\u00e1s com\u00fan es continuar el ciclo hasta que el error supere el umbral permitido. A\u00f1adimos una condici\u00f3n:<\/p>\n

    <\/p>\n

    \"T\u00e9cnica<\/p>\n

    <\/p>\n

    As\u00ed que el algoritmo se vuelve claro. Ahora queda desglosar c\u00f3mo determinar las convoluciones que se eliminar\u00e1n.<\/p>\n

    <\/p>\n

    B\u00fasqueda de convoluciones eliminables<\/h3>\n

    <\/p>\n

    Necesitamos eliminar algunos envoltorios. Romperlos sin m\u00e1s y \"disparar\" cualquier envoltura es una mala idea, aunque funcione. Pero dado que tenemos cabeza, podemos pensar y tratar de identificar las envolturas \"d\u00e9biles\" para eliminarlas. Hay varias opciones:<\/p>\n

    <\/p>\n

      \n
    1. La menor medida L1 o low_magnitude_pruning<\/a><\/noindex>. La idea de que las convoluciones con valores de peso bajos tienen una contribuci\u00f3n m\u00ednima en la decisi\u00f3n final. <\/li>\n
    2. La menor medida L1 teniendo en cuenta la media y la desviaci\u00f3n est\u00e1ndar. Complementado con una evaluaci\u00f3n de la naturaleza de la distribuci\u00f3n.<\/li>\n
    3. Enmascaramiento de convoluciones y exclusi\u00f3n de las que menos influyen en la precisi\u00f3n final.<\/a><\/noindex>. Definici\u00f3n m\u00e1s precisa de convoluciones insignificantes, pero muy costosa en tiempo y recursos. <\/li>\n
    4. Otros <\/li>\n<\/ol>\n

      <\/p>\n

      Cada una de las opciones tiene derecho a existir y sus caracter\u00edsticas de implementaci\u00f3n. Aqu\u00ed consideraremos la opci\u00f3n con la menor medida L1.<\/p>\n

      <\/p>\n

      Proceso manual para YOLOv3.<\/h3>\n

      <\/p>\n

      La arquitectura original contiene bloques residuales. Pero por muy buenos que sean para redes profundas, nos dificultan un poco. La complicaci\u00f3n es que no se pueden eliminar las convoluciones con diferentes \u00edndices en estas capas:<\/p>\n

      <\/p>\n

      \"T\u00e9cnica<\/p>\n

      <\/p>\n

      Por lo tanto, identificaremos las capas de las que podemos eliminar libremente las convoluciones:<\/p>\n

      <\/p>\n

      \"T\u00e9cnica<\/p>\n

      <\/p>\n

      Ahora construimos un ciclo de trabajo:<\/p>\n

      <\/p>\n

        \n
      1. Extracci\u00f3n de activaciones.<\/li>\n
      2. Establecemos cu\u00e1nto recortar. <\/li>\n
      3. Recortamos.<\/li>\n
      4. Entrenamos durante 10 \u00e9pocas con LR=1e-4. <\/li>\n
      5. Probamos <\/li>\n<\/ol>\n

        <\/p>\n

        Es \u00fatil extraer las convoluciones para evaluar qu\u00e9 parte podemos eliminar en un paso determinado. Ejemplos de extracci\u00f3n:<\/p>\n

        <\/p>\n

        \"T\u00e9cnica<\/p>\n

        <\/p>\n

        Vemos que pr\u00e1cticamente en todas partes el 5% de las convoluciones tienen una norma L1 muy baja y podemos eliminarlas. En cada paso, se repiti\u00f3 esta extracci\u00f3n y se evalu\u00f3 de qu\u00e9 capas y cu\u00e1nto se pod\u00eda recortar. <\/p>\n

        <\/p>\n

        Todo el proceso se llev\u00f3 a cabo en 4 pasos (aqu\u00ed y en todas partes los n\u00fameros son para RTX 2060 Super):<\/p>\n

        <\/p>\n\n\n\n\n\n\n\n\n\n
        Paso<\/th>\nmAp75<\/th>\nN\u00famero de par\u00e1metros, millones.<\/th>\nTama\u00f1o de la red, MB.<\/th>\nDe la original, %<\/th>\nTiempo de ejecuci\u00f3n, ms.<\/th>\nCondici\u00f3n de recorte.<\/th>\n<\/tr>\n<\/thead>\n
        0<\/td>\n0.9656<\/td>\n60<\/td>\n241<\/td>\n100<\/td>\n180<\/td>\n\u2014<\/td>\n<\/tr>\n
        1<\/td>\n0.9622<\/td>\n55<\/td>\n218<\/td>\n91<\/td>\n175<\/td>\n5% de todos.<\/td>\n<\/tr>\n
        2<\/td>\n0.9625<\/td>\n50<\/td>\n197<\/td>\n83<\/td>\n168<\/td>\n5% de todos.<\/td>\n<\/tr>\n
        3<\/td>\n0.9633<\/td>\n39<\/td>\n155<\/td>\n64<\/td>\n155<\/td>\n15% para capas con m\u00e1s de 400 convoluciones.<\/td>\n<\/tr>\n
        4<\/td>\n0.9555<\/td>\n31<\/td>\n124<\/td>\n51<\/td>\n146<\/td>\n10% para capas con m\u00e1s de 100 convoluciones.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

        <\/p>\n

        En el paso 2, se agreg\u00f3 un efecto positivo: el tama\u00f1o del lote 4 entr\u00f3 en la memoria, lo que aceler\u00f3 considerablemente el proceso de reentrenamiento.
        \nEn el paso 4, el proceso se detuvo, ya que incluso un largo reentrenamiento no elevaba el mAp75 a los antiguos valores.
        \nAl final, se logr\u00f3 acelerar el inferencia en 15%<\/strong>, reducir el tama\u00f1o en 35% <\/strong>y no perder precisi\u00f3n. <\/p>\n

        <\/p>\n

        Automatizaci\u00f3n para arquitecturas m\u00e1s simples.<\/h3>\n

        <\/p>\n

        Para arquitecturas de red m\u00e1s simples (sin bloques condicionales de adici\u00f3n, concatenaci\u00f3n y residuales), es bastante posible orientarse en el procesamiento de todas las capas convolucionales y automatizar el proceso de recorte de convoluciones.<\/p>\n

        <\/p>\n

        Esta opci\u00f3n la implement\u00e9. aqu\u00ed<\/a><\/noindex>.
        \nEs simple: solo necesita la funci\u00f3n de p\u00e9rdida, optimizador y generadores de lotes:<\/p>\n

        <\/p>\n

        import pruning\nfrom keras.optimizers import Adam\nfrom keras.utils import Sequence\n\ntrain_batch_generator = BatchGenerator...\nscore_batch_generator = BatchGenerator...\n\nopt = Adam(lr=1e-4)\npruner = pruning.Pruner(\"config.json\", \"categorical_crossentropy\", opt)\n\npruner.prune(train_batch, valid_batch)<\/code><\/pre>\n
        <\/p>\n
        Si es necesario, se pueden cambiar los par\u00e1metros de la configuraci\u00f3n:<\/p>\n
        <\/p>\n
        {\n    \"input_model_path\": \"model.h5\",\n    \"output_model_path\": \"model_pruned.h5\",\n    \"finetuning_epochs\": 10, # el n\u00famero de \u00e9pocas para entrenar entre los pasos de poda\n    \"stop_loss\": 0.1, # p\u00e9rdida para detener el proceso\n    \"pruning_percent_step\": 0.05, # parte de las convoluciones a eliminar en cada paso de poda\n    \"pruning_standart_deviation_part\": 0.2 # desplazamiento para limitar la parte de poda\n}<\/code><\/pre>\n
        <\/p>\n
        Adem\u00e1s, se ha implementado una restricci\u00f3n basada en la desviaci\u00f3n est\u00e1ndar. El objetivo es limitar la parte eliminada, excluyendo las envolturas que ya tienen medidas L1 \"suficientes\":<\/p>\n
        <\/p>\n
        \"T\u00e9cnica<\/p>\n
        <\/p>\n
        De esta forma, permitimos eliminar solo las convoluciones d\u00e9biles de distribuciones similares a la derecha y no influir en la eliminaci\u00f3n de distribuciones similares a la izquierda:<\/p>\n
        <\/p>\n
        \"T\u00e9cnica<\/p>\n
        <\/p>\n
        Al acercarse la distribuci\u00f3n a la normal, el coeficiente pruning_standart_deviation_part se puede ajustar a:<\/p>\n
        <\/p>\n
        \"T\u00e9cnica
        \nRecomiendo un margen de 2 sigmas. O se puede no considerar esta caracter\u00edstica, dejando el valor < 1.0.<\/p>\n
        <\/p>\n
        Al final se obtiene un gr\u00e1fico del tama\u00f1o de la red, la p\u00e9rdida y el tiempo de ejecuci\u00f3n de la red a lo largo de toda la prueba, normalizados a 1.0. Por ejemplo, aqu\u00ed el tama\u00f1o de la red se redujo casi a la mitad sin p\u00e9rdida de calidad (una peque\u00f1a red convolucional con 100k par\u00e1metros):<\/p>\n
        <\/p>\n
        \"T\u00e9cnica<\/p>\n
        <\/p>\n
        La velocidad de ejecuci\u00f3n est\u00e1 sujeta a fluctuaciones normales y pr\u00e1cticamente no ha cambiado. Esto tiene una explicaci\u00f3n:<\/p>\n
        <\/p>\n
          \n
        1. El n\u00famero de convoluciones cambia de convenientes (32, 64, 128) a no tan convenientes para las tarjetas gr\u00e1ficas \u2014 27, 51, etc. Aqu\u00ed podr\u00eda estar equivocado, pero lo m\u00e1s probable es que esto impacte.<\/li>\n
        2. La arquitectura no es amplia, pero es secuencial. Al reducir el ancho, no tocamos la profundidad. De esta manera, reducimos la carga, pero no cambiamos la velocidad.<\/li>\n<\/ol>\n
          <\/p>\n
          Por lo tanto, la mejora se tradujo en una reducci\u00f3n de la carga de CUDA durante la ejecuci\u00f3n de 20-30%, pero no en la reducci\u00f3n del tiempo de ejecuci\u00f3n.<\/p>\n
          <\/p>\n
          Resultados<\/h3>\n
          <\/p>\n
          Reflexionemos. Hemos considerado 2 opciones de poda \u2014 para YOLOv3 (cuando se tiene que trabajar manualmente) y para redes con arquitecturas m\u00e1s simples. Se observa que en ambos casos se puede lograr una reducci\u00f3n del tama\u00f1o de la red y un aumento de la velocidad sin p\u00e9rdida de precisi\u00f3n. Resultados:<\/p>\n
          <\/p>\n