{"id":89110,"date":"2020-07-18T19:42:10","date_gmt":"2020-07-18T17:42:10","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/obshhij-obzor-arhitektury-servisa-dlya-oczenki-vneshnosti-na-osnove-nejronnyh-setej"},"modified":"2020-07-18T19:42:10","modified_gmt":"2020-07-18T17:42:10","slug":"obshhij-obzor-arhitektury-servisa-dlya-oczenki-vneshnosti-na-osnove-nejronnyh-setej","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/obshhij-obzor-arhitektury-servisa-dlya-oczenki-vneshnosti-na-osnove-nejronnyh-setej","title":{"rendered":"Og\u00f3lny przegl\u0105d architektury us\u0142ugi w celu oceny wygl\u0105du opartego na sieciach neuronowych","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Og\u00f3lny<\/p>\n

Wprowadzenie<\/h2>\n

<\/p>\n

Cze\u015b\u0107!<\/p>\n

<\/p>\n

W tym artykule podziel\u0119 si\u0119 do\u015bwiadczeniem w budowie architektury mikroserwis\u00f3w dla projektu opartego na sieciach neuronowych.<\/p>\n

<\/p>\n

Porozmawiamy o wymaganiach dotycz\u0105cych architektury, przyjrzymy si\u0119 r\u00f3\u017cnym diagramom strukturalnym, om\u00f3wimy ka\u017cdy z komponent\u00f3w gotowej architektury, a tak\u017ce ocenimy metryki techniczne rozwi\u0105zania.<\/p>\n

<\/p>\n

\u017byczymy mi\u0142ej lektury!<\/p>\n

<\/a><\/noindex><\/p>\n

Kilka s\u0142\u00f3w o zadaniu i jego rozwi\u0105zaniu<\/h2>\n

<\/p>\n

G\u0142\u00f3wna idea polega na tym, aby na podstawie zdj\u0119cia oceni\u0107 atrakcyjno\u015b\u0107 osoby w skali dziesi\u0119ciopunktowej.<\/p>\n

<\/p>\n

W tym artykule odejdziemy od opisu zar\u00f3wno u\u017cywanych sieci neuronowych, jak i procesu przygotowania danych i uczenia. Niemniej jednak w jednym z kolejnych publikacji na pewno wr\u00f3cimy do analizy pipeline'u oceny na g\u0142\u0119bszym poziomie.<\/p>\n

<\/p>\n

Teraz przejdziemy przez pipeline oceny na poziomie og\u00f3lnym, koncentruj\u0105c si\u0119 na interakcji mikroserwis\u00f3w w kontek\u015bcie og\u00f3lnej architektury projektu.\u00a0<\/p>\n

<\/p>\n

Przy pracy nad pipeline'em oceny atrakcyjno\u015bci zadanie zosta\u0142o zdekomponowane na nast\u0119puj\u0105ce sk\u0142adniki:<\/p>\n

<\/p>\n

    \n
  1. Wydobywanie twarzy ze zdj\u0119\u0107<\/li>\n
  2. Ocena ka\u017cdej z twarzy<\/li>\n
  3. Renderowanie wyniku<\/li>\n<\/ol>\n

    <\/p>\n

    Pierwsze zadanie realizowane jest przez wytrenowany MTCNN<\/a><\/noindex>. Dla drugiego zadania zosta\u0142a wytrenowana sie\u0107 konwolucyjna w PyTorch, u\u017cyto jako backbone'a ResNet34<\/a><\/noindex> \u2013 z r\u00f3wnowagi pomi\u0119dzy \u201ejako\u015bci\u0105 \/ szybko\u015bci\u0105 inferencji na CPU\u201d<\/p>\n

    \n\"Og\u00f3lny<\/p>\n

    Funkcjonalny diagram pipeline'u oceny<\/i><\/p>\n

    <\/p>\n

    Analiza wymaga\u0144 dotycz\u0105cych architektury projektu<\/h2>\n

    <\/p>\n

    W cyklu \u017cycia - wsparcie.<\/a><\/noindex> projektu etapy pracy nad architektur\u0105 i automatyzacj\u0105 wdra\u017cania modelu s\u0105 cz\u0119sto jednymi z najbardziej czasoch\u0142onnych i kosztownych zasobowo.<\/p>\n

    \n\"Og\u00f3lny<\/p>\n

    Cykl \u017cycia projektu ML<\/i><\/p>\n

    <\/p>\n

    Ten projekt nie jest wyj\u0105tkiem \u2013 podj\u0119to decyzj\u0119 o opakowaniu pipeline'u oceny w serwis online, w zwi\u0105zku z czym nale\u017ca\u0142o zg\u0142\u0119bi\u0107 architektur\u0119. Wyznaczono nast\u0119puj\u0105ce podstawowe wymagania:<\/p>\n

    <\/p>\n

      \n
    1. Jednolity magazyn log\u00f3w \u2013 wszystkie us\u0142ugi powinny zapisywa\u0107 logi w jednym miejscu, powinny by\u0107 \u0142atwe do analizy<\/li>\n
    2. Mo\u017cliwo\u015b\u0107 horyzontalnego skalowania us\u0142ugi oceny - jako najbardziej prawdopodobny w\u0105skie gard\u0142o<\/li>\n
    3. Na ocen\u0119 ka\u017cdego zdj\u0119cia powinno by\u0107 przeznaczone tej samej ilo\u015bci zasob\u00f3w procesora - aby unikn\u0105\u0107 odchyle\u0144 w rozk\u0142adzie czasu na inferencj\u0119<\/li>\n
    4. Szybkie (prze)wdro\u017cenie zar\u00f3wno konkretnych us\u0142ug, jak i ca\u0142ego stosu<\/li>\n
    5. Mo\u017cliwo\u015b\u0107, w razie potrzeby, u\u017cycia wsp\u00f3lnych obiekt\u00f3w w r\u00f3\u017cnych us\u0142ugach<\/li>\n<\/ol>\n

      <\/p>\n

      Architektura<\/h2>\n

      <\/p>\n

      Po analizie wymaga\u0144 sta\u0142o si\u0119 oczywiste, \u017ce architektura mikroserwisowa idealnie si\u0119 wpasowuje.<\/p>\n

      <\/p>\n

      Aby pozby\u0107 si\u0119 niepotrzebnego b\u00f3lu g\u0142owy, jako frontend wybrano Telegram API.<\/p>\n

      <\/p>\n

      Na pocz\u0105tku rozwa\u017cmy diagram strukturalny gotowej architektury, nast\u0119pnie przejdziemy do opisu ka\u017cdego z komponent\u00f3w oraz sformalizujemy proces skutecznego przetwarzania obrazu.<\/p>\n

      \n\"Og\u00f3lny<\/p>\n

      Diagram strukturalny gotowej architektury<\/i><\/p>\n

      <\/p>\n

      Porozmawiajmy bardziej szczeg\u00f3\u0142owo o ka\u017cdym z komponent\u00f3w diagramu, oznaczymy ich Single Responsibility w procesie oceny obrazu.<\/p>\n

      <\/p>\n

      Mikroserwis \u201eattrai-telegram-bot\u201d<\/h3>\n

      <\/p>\n

      Ten mikroserwis inkapsuluje wszystkie interakcje z API Telegrama. Mo\u017cna wyr\u00f3\u017cni\u0107 dwa g\u0142\u00f3wne scenariusze \u2013 praca z obrazem u\u017cytkownika i praca z wynikiem potoku oceny. Rozwa\u017cymy oba scenariusze w og\u00f3lnym zarysie.<\/p>\n

      <\/p>\n

      Przy otrzymaniu wiadomo\u015bci u\u017cytkownika z obrazem:<\/p>\n

      <\/p>\n

        \n
      1. Przeprowadzana jest filtracja, sk\u0142adaj\u0105ca si\u0119 z nast\u0119puj\u0105cych sprawdze\u0144:\n