{"id":89110,"date":"2020-07-18T19:42:10","date_gmt":"2020-07-18T17:42:10","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/obshhij-obzor-arhitektury-servisa-dlya-oczenki-vneshnosti-na-osnove-nejronnyh-setej"},"modified":"2020-07-18T19:42:10","modified_gmt":"2020-07-18T17:42:10","slug":"obshhij-obzor-arhitektury-servisa-dlya-oczenki-vneshnosti-na-osnove-nejronnyh-setej","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/obshhij-obzor-arhitektury-servisa-dlya-oczenki-vneshnosti-na-osnove-nejronnyh-setej","title":{"rendered":"Algemene overzicht van de architectuur van de dienst voor het beoordelen van uiterlijke kenmerken op basis van neurale netwerken","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Algemene<\/p>\n

Inleiding<\/h2>\n

<\/p>\n

Hallo!<\/p>\n

<\/p>\n

In dit artikel deel ik mijn ervaring met het opbouwen van een microservicesarchitectuur voor een project dat neurale netwerken gebruikt.<\/p>\n

<\/p>\n

Laten we het hebben over de vereisten voor de architectuur, verschillende structurele diagrammen bekijken, elk van de componenten van de uiteindelijke architectuur analyseren en de technische metrics van de oplossing beoordelen.<\/p>\n

<\/p>\n

Prettige lectuur!<\/p>\n

<\/a><\/noindex><\/p>\n

Een paar woorden over de taak en de oplossing<\/h2>\n

<\/p>\n

Het hoofddoel is om op basis van een foto de aantrekkelijkheid van een persoon op een schaal van tien te beoordelen.<\/p>\n

<\/p>\n

In dit artikel zullen we afwijken van de beschrijving van zowel de gebruikte neurale netwerken als het gegevensvoorbereidings- en leerproces. Echter, in een van de volgende publicaties zullen we zeker terugkomen op de verdieping van de beoordeling.<\/p>\n

<\/p>\n

Op dit moment zullen we de beoordeling op hoog niveau doornemen en de nadruk leggen op de interactie tussen de microservices in de context van de algemene architectuur van het project.\u00a0<\/p>\n

<\/p>\n

Bij het werken aan de aantrekkelijkheid beoordelingspijplijn was de taak ontleed in de volgende onderdelen:<\/p>\n

<\/p>\n

    \n
  1. Gezichtherkenning op foto\u2019s<\/li>\n
  2. Beoordeling van elk van de gezichten<\/li>\n
  3. Rendering van het resultaat<\/li>\n<\/ol>\n

    <\/p>\n

    Het eerste wordt opgepakt door de voorgetrainde MTCNN<\/a><\/noindex>. Voor het tweede werd een convolutioneel neuraal netwerk getraind op PyTorch, met als backbone ResNet34<\/a><\/noindex> \u2013 voor de balans tussen \"kwaliteit \/ snelheid van inferentie op CPU\"<\/p>\n

    \n\"Algemene<\/p>\n

    Functioneel diagram van de beoordelingspijplijn<\/i><\/p>\n

    <\/p>\n

    Analyse van de vereisten voor de architectuur van het project<\/h2>\n

    <\/p>\n

    In de levenscyclus ML<\/a><\/noindex> van het project zijn de fasen van werken aan de architectuur en de automatisering van het implementeren van het model vaak de meest tijdrovende en resource-intensieve.<\/p>\n

    \n\"Algemene<\/p>\n

    Levenscyclus van een ML-project<\/i><\/p>\n

    <\/p>\n

    Dit project is geen uitzondering \u2013 het werd besloten om de beoordelingspijplijn te verpakken in een online service, waarvoor het nodig was om zich in de architectuur te verdiepen. Er werden de volgende basisvereisten vastgesteld:<\/p>\n

    <\/p>\n

      \n
    1. E\u00e9n opslagplaats voor logs \u2013 alle diensten moeten logs op \u00e9\u00e9n locatie schrijven, ze moeten gemakkelijk te analyseren zijn<\/li>\n
    2. Mogelijkheid tot horizontale schaalvergroting van de beoordelingsdienst \u2014 als de meest waarschijnlijke bottleneck<\/li>\n
    3. Voor elke afbeelding moet een gelijk aantal CPU-resources worden toegewezen \u2014 om uitschieters in de tijdsverdeling van de inferentie te vermijden<\/li>\n
    4. Snelle (her)implementatie van zowel specifieke diensten als de stack in zijn geheel<\/li>\n
    5. De mogelijkheid om indien nodig gedeelde objecten in verschillende services te gebruiken.<\/li>\n<\/ol>\n

      <\/p>\n

      Architectuur<\/h2>\n

      <\/p>\n

      Na analyse van de vereisten bleek dat de microservicesarchitectuur vrijwel perfect past.<\/p>\n

      <\/p>\n

      Om onnodige hoofdpijn te vermijden, is Telegram API als frontend gekozen.<\/p>\n

      <\/p>\n

      Laten we beginnen met het structurele diagram van de voltooide architectuur, waarna we elk van de componenten zullen beschrijven en formeel het proces van succesvolle afbeeldingverwerking zullen vastleggen.<\/p>\n

      \n\"Algemene<\/p>\n

      Structureel diagram van de voltooide architectuur<\/i><\/p>\n

      <\/p>\n

      Laten we gedetailleerd ingaan op elk van de componenten van het diagram en hun Single Responsibility in het beoordelingsproces van de afbeelding aanduiden.<\/p>\n

      <\/p>\n

      Microservice 'attrai-telegram-bot'<\/h3>\n

      <\/p>\n

      Deze microservice encapsuleert alle interacties met de Telegram API. Twee belangrijke scenario's kunnen worden onderscheiden: het werken met de gebruikersafbeelding en het werken met het resultaat van de beoordelingspipeline. We zullen beide scenario's in algemene termen bekijken.<\/p>\n

      <\/p>\n

      Bij het ontvangen van een gebruikersbericht met een afbeelding:<\/p>\n

      <\/p>\n

        \n
      1. Wordt er een filtering uitgevoerd bestaande uit de volgende controles:\n