Индустријско машинско учење: 10 принципа дизајна

Индустријско машинско учење: 10 принципа дизајна

Данас се свакодневно креирају нови сервиси, апликације и други важни програми који омогућавају стварање невероватних ствари: од софтвера за контролу СпацеКс ракете до интеракције са чајником у суседној просторији преко паметног телефона.

И, понекад, сваки програмер почетник, било да је страствени стартапер или обичан Фулл Стацк или Дата Сциентист, пре или касније дође до спознаје да постоје одређена правила за програмирање и креирање софтвера која умногоме поједностављују живот.

У овом чланку ћу укратко описати 10 принципа како програмирати индустријско машинско учење тако да се може лако интегрисати у апликацију/услугу, на основу 12-факторске Апп методологије. предложио Хероку тим. Моја иницијатива је да повећам свест о овој техници, која може помоћи многим програмерима и људима из науке о подацима.

Овај чланак је увод у серију чланака о индустријском машинском учењу. У њима ћу даље говорити о томе како заправо направити модел и покренути га у производњу, креирати АПИ за њега, као и примере из разних области и компанија које имају уграђен МЛ у своје системе.

Принцип 1: Једна база кода

Неки програмери у првим фазама, из лењости да то схвате (или из неког сопственог разлога), забораве на Гит. Или потпуно забораве реч, односно добацују једни другима фајлове у драјв/само добацују текст/пошаљу од голубова, или не размишљају о свом току рада, и посвете се свако својој грани, а затим и мајстор.

Овај принцип каже: имају једну базу кода и много имплементација.

Гит се може користити и у производњи иу истраживању и развоју (Р&Д), у којима се не користи тако често.

На пример, у фази истраживања и развоја можете оставити урезивања са различитим методама и моделима обраде података, да бисте затим изабрали најбољи и лако наставили даље да радите са њим.

Друго, у производњи је ово незаменљива ствар - мораћете стално да гледате како се ваш код мења и да знате који модел је дао најбоље резултате, који је код на крају функционисао и шта се десило због чега је престао да ради или почне да даје погрешне резултате . Ето чему служе обавезе!

Такође можете да креирате пакет свог пројекта, ставите га, на пример, на Гемфури, а затим једноставно увезете функције из њега за друге пројекте, како их не бисте преписивали 1000 пута, али о томе касније.

Принцип 2: Јасно декларишите и изолујте зависности

Сваки пројекат има различите библиотеке које увозите споља да бисте их негде применили. Било да су у питању Питхон библиотеке, или библиотеке других језика за различите намене, или системски алати - ваш задатак је:

• Јасно наведите зависности, односно датотеку која ће садржати све библиотеке, алате и њихове верзије које се користе у вашем пројекту и које морају бити инсталиране (на пример, у Питхон-у то се може урадити помоћу Пипфиле-а или рекуирементс.ткт. А линк који омогућава добром разумевању: реалпитхон.цом/пипенв-гуиде)
• Изолујте зависности посебно за ваш програм током развоја. Не желите да стално мењате верзије и поново инсталирате, на пример, Тенсорфлов?

На овај начин програмери који ће се придружити вашем тиму у будућности моћи ће брзо да се упознају са библиотекама и њиховим верзијама које се користе у вашем пројекту, а такође ћете имати прилику да управљате верзијама и самим библиотекама инсталираним за одређени пројекат, који ће вам помоћи да избегнете некомпатибилност библиотека или њихових верзија.

Ваша апликација такође не треба да се ослања на системске алате који могу бити инсталирани на одређеном ОС. Ови алати такође морају бити декларисани у манифесту зависности. Ово је неопходно како би се избегле ситуације у којима верзија алата (као и њихова доступност) не одговара системским алатима одређеног ОС.

Стога, чак и ако се цурл може користити на скоро свим рачунарима, ипак би требало да га декларирате у зависностима, јер приликом миграције на другу платформу можда неће бити тамо или верзија неће бити она која вам је првобитно била потребна.

На пример, ваш рекуирементс.ткт може изгледати овако:

# Model Building Requirements
numpy>=1.18.1,<1.19.0
pandas>=0.25.3,<0.26.0
scikit-learn>=0.22.1,<0.23.0
joblib>=0.14.1,<0.15.0

# testing requirements
pytest>=5.3.2,<6.0.0

# packaging
setuptools>=41.4.0,<42.0.0
wheel>=0.33.6,<0.34.0

# fetching datasets
kaggle>=1.5.6,<1.6.0

Принцип 3: Конфигурације

Многи су чули приче о разним програмерима који су случајно учитали код на ГитХуб у јавна спремишта са лозинкама и другим кључевима са АВС-а, пробудивши се следећег дана са дугом од 6000 долара или чак 50000 долара.

Наравно, ови случајеви су екстремни, али веома значајни. Ако своје акредитиве или друге податке потребне за конфигурацију чувате унутар кода, правите грешку и мислим да нема потребе да објашњавате зашто.

Алтернатива овоме је чување конфигурација у променљивим окружења. Можете прочитати више о варијаблама окружења овде.

Примери података који се обично чувају у променљивим окружења:

• Имена домена
• АПИ УРЛ-ови/УРИ
• Јавни и приватни кључеви
• Контакти (пошта, телефони, итд.)

На овај начин не морате стално да мењате код ако се ваше конфигурационе променљиве промене. Ово ће вам помоћи да уштедите време, труд и новац.

На пример, ако користите Каггле АПИ за спровођење тестова (на пример, преузмете софтвер и покренете модел кроз њега да бисте тестирали када се покреће да модел добро функционише), онда би приватни кључеви из Каггле-а, као што су КАГГЛЕ_УСЕРНАМЕ и КАГГЛЕ_КЕИ, требало да буду ускладиштене у променљивим окружења.

Принцип 4: Услуге трећих лица

Идеја је да се програм креира на такав начин да нема разлике између локалних ресурса и ресурса треће стране у смислу кода. На пример, можете повезати и локални МиСКЛ и оне треће стране. Исто важи и за различите АПИ-је као што су Гоогле Мапс или Твиттер АПИ.

Да бисте онемогућили услугу треће стране или повезали другу, потребно је само да промените кључеве у конфигурацији у варијаблама окружења, о чему сам говорио у горњем пасусу.

Дакле, на пример, уместо да сваки пут наведете путању до датотека са скуповима података унутар кода, боље је користити библиотеку патхлиб и декларисати путању до скупова података у цонфиг.пи, тако да без обзира који сервис користите (за на пример, ЦирцлеЦИ), програм је успео да пронађе путању до скупова података узимајући у обзир структуру новог система датотека у новој услузи.

Принцип 5. Израда, издавање, време извођења

Многи људи из науке о подацима сматрају корисним да побољшају своје вештине писања софтвера. Ако желимо да се наш програм руши што је могуће ређе и да ради без кварова што је дуже могуће, потребно је да поделимо процес издавања нове верзије у 3 фазе:

1. Сцена скупштине. Свој голи код са појединачним ресурсима трансформишете у такозвани пакет који садржи сав потребан код и податке. Овај пакет се зове склоп.
2. Сцена пуштање — овде повезујемо нашу конфигурацију са склопом, без којег не бисмо могли да пустимо наш програм. Сада је ово потпуно спремно за лансирање.
3. Следеће долази фаза ispunjenje. Овде ослобађамо апликацију покретањем неопходних процеса из нашег издања.

Такав систем за издавање нових верзија модела или читавог цевовода омогућава вам да одвојите улоге између администратора и програмера, омогућава вам да пратите верзије и спречава нежељена заустављања програма.

За задатак издавања креирано је много различитих сервиса у којима можете писати процесе који ће се сами покренути у .имл датотеци (на пример, у ЦирцлеЦИ-ју ово је цонфиг.имл за подршку самом процесу). Вхеели је одличан у креирању пакета за пројекте.

Можете креирати пакете са различитим верзијама вашег модела машинског учења, а затим их спаковати и упутити на потребне пакете и њихове верзије да бисте користили функције које сте написали одатле. Ово ће вам помоћи да креирате АПИ за свој модел, а ваш пакет може бити хостован на Гемфурију, на пример.

Принцип 6. Покрените свој модел као један или више процеса

Штавише, процеси не би требало да имају заједничке податке. То јест, процеси морају постојати одвојено, а све врсте података морају постојати одвојено, на пример, на услугама трећих страна као што је МиСКЛ или други, у зависности од тога шта вам је потребно.

Односно, дефинитивно не вреди чувати податке унутар система датотека процеса, иначе то може довести до брисања ових података током следећег издања/промене конфигурација или преноса система на којем програм ради.

Али постоји изузетак: за пројекте машинског учења, можете да складиштите кеш библиотека како их не бисте поново инсталирали сваки пут када покренете нову верзију, ако нису унете додатне библиотеке или било какве промене у њиховим верзијама. На овај начин ћете смањити време потребно за лансирање вашег модела у индустрији.

Да бисте покренули модел као неколико процеса, можете креирати .имл датотеку у којој наведете потребне процесе и њихов редослед.

Принцип 7: Рециклабилност

Процесе који се покрећу у апликацији вашег модела треба лако покренути и зауставити. Дакле, ово ће вам омогућити да брзо примените промене кода, промене конфигурације, брзо и флексибилно скалирајте и спречите могуће кварове радне верзије.

То јест, ваш процес са моделом треба да:

• Смањите време покретања. У идеалном случају, време покретања (од тренутка када је издата команда за покретање до тренутка када процес почне) не би требало да буде дуже од неколико секунди. Кеширање библиотеке, описано изнад, једна је од техника за смањење времена покретања.
• Заврши исправно. То јест, слушање на сервисном порту је заправо суспендовано, а нови захтеви поднети овом порту неће бити обрађени. Овде или морате да успоставите добру комуникацију са ДевОпс инжењерима, или да сами разумете како то функционише (пожељно је, наравно, ово друго, али комуникација увек треба да се одржава, у било ком пројекту!)

Принцип 8: Континуирана примена/интеграција

Многе компаније користе раздвајање између тимова за развој и имплементацију апликације (чини апликацију доступном крајњим корисницима). Ово може у великој мери успорити развој софтвера и напредак у његовом побољшању. То такође квари ДевОпс културу, где су развој и интеграција, грубо говорећи, комбиновани.

Стога, овај принцип каже да ваше развојно окружење треба да буде што ближе вашем производном окружењу.

Ово ће омогућити:

1. Смањите време ослобађања за десетине пута
2. Смањите број грешака због некомпатибилности кода.
3. Ово такође смањује оптерећење особља, пошто су програмери и људи који примењују апликацију сада један тим.

Алати који вам омогућавају да радите са овим су ЦирцлеЦИ, Травис ЦИ, ГитЛаб ЦИ и други.

Модел можете брзо допунити, ажурирати и одмах покренути, док ће се лако, у случају кварова, врло брзо вратити на радну верзију, тако да крајњи корисник то и не примети. Ово се може урадити посебно лако и брзо ако имате добре тестове.

Минимизирајте разлике!!!

Принцип 9. Ваши дневници

Дневници (или „Евиденција“) су догађаји, обично снимљени у текстуалном формату, који се дешавају унутар апликације (ток догађаја). Једноставан пример: "2020-02-02 - системски ниво - назив процеса." Дизајнирани су тако да програмер може буквално да види шта се дешава када је програм покренут. Он види напредак процеса и разуме да ли је то онако како је сам програмер замислио.

Овај принцип каже да не треба да складиштите своје евиденције унутар вашег система датотека – требало би да их само „изнесете“ на екран, на пример, урадите то на стандардном излазу система. И на овај начин биће могуће пратити проток у терминалу током развоја.

Да ли то значи да уопште нема потребе за чувањем дневника? Наравно да не. Ваша апликација то једноставно не би требало да ради - препустите то услугама трећих страна. Ваша апликација може само да проследи евиденцију одређеној датотеци или терминалу за гледање у реалном времену или да их проследи систему за складиштење података опште намене (као што је Хадооп). Сама ваша апликација не би требало да складишти евиденције нити да комуницира са њима.

Принцип 10. Тест!

За индустријско машинско учење, ова фаза је изузетно важна, јер морате да схватите да модел ради исправно и да производи оно што сте желели.

Тестови се могу креирати помоћу питест-а и тестирати помоћу малог скупа података ако имате задатак регресије/класификације.

Не заборавите да поставите исто семе за моделе дубоког учења како не би стално давали различите резултате.

Ово је био кратак опис 10 принципа и, наравно, тешко их је користити без покушаја и увида како функционишу, тако да је овај чланак само увод у серију занимљивих чланака у којима ћу открити како да креирате модели индустријског машинског учења, како их интегрисати у системе и како ови принципи могу свима нама олакшати живот.

Такође ћу покушати да користим цоол принципе које свако може оставити у коментарима ако жели.

Извор: ввв.хабр.цом