Inisinia Faʻamatalaga ma Faʻamatalaga Saienitisi: O le a le eseesega?

O galuega a Data Scientist ma Data Engineer e masani ona fenumiai. O kamupani taʻitasi e iai a latou lava faʻamatalaga o le galue ma faʻamaumauga, faʻamoemoega eseese mo a latou auʻiliʻiliga ma se manatu ese o le a le tagata tomai faapitoa e tatau ona feagai ma le fea vaega o le galuega, o lea e tofu lava ma ona manaʻoga. 

Sei o tatou vaʻai pe o le a le eseesega i le va o nei tagata tomai faapitoa, o a faʻafitauli faʻapisinisi latou te foia, o a tomai latou te maua ma pe fia le latou tupe maua. Na foliga mai e telē le mataupu, o lea na matou vaevaeina ai i ni lomiga se lua.

I le mataupu muamua, Elena Gerasimova, ulu o le faiaoga "Saienisi Fa'amaumauga ma Fa'amatalaga"i le Netology, taʻu mai le eseesega i le va o le Data Scientist ma le Data Engineer ma mea faigaluega latou te galulue ai.

E faapefea ona eseese matafaioi a inisinia ma saienitisi

O se inisinia faʻamatalaga o se tagata faʻapitoa, i le tasi itu, atiaʻe, suʻeina ma tausia faʻamaumauga faʻamaumauga: faʻamaumauga, teuina ma faiga faʻapipiʻi tele. I le isi itu, o le tagata lea e faʻamamā ma "selu" faʻamaumauga mo le faʻaaogaina e tagata suʻesuʻe ma saienitisi faʻamaumauga, o lona uiga, fatuina o faʻamaumauga o paipa.

Fa'ata'ita'i Saienitisi e fatuina ma fa'aa'oa'oina fa'ata'ita'iga vavalo (ma isi) e fa'aoga ai masini a'oa'oga algorithms ma neural networks, fesoasoani i pisinisi e su'e mamanu natia, vavalo atina'e ma fa'amalieina faiga pisinisi autu.

O le eseesega tele i le va o le Saienitisi Faʻamatalaga ma le Inisinia Faʻamatalaga e masani ona i ai a latou sini eseese. E galulue uma e fa'amautinoa o lo'o maua fa'amaumauga ma maualuga le lelei. Ae o se Saienitisi Faʻamatalaga e maua tali i ana fesili ma suʻeina faʻamatalaga i totonu o se faʻalapotopotoga faʻanatura (mo se faʻataʻitaʻiga, faʻavae i luga o Hadoop), ma se Inisinia Faʻamatalaga e fatuina se paipa mo le tautuaina o se masini aʻoaʻoga algorithm na tusia e se saienitisi faʻamaumauga i totonu o le Spark cluster i totonu o le tutusa. fa'anatura. 

E aumaia e le inisinia fa'amatalaga le taua i se pisinisi e ala i le galue o se vaega o se 'au. O lana galuega o le galue o se fesoʻotaʻiga taua i le va o tagata auai eseese: mai le au atinaʻe i tagata faʻatau pisinisi o lipoti, ma faʻateleina le gaosiga o tagata suʻesuʻe, mai maketi ma oloa ile BI. 

O se Saienitisi Faʻamatalaga, i se isi itu, e galue malosi i le fuafuaga a le kamupani ma le suʻeina o faʻamatalaga, faia o faʻaiuga, faʻaaogaina algorithms otometi, faʻataʻitaʻiga ma faʻatupuina tau mai faʻamaumauga.


O le galue ma faʻamaumauga e faʻatatau i le GIGO ( lapisi i totonu - lapisi i fafo) mataupu faavae: afai e faʻatautaia e le au suʻesuʻe ma faʻamaumauga faʻamaumauga faʻamatalaga e leʻi saunia ma ono le saʻo, o le a le saʻo le iʻuga e oʻo lava i le faʻaaogaina o algorithms auʻiliʻili sili. 

E foia e inisinia faʻamaumauga lenei faʻafitauli e ala i le fausiaina o paipa mo le faʻaogaina, faʻamamaina ma le suia o faʻamaumauga ma faʻatagaina saienitisi faʻamaumauga e galulue ma faʻamaumauga maualuga. 

E tele meafaigaluega i luga o le maketi mo le galulue faatasi ma faʻamaumauga e aofia ai laasaga uma: mai le faʻaalia o faʻamaumauga i le gaosiga i se dashboard mo le komiti faatonu. Ma e taua le faia o le filifiliga e faʻaaogaina e se inisinia - e le ona o se faiga masani, ae ona o le a ia fesoasoani moni i le galuega a isi tagata auai i le faagasologa. 

Feso'ota'i: afai e mana'omia e se kamupani ona faia so'otaga i le va o le BI ma le ETL - fa'apipi'i fa'amaumauga ma fa'afouina lipoti, o se fa'avae fa'aleaganu'u masani lea e tatau ona fa'atautaia e le Inisinia Fa'amaumauga (e lelei pe a iai fo'i se tusiata i le 'au).

Matafaioi a le Inisinia Faamatalaga

• Atina'e, fausiaina ma le tausiga o fa'amaumauga o fa'amaumauga.
• Taulimaina o mea sese ma le fatuina o paipa faʻamaumauga faʻamaonia.
• Aumai faʻamatalaga e leʻi faʻatulagaina mai punaoa faʻamalosi eseese i le fomu e manaʻomia mo le galuega a tagata suʻesuʻe.
• Tuuina atu o fautuaga e faʻaleleia atili ai faʻamaumauga ma le lelei.
• Tuuina atu ma tausia le fausaga faʻamaumauga o loʻo faʻaaogaina e saienitisi faʻamaumauga ma suʻega faʻamaumauga.
• Fa'agasolo ma teu fa'amaumauga i taimi uma ma lelei i totonu o se fa'asoa fa'asoa o le sefulu po'o le fiaselau o sapalai.
• Iloilo le fefaʻatauaʻiga faʻainisinia o meafaigaluega e fausia ai fausaga faigofie ae malosi e mafai ona sao mai faʻalavelave.
• Puleaina ma lagolago o tafega o faʻamatalaga ma faiga faʻapitoa (faʻatulagaina le mataʻituina ma mataala).

O loʻo i ai se isi faʻapitoa faʻapitoa i totonu ole faʻasologa o le Inisinia Faʻamatalaga - ML engineer. I se faapuupuuga, o nei inisinia e faʻapitoa i le aumaia o masini aʻoaʻoga faʻataʻitaʻiga i le faʻatinoina ma le faʻaogaina o fale gaosi oloa. E masani lava, o se faʻataʻitaʻiga na maua mai se saienitisi faʻamaumauga o se vaega o se suʻesuʻega ma atonu e le aoga i tulaga tau.

Matafaioi a le Saienitisi o Faamatalaga

• Ave'ese vaega mai fa'amaumauga e fa'aoga ai masini a'oa'oga algorithms.
• Fa'aaogā meafaigaluega eseese e a'oa'o ai masini e va'ai ma fa'avasega fa'asologa i fa'amaumauga.
• Faʻaleleia le faʻatinoga ma le saʻo o masini aʻoaʻoina algorithms e ala i le faʻaleleia lelei ma le faʻaogaina o algorithms.
• Fausiaina o manatu "malosi" e tusa ai ma le fuafuaga a le kamupani e manaʻomia ona suʻeina.

E fa'asoa uma e le Data Engineer ma le Data Scientist se sao taua i le atina'eina o se aganuu fa'amaumauga, lea e mafai ai e se kamupani ona maua ni tupe fa'aopoopo pe fa'aitiitia ai tau.

O a gagana ma meafaigaluega e galulue ai inisinia ma saienitisi?

I aso nei, o faʻamoemoega mo saienitisi faʻamaumauga ua suia. I le taimi muamua, na aoina e le au inisinia ni fesili SQL tele, tusia ma le lima MapReduce ma faʻatautaia faʻamaumauga e faʻaaoga ai meafaigaluega e pei o Informatica ETL, Pentaho ETL, Talend. 

I le 2020, e le mafai e se tagata tomai faapitoa ona faia e aunoa ma le malamalama i le Python ma mea faigaluega faʻaonaponei (mo se faʻataʻitaʻiga, Airflow), malamalama i mataupu faavae o le galue i luga o le ao (faʻaaogaina e teu ai meafaigaluega, aʻo matauina mataupu faavae saogalemu).

SAP, Oracle, MySQL, Redis o meafaigaluega masani mo inisinia faʻamatalaga i kamupani tetele. E lelei, ae o le tau o laisene e matua maualuga lava o le aʻoaʻoina e galulue faʻatasi ma i latou e naʻo le faʻaogaina o galuega faʻapisinisi. I le taimi lava e tasi, o loʻo i ai se filifiliga saoloto i le tulaga o Postgres - e leai se totogi ma talafeagai e le gata mo aʻoaʻoga. 

I le tala faasolopito, o talosaga mo Java ma Scala e masani ona maua, e ui lava a o atinaʻe tekinolosi ma auala, o nei gagana e mou atu i tua.

Ae ui i lea, hardcore BigData: Hadoop, Spark ma le isi vaega o le faleoloa e le o toe manaʻomia mo se inisinia faʻamatalaga, ae o se ituaiga meafaigaluega mo le foia o faʻafitauli e le mafai ona foia e le ETL masani. 

O le masani o auaunaga mo le faʻaaogaina o meafaigaluega e aunoa ma le malamalama i le gagana o loʻo tusia ai (mo se faʻataʻitaʻiga, Hadoop e aunoa ma le malamalama i Java), faʻapea foʻi ma le tuʻuina atu o auaunaga ua saunia mo le faʻaogaina o faʻamaumauga (faʻailoa leo poʻo le faʻaalia ata ile vitio ).

O fofo fa'apisinisi mai le SAS ma le SPSS e lauiloa, ae o Tableau, Rapidminer, Stata ma Julia o loʻo faʻaaogaina lautele e saienitisi faʻamaumauga mo galuega faʻapitonuʻu.

O le gafatia e fausia ai laina paipa na faʻaalia e tagata suʻesuʻe ma saienitisi faʻamatalaga i ni nai tausaga talu ai: mo se faʻataʻitaʻiga, ua mafai ona tuʻuina atu faʻamatalaga i le PostgreSQL-faʻavae teuina e faʻaaoga ai tusitusiga faigofie. 

E masani lava, o le faʻaogaina o paipa ma faʻapipiʻi faʻamaumauga faʻamaumauga e tumau pea le matafaioi a inisinia faʻamaumauga. Ae i aso nei, o le masani mo tagata tomai faʻapitoa T-foliga ma agavaʻa lautele i matata faʻapitoa e sili atu le malosi nai lo se isi lava taimi, aua o meafaigaluega e faʻafaigofieina i taimi uma.

Aisea e Galulue Faatasi ai le Inisinia Faamatalaga ma Faamatalaga Saienitisi

E ala i le galulue vavalalata ma inisinia, e mafai e Saienitisi Faʻamatalaga ona taulaʻi i le itu suʻesuʻe, fatuina algorithms aʻoaʻoga masini gaosiga.
Ma e manaʻomia e inisinia ona taulaʻi i le faʻalauteleina, toe faʻaaogaina o faʻamaumauga, ma faʻamautinoa o le faʻaogaina o faʻamatalaga ma laina paipa i totonu o poloketi taʻitasi e tausisia le fausaga o le lalolagi.

O lenei tuueseeseina o matafaioi e mautinoa ai le tumau i vaega uma o loʻo galulue i galuega eseese aʻoaʻoga masini. 

O le galulue fa'atasi e fesoasoani i le fa'atupuina lelei o oloa fou. Ole saoasaoa ma le lelei e ausia e ala i le paleni i le va o le fatuina o se auaunaga mo tagata uma (faʻapipiʻiina i le lalolagi poʻo le tuʻufaʻatasia o dashboards) ma le faʻatinoina o manaʻoga taʻitasi poʻo se poloketi (paipa faʻapitoa, fesoʻotaʻi punaoa i fafo). 

O le galulue vavalalata ma saienitisi faʻamaumauga ma suʻesuʻega e fesoasoani i inisinia e atiaʻe tomai auʻiliʻili ma suʻesuʻega e tusia ai tulafono sili atu. Fa'asoa fa'amatalaga i totonu o faleteuoloa ma fa'amatalaga vaituloto fa'aleleia atili, fa'aleleia atili galuega fa'atino ma tu'uina atu fa'ai'uga tumau umi.

I kamupani o loʻo faʻamoemoe e atiaʻe se aganuʻu o le galulue faʻatasi ma faʻamaumauga ma le fausiaina o pisinisi faʻavae e faʻavae i luga o latou, Data Scientist ma Data Engineer e faʻamalieina le tasi ma le isi ma fatuina se faiga faʻamaumauga atoatoa. 

I le isi tusiga o le a tatou talanoa e uiga i le ituaiga aʻoaʻoga e tatau ona i ai i le Inisinia Faʻamatalaga ma Faʻamatalaga Saienitisi, o a tomai latou te manaʻomia e atiaʻe ma pe faʻafefea ona galue le maketi.

Mai le faatonu o Netology

Afai o loʻo e vaʻavaʻai i le galuega a Data Engineer poʻo Data Scientist, matou te valaʻauina oe e suʻesuʻe a matou polokalame kosi:

• Galuega"Inisinia fa'amaumauga".  
• Galuega"Scientist Data".

puna: www.habr.com