Professiones Datae Scientist et Engineering saepe confusae sunt. Unaquaeque societas proprias habet proprias operandi rationes, diversos fines pro eorum analysi ac diversa ratione de qua artifex agere debet in qua parte operis, ideo unaquaeque sua habet requisita.
Inspice quid intersit inter hos artifices, quae negotia negotia solvant, quas artes habeant et quantum merentur. Materia magna evasit, ut eam in duas publicationes divisimus.
In primo articulo, Elena Gerasimova, caput facultatis "" in Netologia, dicit quid intersit inter Datam Scientist et Datae machinae et quae instrumenta operantur.
Quomodo partes fabrum et scientiarum differant?
Ingenium datorum specialitas est qui, ex altera parte, evolvit, probat et conservat notitias infrastructuras: databases, repono et massa processus systemata. Contra, hic est qui purgat et "pecos" data ad usum per analystas et phisicis notitiis, id est, datorum processus pipelines creat.
Data Scientist gignit et impedimenta predictive (et alia) exempla machinae utentes algorithmos discendi et retiacula neural, negotia adiuvantes exemplaria occulta inveniunt, progressus praedicunt et processus optimize key negotiationes.
Praecipua differentia inter Scientist et Data Engineer est quod plerumque diversas metas habere. Utrumque opus est curare ut notitia prompta sit et qualitatis magnae. Sed Data Scientista responsa quaestionibus suis invenit et hypotheses probat in notitia ecosystematis (exempli gratia Hadoop fundata), et Data machinalis pipelinum creat ad machinam discendi algorithmum operandum a notitia scientifica in botro scintillante in eodem. ecosystem.
Data fectum facit valorem ad negotium operando sicut pars quadrigis. Negotium suum est ut magni momenti nexum inter diversos participes agere: ab tincidunt ad negotiatores referendi usores, et analystarum ubertatem augere, a mercatu et uber ad BI.
A Scientista data, contra, partem activam in consilio societatis accipit et pervestigationes extrahit, decisiones faciens, algorithmos automationem exsequens, exemplar et valorem e notitia generans.
Operatio cum notitia subicitur principii GIGO (courgamentum in - purgamentum) si analystae et notitiae phisicae cum imparato et potentialiter datae sunt falsae notitiae, tunc eventus etiam utentes algorithms sapientissimis analysibus falsa erunt.
Datae fabrum hanc quaestionem solvunt aedificando tibias ad notitias expediendas, purgandas et transmutando, et data phisicis permittens ad operandum magna qualitas data.
Multa instrumenta in foro operandi sunt cum notitia quae singulas scenas tegunt: ex specie data ad output ad ashboardday pro tabula moderatorum. Et interest ut eorum consilium utendi per ingeniarium fiat - non quia est similis, sed quia re vera adiuvabit reliquos processus participantes.
Placito: si societas nexus inter BI et ETL - onerandas notitias et adaequationis relationes facere debet, hic fundamentum est proprium legatum quod per machinam Data agere debebit (bonum est si etiam architectus in manipulis adsit).
Officia data Engineer
- Progressus, constructio et sustentatio notitia processus infrastructurae.
- De erroribus tractandis et faciendis certas notitias processus pipelines.
- Notitias informes e variis dynamicis fontibus afferens ad formam necessariam ad opus analystarum.
- Suasiones prospiciens ad meliorem datam constantiam et qualitatem.
- Praesens et servans notitias architecturae quibus utitur notitia phisicorum et notitiarum analystarum.
- Processus et copia notitia constanter et efficaciter in botro distributo decem vel centenario ministrantium.
- Aestimare technicas artis instrumenta instrumenta ad simplices sed robustas architecturas creandas quae distractio superesse possunt.
- Imperium et subsidium notitiarum fluit et systemata cognata (sponsiones vigilantia et erecta sunt).
Alia specialisatio in Trajectoriis Data Engineer - ML machinalis est. In summa, hi speciales sunt machinae in instrumento discendi ad exsequenda et usus industriae exempla afferenda. Saepe exemplum quod a notitia scientifici receptum est pars studii et condiciones in pugna non operari potest.
Officia a Data Scientist
- Extrahendi lineamenta e notitia ut machinam algorithmarum discendi adhibeas.
- Apparatus discendi varias utens instrumenta ad exemplaria in notitia praedicere et inserere.
- Ad emendandas algorithmos faciendos et subtiliter apparatus discendi by gorethms et optimizing algorithms.
- Institutio "fortis" hypothesium secundum consilium societatis probatione opus est.
Ambae Datae Engineer et Datae Scientista collationem tangbilem communicant ad progressionem notitiae culturae, per quam societas fructus additos generare vel gratuita minuere potest.
Quibus linguis et instrumentis fabrum et scientiarum operantur?
Hodie, exspectatio notitiarum scientiarum mutata est. Antea fabrum SQL inquisitiones magnas collegit, manually MapReduce scripsit et notitias processit utentes instrumenta informatica ETL, Pentaho ETL, Talend.
Anno 2020, artifex non potest sine scientia Pythonis et instrumentorum calculi moderni (exempli gratia Airflow), intellectuum principiorum operandi cum suggestis nubeculis (utendo ad salvandum in ferramentis, servatis principiis securitatis).
SAP, Oraculum, MySQL, Redis instrumenta tradita sunt pro notitiis fabrum in societatibus magnis. Bona sunt, sed sumptus licentiarum tam altus est ut discens cum iis laborare tantum sensum in industrialibus inceptis faciat. Eodem tempore gratuita est alternatio in forma Postgres - libera et apta non solum ad exercitationem.
Postulationes historice pro Java et Scala saepe inveniuntur, licet technologiae et accessus enucleentur, hae linguae in curriculum cadunt.
Nihilominus, Hardcore BigData: Hadoop, Scintilla et reliqui ferarum iam non praeexigitur ad fectum datae, sed quaedam instrumenta ad quaestiones solvendas quae a traditionalibus ETL solvi non possunt.
Inclinatio est officia instrumentorum sine scientia linguae in qua scripta sunt (exempli gratia Hadoop sine scientia Javae), tum praescriptum operas paratae factae ad notitias processus profluentes (cognitio vocis seu agnitio imaginis in video. ).
Solutiones industriales e SAS et SPSS populares sunt, cum Tableau, Rapidminer, Stata et Iulia late etiam a notis scientiarum locorum muniorum utuntur.
Facultas aedificandi pipelines ipsae analystae et notitiae phisicae ante duos tantum annos visae sunt: ββexempli gratia, iam fieri potest ut notitias mitteret ad repositionis PostgreSQL-substructio utendo scripta simplicia relativa.
De more, usus fistularum ac notitiarum integrarum structurarum penes machinarum notitiarum manet. Sed hodie validior est inclinatio pro T informibus specialibus cum latis competentiis in actis campis, quam umquam, quia instrumenta constanter faciliora sunt.
Cur Data Engineering and Data Scientist Work Together?
Cum arte fabrum operando, Scientistae Data in investigationem partem intendere possunt, apparatus productionem paratam discendi algorithms creandi.
Et fabrum necesse est ut focus in scalability, notitia reuse, et ut notitias inputet et output pipelines in singulis propositis cum architectura globali parere.
Haec officiorum separatio constantiam efficit per iunctos, qui in variis machinarum inceptis discendi sunt.
Collaboratio adiuvat novas productas efficienter creare. Celeritas et qualitas efficiuntur per aequilibrium inter partum servitium pro omnibus (reponendium seu integrationem globalis ashboardarum) et singulas necessitates vel inceptas specificas (maxime pipelines speciales cum fontibus externis connectens).
Intime operando cum phisicis et analystis, adiuvat fabrum analyticas et pervestigationes analyticas evolvere artes ad melius scribendum codicem. Scientia communicatio in horreis ac lacus data utentes meliores facit, incepta magis agiliora faciens ac diuturnum eventum sustineri tradit.
In societatibus quae intendunt ut culturam operandi cum data et aedificandi processibus in eis fundatis, Scientist et Data Engineer se mutuo complent et systema analysin integram efficiunt.
In proximo articulo loquemur de quali educatione a Data Engineering et Scientistae Datae, quas artes egent et quomodo opera mercatus sint.
Ab editoribus Netologiae
Si professionem Datae machinalis vel Datae Scientistae spectamus, te ad studia nostra curricula programmata invitamus:
- professio "".
- professio "".
Source: www.habr.com