Ineunte Decembri, fatalem errorem feci et reflexionem in vita mea feci ut elit et ad Data Engineering (DE) equos intra societatem movi. In hoc articulo aliquas animadversiones communicabo quas per duos menses in DE quadrigis laborandi feci.
Cur Data Engineering?
Iter meum ad DE aestatis MMXIX incepit, quando nos eamus et ibi illuminationem. Studium fieri incepi in re, studium algorithmorum et etiam de illis ac deinde de applicatione scopo celeriter compertum est applicationem in nostris databases distribui.
Quidnam nostri quadrigis facere? Nos, sicut omnes pueri ac puellae luxu- lares, volentes fieri a Data Coacta Societate. Et ut hoc fieri possit, opus est saltem faciliorem repositionis facultatem aedificare, quae ad quaslibet relationes societatis necessitates aedificandas adhiberi potest. Sed maximum est quod notitia in hac repono credendum est. His autem utens notitia, debes statum temporis t systematis restituere posse. Haec omnia perplexa sunt ex eo quod in novo mundo magnorum ministeriorum vivimus, et haec ideologia implicat quod unumquodque ministerium suum parvam functionem exercet, suum datorum proprium negotium est, et delere potest saltem cotidie, sed in simulque nos statum servitutis recipere et processum esse posse.
Si data vis agitatus est, primo eventu agitati facti sunt
Non ita simplex. Events are different, and the elit and data engineer at vide aliter. Loquitur de eventis locus est articulus separatus, ideo hic non ingrediar. Praeterea talis articulus iam quidam Martinus Fowler, laurus non tollo, et ille claret.
In genere multum est cogitare et ideo haec regio est amabilis. Ita accidit ut apud nos, Data Engineering multo latius est responsabilitatis quam persona qui scribit pipelines ETL/ELT (si nescis quid hae abbreviationes significent, adveniunt. . Ut contextual vendo).
Tractamus de architectura reposita, exemplaria data, quaestiones ad securitatem notitiarum pertinentium, et ipsae fistulae, scilicet. Nobis etiam operam dare oportet ut, una ex parte, praesentia nostra non valde onerosa sit pro effectibus tincidunt et quam minimum possunt a nostris exigentiis distrahi, cum novas lineamenta in systema secant, et ex altera parte; necesse est ut ea commode exposita in reposita notitia pro analystis et BI quadrigis praebeantur. Vivamus id quam.
Difficultates cum transitioning ab evolutionis
In primo die laboris, nonnullas difficultates habui quas tecum communicare cupio.
1. Primum vidi absentiam tulingae et exercitia quaedam. Sume, exempli gratia, codicem coverage cum probat. Centena habemus probationes compagum in evolutione. Cum data operando, omnia magis implicata sunt. Imo, tentare etL pipelines in notitia experimentorum possumus, sed omnia manually facere debemus et solutiones cuiusque casus specifici quaerimus. Quam ob rem test coverage multo peius est. Fortunate alius iacuit opiniones in forma vigilantia et tigna, sed haec iam requirit ut potius reciprocus agere quam proactively, quod infuriare et inexhaustus est.
2. Mundus ex a DE prospectu minime est quod elit producti ordinarii videtur (bene, sane lector non placet, et iam omnia novit, sed ego nesciebam et nunc me futuit. eam). Ut a elit, microservio mea creo, notitia in [database electionis tuae] pone, salva statum meum ibi, aliquid per ID acquire et bene est. Ministerium tardum est, ordines confundunt, omnia sunt. Rogant me ut in alio servitio statum meum quaeram, ut eventum in aliquem RabbitMQ mittam et id est. Atque hic rursus ad eventum de quibus supra dictum est revertitur.
Quod ministerium ad operandum opus perficiendum requirit, historicis notitiis nobis non convenit, quaestio ergo de contractibus operandis et arcto opere evolutionis iunctionibus incipit. Ne cogitari quidem potes quot horis nos conveniat: qualis ille eventus in nostro comitatu est.
3. Opus est cum capite tuo cogitare. Imo non dico tincidunt non cogitare (quamvis de omnibus loquor), iustum est ut in producto evolutione persaepe iam aliquod genus architecturae habeas, et varias tergiversationes e backlog secas. Scilicet, hoc consilium et cogitationem requirit, sed hoc opus rivus est, ubi principale problema simpliciter est bene et efficaciter facere.
Pro nobis, non ita simplex est quia translatio variarum systematis componentium ex monolitho calido et fovendo in mundum silvestrium microservii silvestre non est ita simplex. Cum officium vomendi eventus incipit, logicam retractare debes ad repositiones implendas, quia notitia nunc diversa spectat. Haec ubi multum ac diligentissime cogitare debes, iam non ut elit, sed ut machinalis notitia. Narratio normalis est cum dies cum libello et calamo vel cum titulo in tabula expendis. Difficillimum est, cogitare non placet, productionem quoque amo.
4. Forsitan praecipuum est indicium. Quid facimus, cum ignoramus? Quis dixit StackOverflow? Sume istum e cella. Legimus documenta, libros de argumento, est etiam communitas quae forums, congressiones et colloquia ordinat. Documenta magna est, sed, pro dolor, imperfecta esse potest. Cosmos DB in multis inceptis utimur. Bene vale lege documenta huius operis. Libri sunt unica salus, feliciter existunt ac reperiuntur, multam notitiam fundamentalem continent et multum ac constanter legunt. Sed res est cum communitate.
Nunc difficile est invenire unam saltem conferentiam idoneam vel convenientem in provincia nostra. Non, sane, multum occurrit in verbo Data, sed iuxta hanc vocem abbreviationes ML vel AI fere alienae sunt. Hoc ergo non est nobis, loquimur quomodo facultates repositiones construendi, et non quomodo nosmetipsos inlineamus. Hi hipsters omnia occupaverunt. Quam ob rem sine communitate sumus. Obiter, si Engineer Data es et communitates bonas nosti, in commentaria scribes.
Conclusiones et denuntiatio in meetup
Quid tandem cum? Prima mea experientia narrat me sentire in calceis fectum datarum omni elit usui fore. Iustus sinit nos aliter res intueri nec mirari cum oculi nostri sanguinem mittunt cum videmus quomodo tincidunt notitias suas tractant. Ita, si in tuo comitatu est DE, modo cum his guys loquere, multa nova (de te ipso) disces.
Et tandem nuntiatio. Cum difficile est in loco nostro interdiu invenire, nostrum facere decrevimus. Quid peius? Feliciter miram habemus et amici nostri a qui, ut nos sentimus, notitiarum fabrum inique attentione caret.
Hac occasione adhibita, omnes qui ad primam communitatem nostram venire curant, cum promisso titulo "DE vel DIE" venire, id fiet, die 27.02.2020 mensis Februarii anno XNUMX in officio Dodo Pizza. Details at .
Si quid acciderit, ibi ero, me personaliter coram me dicere potes quam iniuria sim de cristariis.
Source: www.habr.com