Mercatus ad computandos et magnos datas distribuendos, secundum crescit per annum 18-19%. Hoc significat eventum programmatum eligendi ad hos fines pertinere. In hoc poste incipiemus cur computatione distributa opus sit, subtilius ingredere de programmate eligendo, loqui de Hadoop utendo Cloudera utendo, ac tandem loqui de hardware eligendo et quomodo diversis modis perficiendi afficiat.
Cur computandis necessariis in iusto negotio distribuitur? Omnia hic simplicia et simul complexa. Simplex, quia in pluribus calculis simplicibus per unitatem informationis relative fungimur. Difficile est quia multus talis notitia est. Tantum. Unde necesse est . Ita, casus usus prorsus universalis: calculi adhiberi possunt ubicumque necesse est, ut numerosam metri rationem in ampliori notitiarum rerum ordine consideret.
Unum ex recentibus exemplis: pizzeria catena Dodo Pizza fundatur in analysi database ordinis emptoris, quod Etruscum cum temere tectorio eligens, utentes plerumque cum sex principalibus rebus ingredientium plus duobus temere agunt. Secundum hoc, pizzeria eius emptiones adaequavit. Praeterea melius commendare poterat additamenta producta utentibus praebenda in scaena ordinanda, quae fructus augebatur.
Unum exemplum plura: producti res permiserunt H&M copiae in singulas thesauros per 40% redacturum, servato venditiones graduum. Hoc factum est ut res venditionis male excludendo, et temporis ratio in calculis habita est.
Instrumentum delectu
Industria vexillum ad hoc genus computandi Hadoop est. Quare? Quia Hadoop est egregium et bene documentum contextum (idem Habr multa singularia in hoc argumento praebet articulos), quae tota copia utilitatum et bibliothecarum comitatur. Ingentes copiae tam structuris et informis notitiarum inicere potes, et ratio ipsa inter potentiam computandi eam distribuet. Praeterea eaedem facultates quovis tempore augeri vel debilitari possunt, eadem etiam scalabilitas horizontalis in actu.
Anno 2017, societas gravis consulendi Gartner quod Hadoop mox obsolescit. Causa est admodum vulgare: analysts credunt societates glomeraritas in nubem migraturos, quia ibi reddere possunt prout potentia computandi utuntur. Secundum momentum momenti est quod Hadoop quasi "sepelio" potest celeritatem esse. Quia optiones sicut Apache Scintilla vel Google Cloud DataFlow velociores sunt quam MapReduce, quod Hadoop subest.
Hadoop in pluribus columnis nititur, quarum notissima sunt technologiae MapReduce (ratio data pro calculis inter servientes distribuendi) et systema fasciculi HDFS. Haec specialiter destinatur ad informationes recondendas inter nodos gregarios distributos: quilibet clausus certae magnitudinis in pluribus nodis collocari potest, et propter replicationem, ratio facilior est defectibus singulorum nodis. Loco tabulae tabellae peculiari servo nomine NameNode adhibetur.
Illustratio infra ostendit quomodo MapReduce opera. In primo gradu notitiae secundum quamdam criterium dividitur, in secundo gradu secundum potentiam computans distribuitur, et in tertio gradu fit calculus.
MapReduce a Google primum creatus est propter necessitates quaerendi. Tum MapReduce codicem liberum perrexit, et Apache negotium accepit. Bene Google gradatim ad alias solutiones migravit. Interestinging tidbit: Google nunc consilium habet nomine Google Cloud Dataflow, ut proximus gradus post Hadoop positus est, ut velox substitutio pro eo.
Propius aspectum ostendit Google Cloud Dataflow in variatione Apache Beam niti, dum Apache Trabs in compage scintilla bene documenta Apache comprehendit, quae nos loqui sinit de eadem fere solutionum celeritate exsecutionis. Bene, Apache Spark perfecte operatur in systematis fasciculi HDFS, quod sinit explicari in servientibus Hadoop.
Adde volumen documentorum et solutiones paratae Hadoop et Scintillae versus Google Cloud Dataflow, et electio instrumenti manifesta fit. Praeterea, fabrum sibi decernere possunt quem codicem - Hadoop vel Scintillam currant, negotium, experientiam et industriam ponunt.
Cloud aut loci server
Inclinatio ad generalem transitum ad nubes etiam dedit terminum tam interesting quam Hadoop-as-a-servitium. In tali missione, administratio ministrorum connexarum magni ponderis facta est. Quia, proh dolor, quamquam popularis eius Hadoop purus est instrumentum difficilius configurandi, quia multum manually faciendum est. Exempli gratia, servientes singulos configurant, monitores exercent, et parametros multos diligenter configurant. In genere, opus est amateur, et est magna facultas officere alicubi vel aliquid deesse.
Ideo variae distributionis ornamentorum, quae initio opportunis instrumentis et administrationis instrumentis instructae sunt, valde populares facti sunt. Una ex popularibus distributionibus quae scintillam sustinet et omnia facilia facit Cloudera est. Versiones liberas et solvit et habet - et in his omnibus praesto est fundamentalis functionis modus, sine limitata nodis numero.
Per setup, Procurator Cloudera per SSH tuis servientibus coniunget. Interestinger punctum: cum inaugurari, melius est denotare ut perficiatur a sic dictis parselsfasciculi speciales, quarum singulae omnes necessariae partes inter se configurantur. Per se haec versio emendatior sarcinae procuratoris est.
Post institutionem, botrum procuratio consolatorium accipimus, ubi videre potes botrum telemetrium, officia inaugurata, plus addere/repedere opes et configurationem botri recensere.
Quam ob rem, casula erucae quae te in clara futura BigData accipiet, ante te apparet. Sed antequam dicimus "eamus", sub cucullo moveamur.
Hardware requisita
In eius loco, Cloudera varias figuras fieri posse commemorat. Generalia principia quibus struuntur in illustratione ostenditur;
MapReduce eu picturam hanc labefactare potest. Si tabulam ex sectione praecedenti iterum inspicias, manifestum fit in omnibus fere casibus, officium MapReduce in bottleneck incurrere posse, cum notitias ex orbe vel ex retiacula legeret. Hoc etiam notatur in Diario Cloudera. Quam ob rem pro quibusvis calculis rapidis, etiam per scintillam, quae saepe pro calculis realibus ponitur, I/O celeritas magni momenti est. Cum igitur Hadoop utens, magni momenti est botrum libratis et celeriter machinis comprehendere, quae, ut clementer ponatur, in infrastructura nube non semper conservatur.
Libra in onere distributio fit per usum virtualizationis Openstack in servientibus cum potenti CPUs multi-core. Nodi datae suas processus facultates et orbis specificas sortiuntur. In nostro arbitrio Atos Codex Data Lake Engine Lata virtualisatio consecuta est, quam ob rem nos adiuvamus tum in observantia (ictum retiacula infrastructura elevatum est) et in TCO (exprimuntur extra physicam ministrantium).
Cum servientibus BullSequana S200 utentes, pondus valde aequabile accipimus, quibusdam ampullis expertibus. Configuratio minima includit 3 BullSequana S200 servientes, unumquodque cum duobus JBODs, additis S200s, in quibus quattuor nodi datae optione sunt connexae. Exemplum oneris hic in test TeraGen;
Probat cum diversis voluminibus datarum replicationumque valores eosdem eventus ostendunt secundum distributionem oneris inter nodos botri. Infra est grapha distributionis orbis accessus per operas probationes.
Rationes fiebant secundum figuram minimum 3 BullSequana S200 servientibus. Nodos datas 9 et 3 nodos magistrorum includit, ac machinis virtualis reservatis in casu de instructione praesidii in OpenStack Virtualisation fundatae. Test eventus TeraSort: magnitudo scandali 512 MB replicatio factoris aequalis tribus cum encryptione est 23,1 minuta.
Quomodo ratio dilatari potest? Genera extensionum praesto sunt data lacum Engine:
- Data nodi: pro quolibet spatio 40 TB
- Nodi analytici cum facultatem install a GPU
- Aliae optiones secundum necessitates negotiorum (exempli gratia, si Kafka et similia opus sunt)
Codex Atos Data Lake Engine includit et ipsi servientes et programmata praestructa, inclusa ornamentum licentiati Cloudera; Hadoop ipsa, OpenStack cum machinis virtualis Linux kernel inceptum RedHat innixum, data replicatio et systemata tergum (including nodi tergum et Cloudera BDR - Tergum et Disaster Recuperatio). Atos Codex Data Lake Engine prima facta est solutio virtualisationi certificandae .
Si singula interest, beati erimus nostris quaestionibus in commentis respondere.
Source: www.habr.com