Habr, salve! Heri in e guys de Rambler&Co, quaestiones satis multae erant a participibus ad hoc instrumentum configurandum. Eius vestigia sequi decrevimus et experientiam nostram communicare. Argumentum non est facile - sic te invitamus ad experientiam tuam in commentationibus communicare, fortasse etiam aliquid mali intellegamus et utimur.
Parum introductio ad quam utimur Scintilla. Habemus tres mensis programma et in secundo modulo nostri participes operis in hoc instrumento. Proinde nostrum munus, ut institutores, botrum ad usum tali casu praeparare oportet.
Proprietas usuum nostrorum est quod numerus hominum in Scintilla simul laborans toti coetui aequari potest. Exempli causa, in seminario, quando unusquisque aliquid simul temptat et post magistrum repetit. Et hoc non multum - aliquando usque ad XL homines. Probabiliter non sunt multae societates in mundo quae talem casum usum praebent.
Deinde, quomodo et quare delectos parametros config certos referam.
Ab exordio sumamus exordium. Scintilla 3 optiones habet ut currendo in botro: standalone, utendo Mesos, et NARRATIO utendo. Tertiam optionem eligendam constituimus, quia sensus nobis factus est. Botrus hadoop iam habemus. Praesentes nostri architecturam iam bene noverunt. Utamur FABULA.
spark.master=yarnPraeterea magis placet. Quaelibet harum 3 optionum instruere habet optiones 2 instruere: client et botrus. Fundatur et variae nexus in Interreti, concludere possumus clientem aptum ad opus interactivum - exempli gratia, per commentariolum jupytrum, et botrum ad solutiones producendas aptiores. In casu nostro, in opere interactive fuimus, ergo;
spark.deploy-mode=clientIn genere, posthac in Scintilla quodammodo in FABULA laborabit, sed hoc nobis satis non fuit. Cum programma de magnis data habemus, interdum participes non satis habuerunt eorum quae intra ambitum etiam opum schismatis consecuti sunt. Tum invenimus an interesting res - dynamica subsidia destinatio. In summa, punctum hoc est: si arduum opus habes et botrus liber est (exempli gratia, mane), hac optione Scintilla utens tibi facultates additional dare potest. Necessitas ibi computatur secundum formulam callidam. Nos in singula non ingredimur - bene operatur.
spark.dynamicAllocation.enabled=trueParametrum hunc constituimus, et in startup Scintilla increpuit nec incepit. SIC est, quod ego legere debebam diligentius. Hoc affirmat, ut omnia bene sint, etiam debes parametro addito efficere.
spark.shuffle.service.enabled=trueQuid opus est? Cum officium nostrum tot facultates non amplius requirit, Scintilla eas ad piscinam communem reducet. Tempus perussi temporis in omni fere negotio MapReduce est scaena Shuffle. Hic modulus permittit vos ut notitias quae in hac statu generatae sunt servatis et executoribus proinde relaxatis. Exsecutor est processus qui omnia operanti computat. Numerum processus medullis et certum numerum habet memoriae.
Hoc modulo adiectum est. Omnia videbantur operari. Animadvertendum est participes facti plures facultates esse, cum opus illis esset. Sed alia quaestio orta est - aliquando alii participes evigilaverunt et etiam scintilla uti volebant, sed omnia ibi occupabantur et infelices erant. InteUigi possunt. Spectare in documentis coepimus. Contigit quod plures alii parametri sunt qui processus ad influentiam adhiberi possunt. Exempli causa, si executor sit in stando, et quo tempore ei desumi possunt facultates?
spark.dynamicAllocation.executorIdleTimeout=120sIn casu nostro, si executores tui nihil fecerint per duos minutas, tunc placeat eis reddere piscinam communem. Sed hic modulus non semper satis fuit. Constabat quod homo nihil diu egerat, opesque non erant liberatae. Contigit etiam specialem modulum esse - post id tempus eligendi executores qui notitias conditivos continent. Defalta, hic parameter erat infinitum! Nos correximus.
spark.dynamicAllocation.cachedExecutorIdleTimeout=600sHoc est, si executores tui nichil faciant per V minutas, des eis ad piscinam comunis. Hoc modo, celeritas facultates solvendi et ferendi ad magnum numerum utentium honestum evasit. Moles tristitiae decrevit. Sed ulterius progredi decrevimus maximum numerum executorum per applicationem - essentialiter per programmata participem.
spark.dynamicAllocation.maxExecutors=19Nunc sane displicet illinc homines - "botrus otiosus est, et ego tantum 19 executores habeo", sed quid facere potes, aliqua iusta aequitate indigemus. Non potes facere omnes beatum.
Et alia fabula plura ad specialia casus nostri pertinentia. Nescio quomodo, plures homines nuper ad lectionem practicam fuerunt, et scintilla aliqua de causa illis non committitur. Moles liberarum facultatum inspeximus - videtur ibi esse. Scintilla debet incipere. Fortunate ab illo tempore documenta iam alicubi subcortex addita sunt, et recordati sumus iactatum, Scintillam quaerit portum in quo committitur. Si primus portus in latitudine occupatur, ad sequentem per ordinem se movet. Si liber est, capit. Estque modulus, qui maximum numerum conatuum ad hoc indicat. Defectus est 16. Numerus minor est quam numerus hominum in nostra classe. Itaque, post 16 incepta, Scintilla emisit et dixit me incipere non posse. Correximus hunc occasum.
spark.port.maxRetries=50Deinde narrabo tibi de nonnullis fundis quae ad specialitates causae nostrae non admodum referuntur.
Ut scintillam incipias citius, suadetur ut ollas folder in archivo SPARK_HOME in directorio domus sitas et in HDFS impone. Tunc tempus non cessabit ab operariis istas jarniks onerandas.
spark.yarn.archive=hdfs:///tmp/spark-archive.zipCommendatur etiam uti kryo sicut serializer ad operationem velociorem. Plus est optimized quam unus defaltus.
spark.serializer=org.apache.spark.serializer.KryoSerializerDifficultas est etiam diuturna cum Scintilla quod saepe memoria fragore. Hoc saepe accidit in momento, cum operarii omnia computaverunt et eventum aurigae miserunt. Maiorem nobis hunc modulum fecimus. Defalta, 1GB est, nos id 3 fecimus.
spark.driver.maxResultSize=3072Postremo pro secunda mensa. Quomodo scintillam renovare ad versionem 2.1 in HortonWorks distributionem - HDP 2.5.3.0. Haec versio HDP versionem praeordinatam 2.0 continet, sed semel nobis placuit Spark satis active enucleare, et quaelibet nova versio aliquos cimices figit plus praebet incrementis notis, inter Pythonem API, ut decrevimus, quid opus sit. fiat renovatio.
Versionem e officiali pro Hadoop 2.7. Unzipped eam et pone in HDP folder. Nos symlinks sicut opus installed. Dedimus eam - non committitur. Miro admodum errore scribit.
java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfigPost googling invenimus Spark non exspectandum esse dum Hadoop natus esset, et nova versione Jersey uti decrevit. Ipsi inter se disputant de hoc loco in JIRA. Solutio ad download . Hoc pone in amphoris folder in SPARK_HOME, iterum exe atque illud ad HDFS mitte.
Circum hunc errorem venimus, sed nova magisque turpis exorta est.
org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application masterEodem tempore conamur versionem currere 2.0 - omnia bene est. Conare conicere quid agatur. Tigna huius applicationis inspeximus et aliquid simile hoc vidimus;
/usr/hdp/${hdp.version}/hadoop/lib/hadoop-lzo-0.6.0.${hdp.version}.jarIn genere aliqua ratione hdp.version non solvit. Post Google solutionem invenimus. Opus est ad occasus NARRATIO in Ambari ire et modulum ibi addere ad morem tinctum-site:
hdp.version=2.5.3.0-37Hoc magicae adiuvit et scintilla exuit. Plures e nostris laptops jupytros probavimus. Omnia laborat. Parati sumus die Sabbati Lectio prima Scintilla (cras)!
DUP. Per lectionem, alia quaestio in lucem prodiit. In aliquo puncto, FABULA pro vasis scintillae suppeditare cessavit. IN NARRATIO necesse erat ut modulum corrigeret, qui per defaltam erat 0.2:
yarn.scheduler.capacity.maximum-am-resource-percent=0.8
Hoc est, tantum XX% facultatum in distributione facultatum participatae. Parametris mutatis, reloadedimus FABULA. Quaestio soluta est et ceteri participes etiam contextus scintillae currere poterant.
Source: www.habr.com