Konfigurera Spark pÄ YARN

Hej Habr! IgĂ„r pĂ„ metoden om Apache Spark, frĂ„n killarna pĂ„ Rambler&Co, var det ganska mĂ„nga frĂ„gor frĂ„n deltagarna angĂ„ende konfigurationen av det hĂ€r verktyget. Vi bestĂ€mde oss för att dela med oss av vĂ„r erfarenhet. Ämnet Ă€r inte enkelt - sĂ„ vi föreslĂ„r att dela erfarenheter ocksĂ„ i kommentarerna, kanske finns det nĂ„got vi ocksĂ„ missförstĂ„r och anvĂ€nder.

En liten introduktion - hur vi anvĂ€nder Spark. Vi har ett tre mĂ„naders program ”Specialist pĂ„ stora data”, och under den andra modulen arbetar vĂ„ra deltagare med detta verktyg. DĂ€rför Ă€r vĂ„r uppgift, som arrangörer, att förbereda en kluster för anvĂ€ndning inom ramen för ett sĂ„dant fall.

VÄr anvÀndning kÀnnetecknas av att antalet personer som arbetar samtidigt pÄ Spark kan vara lika med hela gruppen. Till exempel, pÄ seminariet, nÀr alla försöker nÄgot samtidigt och följer vÄr lÀrare. Och det Àr inte lite - ibland upptill 40 personer. Det finns nog inte sÄ mÄnga företag i vÀrlden som stÄr inför ett sÄdant anvÀndningsscenario.

Jag kommer att berÀtta hur och varför vi valde dessa eller andra konfigurationsparametrar.

LÄt oss börja frÄn början. Spark har 3 alternativ för att arbeta pÄ klustret: standalone, med anvÀndning av Mesos och med anvÀndning av YARN. Vi valde det tredje alternativet eftersom det verkade logiskt för oss. Vi har redan ett Hadoop-kluster. VÄra deltagare Àr redan vÀl förtrogna med dess arkitektur. LÄt oss anvÀnda YARN.

spark.master=yarn

Det blir intressantare. Varje av dessa 3 distributionsalternativ har 2 distributionslÀgen: client och cluster. Baserat pÄ dokumentationen och olika lÀnkar pÄ internet kan man dra slutsatsen att client Àr lÀmplig för interaktivt arbete - till exempel via Jupyter Notebook, medan cluster passar bÀttre för produktionslösningar. I vÄrt fall var vi intresserade av interaktivt arbete, sÄ:

spark.deploy-mode=client

I allmĂ€nhet kommer Spark att börja fungera pĂ„ YARN frĂ„n och med nu, men det rĂ€ckte inte för oss. Eftersom vĂ„rt program handlar om stora datamĂ€ngder saknade deltagarna ibland det som uppnĂ„ddes genom en jĂ€mn fördelning av resurser. Och hĂ€r hittade vi nĂ„got intressant — dynamisk resursallokering. Kort sagt, om du har en tung uppgift och klustret Ă€r ledigt (till exempel pĂ„ morgonen), kan Spark ge dig extra resurser med hjĂ€lp av den hĂ€r funktionen. Behovet berĂ€knas med en smart formel. Vi gĂ„r inte in pĂ„ detaljer — den fungerar bra.

spark.dynamicAllocation.enabled=true

Vi stÀllde in den hÀr parametern och nÀr vi startade Spark klagade den och startade inte. Det var rÀtt, för vi skulle ha lÀst dokumentationen mer noggrant. DÀr anges att för att allt ska vara okej, mÄste vi Àven aktivera en ytterligare parameter.

spark.shuffle.service.enabled=true

Vad behövs den till? NÀr vÄr jobb inte lÀngre krÀver sÄ mÄnga resurser, ska Spark ÄterlÀmna dem till den gemensamma poolen. Det mest resurskrÀvande steget i nÀstan vilken MapReduce-uppgift som helst Àr Shuffle-steget. Den hÀr parametern möjliggör att spara de data som genereras i detta steg och dÀrmed frigöra executors. En executor Àr en process som berÀknar allt pÄ arbetaren. Den har ett visst antal processor-kÀrnor och en viss mÀngd minne.

Vi lade till den hĂ€r parametern. Allt verkade fungera. Det blev tydligt att deltagarna verkligen fick mer resurser nĂ€r de behövde det. Men ett annat problem uppstod — vid nĂ„got tillfĂ€lle vaknade andra deltagare och ville ocksĂ„ anvĂ€nda Spark, men allt var upptaget och de var missnöjda. Man kan förstĂ„ dem. Vi började kolla i dokumentationen. DĂ€r visade det sig att det finns ytterligare nĂ„gra parametrar som man kan pĂ„verka processen med. Till exempel, om en executor Ă€r i vĂ€ntelĂ€ge — efter hur lĂ„ng tid kan man ta tillbaka resurserna?

spark.dynamicAllocation.executorIdleTimeout=120s

I vĂ„rt fall – om era executors inte gör nĂ„got under tvĂ„ minuter, vĂ€nligen Ă„terför dem till den gemensamma poolen. Men Ă€ven denna parameter har inte alltid varit tillrĂ€cklig. Det var tydligt att personen inte gjort nĂ„got pĂ„ lĂ€nge, men resurserna frigjordes inte. Det visade sig att det fanns en sĂ€rskild parameter – efter hur lĂ„ng tid ska man ta bort executors som har cachade data. Som standard var denna parameter instĂ€lld pĂ„ – oĂ€ndlighet! Vi korrigerade det.

spark.dynamicAllocation.cachedExecutorIdleTimeout=600s

Det vill sĂ€ga om era executors inte gör nĂ„got under 5 minuter, Ă„terlĂ€mna dem till den gemensamma poolen. I detta lĂ€ge har hastigheten för att frigöra och tilldela resurser för ett stort antal anvĂ€ndare blivit acceptabel. Antalet missnöjda har minskat. Men vi bestĂ€mde oss för att gĂ„ lĂ€ngre och begrĂ€nsa det maximala antalet executors per applikation – i praktiken per deltagare i programmet.

spark.dynamicAllocation.maxExecutors=19

Nu har det förstĂ„s uppstĂ„tt missnöje frĂ„n en annan sida – "klustret stĂ„r still, men jag har bara 19 executors", men vad ska man göra – man mĂ„ste hitta en rĂ€tt balans. Man kan inte göra alla glada.

Och en liten historia till, relaterad till vĂ„r fallspecifikation. NĂ„gra personer kom för sent till praktikal, och deras Spark startade av nĂ„gon anledning inte. Vi tittade pĂ„ antalet fria resurser – det verkar som att det fanns. Spark borde starta. Lyckligtvis hade dokumentationen redan blivit inprogrammerad i vĂ„ra sinnen, och vi kom ihĂ„g att nĂ€r Spark startar sĂ„ letar den efter en port att starta pĂ„. Om den första porten i intervallet Ă€r upptagen gĂ„r den till nĂ€sta. Om den Ă€r ledig, tar den den. Det finns en parameter som anger det maximala antalet försök för detta. Som standard Ă€r det 16. Det Ă€r fĂ€rre Ă€n antalet personer i vĂ„r grupp under praktikal. DĂ€rför efter 16 försök gav Spark upp och sa att jag kan inte starta. Vi rĂ€ttade denna parameter.

spark.port.maxRetries=50

Jag kommer nu att berÀtta om vissa instÀllningar, som inte lÀngre Àr starkt relaterade till specifikationen av vÄrt fall.

För en snabbare start av Spark finns rekommendationen att arkivera mappen jars som ligger i hemkatalogen SPARK_HOME och lÀgga den pÄ HDFS. DÄ kommer den inte att slösa tid pÄ att ladda dessa jar-filer till workern.

spark.yarn.archive=hdfs:///tmp/spark-archive.zip

För en snabbare prestanda rekommenderas det att anvÀnda kryo som serialiserare. Det Àr mer optimerat Àn den som Àr standard.

spark.serializer=org.apache.spark.serializer.KryoSerializer

Det finns ocksÄ ett gammalt problem med Spark dÀr det ofta kraschar pÄ grund av minnesbrist. Detta hÀnder ofta nÀr arbetsutrÀkningarna Àr klara och resultaten skickas till drivern. Vi har ökat den hÀr parametern. Som standard Àr den 1 GB, vi har stÀllt in den pÄ 3.

spark.driver.maxResultSize=3072

Och slutligen, som en dessert. Hur man uppdaterar Spark till version 2.1 pĂ„ HortonWorks-distributionen – HDP 2.5.3.0. Denna version av HDP innehĂ„ller en förinstallerad version 2.0, men vi bestĂ€mde oss för att Spark utvecklas ganska aktivt, och varje ny version fixar vissa buggar samt ger nya möjligheter, inklusive för python API, sĂ„ vi beslöt att det behövdes en uppdatering.

Vi laddade ner versionen frÄn den officiella hemsidan för Hadoop 2.7. Vi extraherade den och flyttade den till mappen med HDP. Vi satte upp symlinkar som vi skulle. NÀr vi försökte starta det, ville det inte starta. Det visade ett mycket otydligt felmeddelande.

java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig

Efter att ha googlat fann vi att Spark beslutade sig för att inte vÀnta pÄ Hadoop och valde att anvÀnda en ny version av jersey. De diskuterar detta med varandra i JIRA. Lösningen var att ladda ner jersey version 1.17.1. Flytta detta till mappen jars i SPARK_HOME, zippa igen och ladda upp det pÄ HDFS.

Vi löste detta fel, men en ny och ganska diffus uppstod.

org.apache.spark.SparkException: Yarn-appen har redan avslutats! Den kan ha blivit dödad eller inte kunnat lansera applikationsledaren.

Vid detta tillfĂ€lle försökte vi köra version 2.0 – allt funkade. Försök att gissa vad problemet kan vara. Vi granskade loggarna för denna applikation och sĂ„g nĂ„got sĂ„dant:

/usr/hdp/${hdp.version}/hadoop/lib/hadoop-lzo-0.6.0.${hdp.version}.jar

Kort sagt, av nÄgon anledning upplöstes inte hdp.version. Efter att ha googlat fann vi lösningen. Vi behövde gÄ till instÀllningarna för YARN i Ambari och lÀgga till en parameter i custom yarn-site:

hdp.version=2.5.3.0-37

Denna magi hjÀlpte, och Spark flög. Vi testade flera av vÄra jupyter-notebooks. Allt fungerar. Inför den första lektionen om Spark pÄ lördag (redan imorgon) Àr vi redo!

UPD. Under lektionen uppstod ytterligare ett problem. Vid nÄgot tillfÀlle slutade YARN att tilldela containrar för Spark. Det var nödvÀndigt att justera en parameter i YARN, som som standard var 0.2:

yarn.scheduler.capacity.maximum-am-resource-percent=0.8

Det vill sÀga att endast 20 % av resurserna deltog i resursutdelningen. Vi Àndrade instÀllningarna och startade om YARN. Problemet löstes, och övriga deltagare kunde ocksÄ starta spark context.

KĂ€lla: habr.com

Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar đŸ”„ Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar | ProHoster