Habr, zdravo! Jučer na , od momaka iz Rambler&Co, bilo je dosta pitanja učesnika u vezi sa konfiguracijom ovog alata. Odlučili smo da podelimo svoje iskustvo na ovu temu. Tema nije jednostavna — zato pozivamo da podelite i svoje iskustvo u komentarima, možda mi takođe nešto ne razumemo ili koristimo.
Kratka uvodna reč — kako koristimo Spark. Imamo trodimenzionalni program , i tokom drugog modula naši učesnici rade na ovom alatu. Stoga je naš zadatak, kao organizatora, da pripremimo klaster za korišćenje u okviru ovog slučaja.
Osobina naše upotrebe je da broj ljudi koji simultano rade na Sparku može biti jednak celoj grupi. Na primer, na seminaru, kada svi istovremeno nešto probaju i ponavljaju za našim predavačem. A to je ponekad čak 40 ljudi. Verovatno nema mnogo kompanija u svetu koje se suočavaju sa takvim scenarijem korišćenja.
Dalje ću ispričati kako i zašto smo birali određene parametre konfiguracije.
Počećemo od samog početka. Spark ima 3 opcije za rad na klasteru: standalone, korišćenjem Mesosa i korišćenjem YARN-a. Odlučili smo se za treću opciju jer nam je delovala logično. Već imamo Hadoop klaster. Naši učesnici su već dobro upoznati s njegovom arhitekturom. Hajde da koristimo YARN.
spark.master=yarnZatim postaje interesantnije. Svaka od ovih 3 opcija implementacije ima 2 opcije deploy-a: client i cluster. Na osnovu i različitih linkova na internetu, može se zaključiti da je client prikladan za interaktivni rad — na primer, preko Jupyter notebook-a, dok je cluster više prikladan za produkcijska rešenja. U našem slučaju nas je zanimala interaktivna upotreba, pa:
spark.deploy-mode=clientU suštini, od ovog trenutka Spark će već raditi na YARN-u, ali to nam nije bilo dovoljno. Budući da imamo program o velikim podacima, ponekad učesnicima nije bilo dovoljno onoga što je izlazilo iz ravnomernog deljenja resursa. I ovde smo otkrili zanimljivu stvar — dinamičku alokaciju resursa. Ukratko, suština je sljedeća: ako imate zahtevnu zadatak i klaster je slobodan (na primjer, ujutro), onda vam ova opcija može omogućiti da Spark dopuni dodatne resurse. Potreba se izračunava prema složenoj formuli. Nećemo se upuštati u detalje — ona dobro funkcioniše.
spark.dynamicAllocation.enabled=truePostavili smo ovu opciju, i pri pokretanju Spark je dao grešku i nije se pokrenuo. U pravu, jer je trebalo bolje pročitati pažljivije. Tamo je navedeno da, da bi sve bilo u redu, potrebno je uključiti i dodatnu opciju.
spark.shuffle.service.enabled=trueZašto je to potrebno? Kada naš posao ne zahteva onoliko resursa, Spark bi trebao da vrati resurse u zajednički bazen. Najviše resursa troše faze gotovo svake MapReduce zadatka — to je faza Shuffle. Ova opcija omogućava čuvanje podataka koji se generišu u toj fazi i tako oslobađa izvršitelje. A izvršitelj je proces koji na radniku sve obrađuje. Ima određeni broj procesorskih jezgara i određenu količinu memorije.
Dodali smo tu opciju. Sve se činilo da radi. Postalo je očigledno da učesnici dobijaju više resursa kada im je to potrebno. Ali se pojavio drugi problem — u nekom trenutku drugi učesnici su se budili i takođe želeli da koriste Spark, ali je sve bilo zauzeto, i bili su nezadovoljni. Mogu ih razumeti. Počeli smo da gledamo u dokumentaciju. Tamo su se ispostavile još neke opcije preko kojih možemo uticati na proces. Na primjer, ako je izvršitelj u režimu čekanja — nakon koliko vremena možemo uzeti resurse od njega?
spark.dynamicAllocation.executorIdleTimeout=120sU našem slučaju — ako vaši executors ne rade ništa tokom dva minuta, molim vas, vratite ih u zajednički prostor. Ipak, ni taj parametar nije uvek bio dovoljan. Bilo je očigledno da osoba već dugo ne radi, a resursi se ne oslobađaju. Ispostavilo se da postoji još jedan poseban parametar — posle koliko vremena usluga treba da izbaci executors sa keširanim podacima. Po defaultu, ovaj parametar je bio — beskonačnost! Popravili smo to.
spark.dynamicAllocation.cachedExecutorIdleTimeout=600sDakle, ako vaši executors ne rade ništa tokom 5 minuta, vratite ih u zajednički prostor. U ovom režimu, brzina oslobađanja i dodele resursa za veliki broj korisnika postala je zadovoljavajuća. Broj nezadovoljnih se smanjio. Međutim, odlučili smo da idemo dalje i ograničimo maksimalan broj executora po aplikaciji — u suštini po jednom učesniku programa.
spark.dynamicAllocation.maxExecutors=19Naravno, sada su se pojavili nezadovoljni s druge strane — "klaster miruje, a imam samo 19 executora", ali šta da radimo — potrebna je prava ravnoteža. Ne možemo sve učiniti srećnima.
I još jedna mala priča povezana sa specifikama našeg slučaja. Nekoliko osoba se jedne prilike zakasnilo na praktičnu vežbu, a njihov Spark iz nekog razloga nije startovao. Pogledali smo broj slobodnih resursa — činilo se da ih ima dovoljno. Spark treba da startuje. Srećom, do tog trenutka je dokumentacija već negde bila smeštena u podsvest, i setili smo se da pri pokretanju Spark traži port na kojem će startovati. Ako je prvi port iz opsega zauzet, prelazi na sledeći. Ako je slobodan, preuzima ga. A postoji parametar koji označava maksimalan broj pokušaja za ovo. Po defaultu — to je 16. Manje od broja ljudi u našoj grupi na vežbi. Shodno tome, nakon 16 pokušaja, Spark je odustajao i govorio da ne može da startuje. Popravili smo ovaj parametar.
spark.port.maxRetries=50Dalje ću govoriti o nekim podešavanjima koja nisu mnogo povezana sa specifikama našeg slučaja.
Za brži start Sparka, preporučuje se da se fascikla sa jarovima, koja se nalazi u domaćoj direktoriji SPARK_HOME, arhivira i postavi na HDFS. Tako će troškovi vremena na učitavanje tih jarova po radnicima biti svedeni na minimum.
spark.yarn.archive=hdfs:///tmp/spark-archive.zipTakođer, za brži rad se preporučuje korištenje kryo kao serializer-a. On je optimizovaniji od onoga koji je po defaultu.
spark.serializer=org.apache.spark.serializer.KryoSerializerI postoji stari problem sa Spark-om, da često pada zbog nedostatka memorije. To se obično dešava kada radnici sve izračunaju i šalju rezultat na drajver. Povećali smo taj parametar. Po defaultu je 1GB, mi smo ga postavili na 3.
spark.driver.maxResultSize=3072I na kraju, kao šlag na tortu. Kako ažurirati Spark na verziju 2.1 u HortonWorks distribuciji — HDP 2.5.3.0. Ova verzija HDP dolazi sa unaprijed instaliranom verzijom 2.0, ali smo nekada za sebe odlučili da se Spark prilično aktivno razvija i svaka nova verzija ispravlja neke greške i donosi nove mogućnosti, uključujući i za python API, pa smo odlučili da je potrebno izvršiti ažuriranje.
Preuzeli smo verziju sa zvanične stranice za Hadoop 2.7. Raspakovali smo je, stavili u folder sa HDP-om. Postavili smo simlinkove kako treba. Pokrećemo — ne startuje. Pojavljuje se vrlo nejasna greška.
java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfigPretražujući internet, saznali smo da je Spark odlučio da ne čeka dok Hadoop izađe sa novom verzijom, pa su počeli koristiti novu verziju jersey-a. Oni se zapravo u tom pitanju prepiru u JIRA. Rešenje je bilo — preuzeti . Staviti to u folder jars u SPARK_HOME, ponovo zipovati i staviti na HDFS.
Ovu grešku smo zaobišli, ali se pojavila nova i prilično nejasna.
org.apache.spark.SparkException: Yarn aplikacija je već završena! Možda je ubijena ili nije mogla pokrenuti aplikaciju masterPri tome pokušavamo pokrenuti verziju 2.0 — sve je u redu. Pokušaj da pogodiš u čemu je problem. Ušli smo u logove te aplikacije i videli nešto ovako:
/usr/hdp/${hdp.version}/hadoop/lib/hadoop-lzo-0.6.0.${hdp.version}.jarU svakom slučaju, iz nekog razloga hdp.version nije rezolvirana. Pretražujući internet, našli smo rešenje. Potrebno je ući u Ambari, otići u postavke YARN-a i dodati parametar u custom yarn-site:
hdp.version=2.5.3.0-37Ova čarolija je pomogla, i Spark je poletio. Testirali smo nekoliko naših jupyter-notebooka. Sve radi. Spremni smo za prvo predavanje o Sparku u subotu (već sutra)!
UPD. Na predavanju se ispostavila još jedna greška. U nekom trenutku YARN je prestao davati kontejnere za Spark. U YARN-u je bilo potrebno ispraviti parametar, koji je po defaultu bio 0.2:
yarn.scheduler.capacity.maximum-am-resource-percent=0.8 Dakle, samo 20% resursa je učestvovalo u raspodeli resursa. Promenili smo parametre i ponovo pokrenuli YARN. Problem je rešen, i ostali učesnici su takođe mogli da pokrenu spark kontekst.
Izvor: habr.com
