Spark konfigurēšana uz YARN

Sveiks, Habr! Vakar bija mitaps, kas veltīts Apache Spark, no Rambler&Co komandas, ir bijis diezgan daudz jautājumu no dalībniekiem par šīs programmatūras konfigurāciju. Nolēmām dalīties ar savu pieredzi, ņemot vērā šos jautājumus. Tēma ir diezgan sarežģīta — tāpēc aicinām dalīties pieredzē arī komentāros, varbūt mēs kaut ko nesaprotam vai nepareizi izmantojam.

Neliels ievads — kā mēs izmantojam Spark. Mums ir trīs mēnešu programma „Lielu datu speciālists”, un visā otrajā modulī mūsu dalībnieki strādā ar šo rīku. Tātad, mūsu kā organizatoru uzdevums ir sagatavot klasteri, lai to izmantotu šādos gadījumos.

Mūsu izmantošanas īpatnība ir tā, ka cilvēku skaits, kas vienlaicīgi strādā ar Spark, var būt vienāds ar visu grupu. Piemēram, seminārā, kad visi vienlaicīgi kaut ko izmēģina un atkārto pēc mūsu pasniedzēja. Un tas ir diezgan daudz — reizēm līdz 40 cilvēkiem. Droši vien nav daudz uzņēmumu pasaulē, kas sastopas ar šādu lietošanas scenāriju.

Tālāk pastāstīšu, kāpēc un kā mēs izvēlējāmies noteiktus konfigurācijas parametrus.

Sāksim no paša sākuma. Spark darbojas ar 3 iespējām klasterī: standalone, izmantojot Mesos un izmantojot YARN. Mēs nolēmām izvēlēties trešo variantu, jo tas mums šķita loģisks. Mums jau ir Hadoop klasteris. Mūsu dalībnieki jau labi pazīst tā arhitektūru. Tāpēc izmantosim YARN.

spark.master=yarn

Tālāk interesantāk. Katram no šiem 3 izvietošanas variantiem ir 2 izvietošanas varianti: client un cluster. ņemot vērā dokumentācijā un dažādās saites internetā, var secināt, ka client ir piemērots interaktīvai darbībai — piemēram, caur Jupyter notebook, bet cluster vairāk piemērots produkcijas risinājumiem. Mūsu gadījumā mūs interesēja interaktīvā darbība, tāpēc:

spark.deploy-mode=client

Patiesībā no šī brīža Spark jau kādā mērā darbosies YARN, bet mums tas nebija pietiekami. Tā kā mums ir programma par lieliem datiem, reizēm dalībniekiem trūka tā, kas iznāk ar vienmērīgu resursu piešķiršanu. Un šeit mēs atradām interesantu lietu — dinamisko resursu piešķiršanu. Ja īsi, tad būtība ir sekojoša: ja jums ir smags uzdevums un klasteris ir brīvs (piemēram, no rīta), tad, izmantojot šo opciju, Spark var jums piešķirt papildu resursus. Nepieciešamība tiek aprēķināta pēc sarežģītas formulas. Pārlūkot sīkumus neiedziļināsimies — tā darbojas diezgan labi.

spark.dynamicAllocation.enabled=true

Mēs iestatījām šo parametru, un, uzsākot Spark, tas uzsita un nesāka darboties. Pareizi, jo vajadzēja lasīt dokumenti uzmanīgāk. Tur ir norādīts, ka, lai viss būtu kārtībā, jāieslēdz vēl viens papildu parametrs.

spark.shuffle.service.enabled=true

Kāpēc tas ir nepieciešams? Kad mūsu uzdevums vairs neprasa tik daudz resursu, tad Spark jāatgriež tie kopējā baseinā. Visresursu patērējošā fāze gandrīz jebkurā MapReduce uzdevumā ir Shuffle fāze. Šis parametrs ļauj saglabāt datus, kas veidojas šajā fāzē, un attiecīgi atbrīvot izpildītājus. Bet izpildītājs ir process, kas uz darbinieka visu aprēķina. Tam ir zināms skaits procesoru kodolu un zināms atmiņas apjoms.

Pievienojām šo parametru. Viss, šķiet, darbojās. Bija pamanāms, ka dalībniekiem patiešām tika izsniegti vairāk resursu, kad tie bija vajadzīgi. Bet radās cita problēma — kādā brīdī citi dalībnieki pamodās un arī vēlējās izmantot Spark, bet tur viss bija aizņemts, un viņi nebija apmierināti. Viņus var saprast. Sākām skatīties dokumentācijā. Tur izrādījās, ka ir vēl vairāki parametri, ar kuru palīdzību var ietekmēt procesu. Piemēram, ja izpildītājs ir gaidīšanas režīmā — pēc cik ilga laika tajā var atņemt resursus?

spark.dynamicAllocation.executorIdleTimeout=120s

Mūsu gadījumā — ja jūsu executors divu minūšu laikā neko nedara, lūdzu, atgrieziet tos kopējā baseinā. Tomēr šis parametrs ne vienmēr bija pietiekams. Bija redzams, ka cilvēks jau sen neko nedara, bet resursi netiek atbrīvoti. Izrādījās, ka ir vēl viens īpašs parametrs — pēc cik ilga laika atņemt executors, kuri satur kešatmiņā glabātos datus. Noklusējumā šis parametrs bija — bezgalība! Mēs to labojām.

spark.dynamicAllocation.cachedExecutorIdleTimeout=600s

Proti, ja jūsu executors neko nedara 5 minūtes, atdodiet tos kopējā baseinā. Šādā režīmā resursu atbrīvošanas un piešķiršanas ātrums lielam lietotāju skaitam kļuva apmierinošs. Apmierināto skaits pieauga. Tomēr mēs nolemām iet tālāk un ierobežot maksimālo executors skaitu vienai lietojumprogrammai — būtībā vienam programmas dalībniekam.

spark.dynamicAllocation.maxExecutors=19

Tagad, protams, parādījās neapmierinātie no citas puses — “klasteris stāv, bet man ir tikai 19 executors”, bet kas jādara — nepieciešams kaut kāds pareizs līdzsvars. Visiem laimīgi padarīt neizdosies.

Un vēl viena neliela stāsta par mūsu gadījuma specifiku. Kādu reizi uz praktisko nodarbību kavējās daži cilvēki, un viņiem Spark kādā iemesla dēļ nesākās. Mēs paskatījāmies uz brīvo resursu skaitu — it kā bija. Sparkam vajadzētu sākties. Par laimi, tajā brīdī dokumentācija jau kaut kur bija ierakstījusies atmiņā, un mēs atcerējāmies, ka, palaižot Spark, tas meklē portu, kurā sākt. Ja pirmais ports no diapazona ir aizņemts, tas pāriet uz nākamo. Ja tas ir brīvs, tas to izmanto. Un ir parametrs, kas norāda maksimālo mēģinājumu skaitu šim. Noklusējumā — tas ir 16. Šis skaitlis ir mazāks par cilvēku skaitu mūsu grupā nodarbībā. Līdz ar to pēc 16 mēģinājumiem Spark atsaka un saka, ka nevar sākties. Mēs labojām šo parametru.

spark.port.maxRetries=50

Tālāk pastāstīšu par dažiem uzstādījumiem, kas nav ļoti saistīti ar mūsu gadījuma specifiku.

Lai Spark ātrāk ielādētos, ir ieteikums arhivēt jars mapes, kas atrodas SPARK_HOME mājas direktorijā, un novietot to HDFS. Tad tas netērēs laiku šī jar failu lejupielādei darba mašīnās.

spark.yarn.archive=hdfs:///tmp/spark-archive.zip

Lai uzlabotu veiktspēju, ieteicams izmantot kriyo kā sērija. Tas ir optimizētāks nekā noklusējuma variants.

spark.serializer=org.apache.spark.serializer.KryoSerializer

Ir vēl sen zināma problēma ar Spark, ka tas bieži iznine saprātu. Bieži tas notiek brīdī, kad darbinieki visu aprēķina un nosūta rezultātu uz draiveri. Mēs palielinājām šo parametru. Noklusējuma vērtība ir 1GB, bet mēs to izdarījām — 3.

spark.driver.maxResultSize=3072

Un pēdējais, kā deserts. Kā atjaunināt Spark uz 2.1 versiju HortonWorks sadalījumā — HDP 2.5.3.0. Šī HDP versija satur iepriekš instalētu 2.0 versiju, bet kādu reizi nolēmām, ka Spark attīstās diezgan aktīvi, un katra jaunā versija novērš kaut kādas kļūdas un piedāvā papildu iespējas, tostarp python API, tādēļ nolēmām veikt atjauninājumu.

Lejupielādējām versiju no oficiālās mājaslapas, kas paredzēta Hadoop 2.7. Izsmeļot, ievietojām HDP mapē. Izveidojām nepieciešamos simboliskos saites. Uzsākam — nesākas. Parādās ļoti neskaidra kļūda.

java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig

Pārlūkojot, noskaidrojām, ka Spark nolēma negaidīt, kamēr Hadoop iznāks, un nolēma izmantot jauno jersey versiju. Viņi paši tur viens ar otru strīdas par šo tēmu JIRA. Risinājums bija — lejupielādēt jersey versija 1.17.1. Ievietot to jārām SPARK_HOME mapē, atkal izveidot zip un augšupielādēt uz HDFS.

Mēs šo kļūdu apgājām, bet radās jauna un diezgan miglaina.

org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master

Tajā pašā laikā mēģinām palaist 2.0 versiju — viss kārtībā. Mēģini uzminēt, kas par iemeslu. Mēs iegriežamies šī pieteikuma žurnālos un redzam kaut ko tādu:

/usr/hdp/${hdp.version}/hadoop/lib/hadoop-lzo-0.6.0.${hdp.version}.jar

Kopumā kādu iemeslu dēļ hdp.version netika atrisināta. Pārlūkojot, atradām risinājumu. Jādodas uz Ambari un jāpieprasa YARN iestatījumos pievienot parametru custom yarn-site:

hdp.version=2.5.3.0-37

Šī maģija palīdzēja, un Spark pacēlās. Mēs pārbaudījām vairākus mūsu jupyter piezīmjdatorus. Viss darbojas. Mēs esam gatavi pirmajai nodarbībai par Spark sestdien (jau rīt)!

UPD. Nodarbības laikā atklājās vēl viena problēma. Kādā brīdī YARN pārstāja piešķirt konteinerus Spark. YARN vajadzēja pielāgot parametrus, kas noklusējumā bija 0.2:

yarn.scheduler.capacity.maximum-am-resource-percent=0.8

Tātad tikai 20% resursu piedalījās resursu sadalē. Mainot iestatījumus, pārstartējām YARN. Problēma tika atrisināta, un pārējie dalībnieki arī varēja palaist spark kontekstu.

Avots: habr.com

Iegādājieties uzticamu tīmekļa hostingu ar DDoS aizsardzību, VPS VDS serveriem 🔥 Iegādājieties uzticamu tīmekļa hostingu ar DDoS aizsardzību, VPS VDS serveriem | ProHoster