Prilikom pripreme naših obrazovnih programa povremeno se susrećemo s poteškoćama u radu s nekim alatima. A u trenutku kada se suočimo s njima, često nema dovoljno dokumentacije i članaka koji bi pomogli u rešavanju ovog problema.
Tako je, na primer, bilo 2015. godine kada smo na programu “Specijalista za velike podatke” koristili Hadoop klaster sa Spark-om za 35 simultanih korisnika. Kako ga pripremiti za takav slučaj korišćenja uz YARN, nije bilo jasno. Na kraju, nakon što smo sve sami razjasnili, napravili smo i još smo se pojavili na .
Pozadina
Ovoga puta govorimo o drugom programu – . Na njemu naši učesnici grade dva tipa arhitekture: lambda i kappa. A u lambda arhitekturi, u okviru batch obrade, koristi se Airflow za prebacivanje logova iz HDFS u ClickHouse.
Sve u svemu, ide dobro. Neka grade svoje pipeline-ove. Ipak, postoji ali: svi naši programi su tehnološki zahtevni s gledišta samog procesa učenja. Za proveru laboratorijskih vežbi koristimo automatske provere: učesniku treba da se prijavi u svoju korisničku oblast, pritisne dugme “Proveri”, i nakon nekog vremena vidi neku proširenu povratnu informaciju o tome što je uradio. I upravo u tom trenutku počinjemo da se suočavamo sa našim problemom.
Provera ove laboratorijske vežbe se vrši na sledeći način: šaljemo kontrolni paket podataka učesniku preko Kafke, zatim Gobblin prebacuje taj paket podataka na HDFS, a potom Airflow uzima taj paket podataka i stavlja u ClickHouse. Poenta je u tome što Airflow to ne mora raditi u realnom vremenu, već to radi prema rasporedu: svakih 15 minuta uzima paket fajlova i prebacuje.
Na kraju, potrebno je da nekako aktiviramo njihov DAG samostalno prema našem zahtevu tokom rada provere ovde i sada. Pretražujući internet, saznali smo da za novije verzije Airflow postoji takozvani . Reč experimental, naravno, zvuči zastrašujuće, ali šta učiniti… Možda će uspeti.
Dalje ćemo opisati ceo put: od instalacije Airflow do formiranja POST zahteva koji aktivira DAG koristeći Experimental API. Radit ćemo sa Ubuntu 16.04.
1. Instalacija Airflow
Proverićemo da li imamo Python 3 i virtualenv.
$ python3 --version
Python 3.6.6
$ virtualenv --version
15.2.0Ako nešto od ovoga nedostaje, instalirajte.
Sada stvorimo direktorijum u kojem ćemo dalje raditi s Airflowom.
$ mkdir
$ cd /putanja/do/vaše/nove/direktorije
$ virtualenv -p which python3 venv
$ source venv/bin/activate
(venv) $Instalirajmo Airflow:
(venv) $ pip install airflowVerzija koju smo koristili: 1.10.
Sada treba da kreiramo direktorijum airflow_home, gde će se nalaziti DAG datoteke i dodaci za Airflow. Nakon kreiranja direktorijuma, postavićemo promenljivu okruženja AIRFLOW_HOME.
(venv) $ cd /putanja/do/mog/airflow/radne/prostora
(venv) $ mkdir airflow_home
(venv) $ export AIRFLOW_HOME=Sledeći korak je da izvršimo komandu koja će kreirati i inicijalizovati bazu podataka procesa u SQLite:
(venv) $ airflow initdbBaza podataka će biti kreirana u airflow.db po defaultu.
Proverimo da li je Airflow instaliran:
$ airflow version
[2018-11-26 19:38:19,607] {__init__.py:57} INFO - Koristi executor SequentialExecutor
[2018-11-26 19:38:19,745] {driver.py:123} INFO - Generišem gramatičke tabele iz /usr/lib/python3.6/lib2to3/Grammar.txt
[2018-11-26 19:38:19,771] {driver.py:123} INFO - Generišem gramatičke tabele iz /usr/lib/python3.6/lib2to3/PatternGrammar.txt
____________ _____________
____ |__( )_________ __/__ /________ __
____ /| |_ /__ ___/_ _/__ __ _ __ _ | /| / /
___ ___ | / _ / _ __/ _ / / _/_/ _ |/ |/
_/_/_|_/_/_/_/_/ _/_/ _/_/ ____/____/_|__/
v1.10.0Ako je komanda uspešno izvršena, Airflow je kreirao svoj konfiguracijski fajl airflow.cfg u AIRFLOW_HOME:
$ tree
.
├── airflow.cfg
└── unittests.cfgAirflow ima veb interfejs. Može se pokrenuti izvršavanjem komande:
(venv) $ airflow webserver --port 8081Sada možete pristupiti veb interfejsu u pretraživaču na portu 8081 na hostu gde je Airflow pokrenut, na primer: <hostname:8081>.
2. Rad sa Experimental API
Sa ovim, Airflow je konfigurisan i spreman za rad. Međutim, potrebno je da pokrenemo i Experimental API. Naši proveravatelji su napisani na Pythonu, tako da će svi dalji zahtevi biti na njemu koristeći biblioteku requests.
U stvari, API već funkcioniše za jednostavne zahteve. Na primer, ovakav zahtev omogućava testiranje njegovog rada:
>>> import requests
>>> host =
>>> airflow_port = 8081 # u našem slučaju ovakav, a po defaultu 8080
>>> requests.get('http://{}:{}/*{}'.format(host, airflow_port, 'api/experimental/test').text
'OK'Ako ste dobili ovakvu poruku u odgovoru, to znači da sve funkcioniše.
Međutim, kada želimo da aktiviramo DAG, naići ćemo na to da ovu vrstu zahteva ne možemo izvršiti bez autentifikacije.
Za to će biti potrebno da se izvrše još neki koraci.
Prvo, potrebno je dodati ovo u konfiguraciju:
[api]
auth_backend = airflow.contrib.auth.backends.password_authZatim, potrebno je kreirati svog korisnika sa administratorskim pravima:
>>> import airflow
>>> from airflow import models, settings
>>> from airflow.contrib.auth.backends.password_auth import PasswordUser
>>> user = PasswordUser(models.Admin())
>>> user.username = 'new_user_name'
>>> user.password = 'set_the_password'
>>> session = settings.Session()
>>> session.add(user)
>>> session.commit()
>>> session.close()
>>> exit()Zatim, trebate kreirati korisnika s običnim pravima, kojem će biti dozvoljeno da aktivira DAG.
>>> import airflow
>>> from airflow import models, settings
>>> from airflow.contrib.auth.backends.password_auth import PasswordUser
>>> user = PasswordUser(models.User())
>>> user.username = 'newprolab'
>>> user.password = 'Newprolab2019!'
>>> session = settings.Session()
>>> session.add(user)
>>> session.commit()
>>> session.close()
>>> exit()Sada je sve spremno.
3. Pokretanje POST zahteva
Sam POST zahtev će izgledati ovako:
>>> dag_id = newprolab
>>> url = 'http://{}:{}//{}//{}//{}'.format(host, airflow_port, 'api/experimental/dags', dag_id, 'dag_runs')
>>> data = {"conf":"{"key":"value"}"}
>>> headers = {'Content-type': 'application/json'}
>>> auth = ('newprolab', 'Newprolab2019!')
>>> uri = requests.post(url, data=json.dumps(data), headers=headers, auth=auth)
>>> uri.text
'{n "message": "Created ",n}'Zahtev je uspešno obrađen.
Prema tome, dali smo nešto vremena DAG-u da obradi i potom smo poslali zahtev u tabelu ClickHouse, pokušavajući da uhvatimo kontrolni paket podataka.
Provera je završena.
Izvor: habr.com
