NÀr vi förbereder vÄra utbildningsprogram stöter vi periodiskt pÄ svÄrigheter nÀr det gÀller att arbeta med vissa verktyg. Och vid de tillfÀllen vi stöter pÄ dem finns det inte alltid tillrÀcklig dokumentation och artiklar som kan hjÀlpa till att lösa detta problem.
SÄ var det till exempel 2015 dÄ vi pÄ programmet "Specialist inom stora data" anvÀnde en Hadoop-kluster med Spark för 35 samtidiga anvÀndare. Hur man förbereder det för ett sÄdant anvÀndningsfall med hjÀlp av YARN var oklart. Slutligen, efter att ha listat ut det och gÄtt vÄr egen vÀg, skapade vi och dessutom talade vi pÄ .
Bakgrund
Denna gĂ„ng kommer vi att prata om ett annat program â . PĂ„ detta program bygger vĂ„ra deltagare tvĂ„ typer av arkitekturer: lambda och kappa. Och i lambda-arkitekturen anvĂ€nds Airflow för batchbehandling för att flytta loggar frĂ„n HDFS till ClickHouse.
Generellt sett gÄr allt bra. LÄt dem bygga sina pipeliner. Men det finns en hake: alla vÄra program Àr teknologiska nÀr det gÀller sjÀlva utbildningsprocessen. För att kontrollera labbarna anvÀnder vi automatiska checkare: deltagaren behöver logga in pÄ sitt konto, trycka pÄ knappen "Kontrollera" och efter en tid ser hen nÄgon form av utökad Äterkoppling pÄ vad hen gjort. Och just i det ögonblicket börjar vi nÀrma oss vÄrt problem.
Kontrolleringen av denna labb Àr organiserad pÄ följande sÀtt: vi skickar ett kontrollpaket med data till deltagarens Kafka, sedan överför Gobblin detta datapaket till HDFS, dÀrefter tar Airflow detta datapaket och lÀgger det i ClickHouse. Grejen Àr att Airflow inte ska göra detta i realtid, utan det görs enligt schema: var 15:e minut tar det en samling filer och laddar upp dem.
Det visar sig att vi pÄ nÄgot sÀtt mÄste trigga deras DAG sjÀlva pÄ vÄrt krav under checkarens arbete hÀr och nu. Efter att ha googlat, upptÀckte vi att det för senare versioner av Airflow finns nÄgot som kallas . Ordet experimentell, lÄter förstÄs skrÀmmande, men vad ska man göra⊠Kanske flyger det.
Vi kommer hÀr att beskriva hela vÀgen: frÄn installation av Airflow till skapande av ett POST-anrop som triggar DAG, med hjÀlp av Experimental API. Vi kommer att arbeta med Ubuntu 16.04.
1. Installation av Airflow
Kontrollera att vi har Python 3 och virtualenv installerat.
$ python3 --version
Python 3.6.6
$ virtualenv --version
15.2.0Om nÄgot av detta saknas, vÀnligen installera.
LÄt oss nu skapa en katalog dÀr vi kommer att arbeta vidare med Airflow.
$ mkdir
$ cd /path/to/your/new/directory
$ virtualenv -p which python3 venv
$ source venv/bin/activate
(venv) $Vi installerar Airflow:
(venv) $ pip install airflowVersionen vi arbetade med: 1.10.
Nu behöver vi skapa en katalog airflow_home, dÀr DAG-filer och Airflow-plugins kommer att placeras. Efter att vi har skapat katalogen ska vi stÀlla in miljövariabeln AIRFLOW_HOME.
(venv) $ cd /path/to/my/airflow/workspace
(venv) $ mkdir airflow_home
(venv) $ export AIRFLOW_HOME=NÀsta steg Àr att köra kommandot som kommer att skapa och initiera databasen för datastreamen i SQLite:
(venv) $ airflow initdbDatabasen kommer att skapas i airflow.db som standard.
LÄt oss kontrollera om Airflow installerades:
$ airflow version
[2018-11-26 19:38:19,607] {__init__.py:57} INFO - Using executor SequentialExecutor
[2018-11-26 19:38:19,745] {driver.py:123} INFO - Generating grammar tables from /usr/lib/python3.6/lib2to3/Grammar.txt
[2018-11-26 19:38:19,771] {driver.py:123} INFO - Generating grammar tables from /usr/lib/python3.6/lib2to3/PatternGrammar.txt
____________ _____________
____ |__( )_________ __/__ /________ __
____ /| |_ /__ ___/_ /_ __ /_ __ _ | /| / /
___ ___ | / _ / _ __/ _ / / /_/_/ |/_ | /
_/_/ |_/_/ /_/_/ /_/ /_/ ____/____/_|__/
v1.10.0Om kommandot kördes framgÄngsrikt har Airflow skapat sin konfigurationsfil airflow.cfg pÄ AIRFLOW_HOME:
$ tree
.
âââ airflow.cfg
âââ unittests.cfgAirflow har ett webgrĂ€nssnitt. Det kan startas genom att köra kommandot:
(venv) $ airflow webserver --port 8081Nu kan du komma Ät webgrÀnssnittet i webblÀsaren pÄ port 8081 pÄ vÀrden dÀr Airflow startades, till exempel: <hostname:8081>.
2. Arbeta med Experimental API
Nu Àr Airflow konfigurerat och redo att anvÀndas. Vi behöver dock Àven aktivera Experimental API. VÄra kontroller Àr skrivna i Python, sÄ alla framtida förfrÄgningar kommer att göras pÄ det sprÄket med hjÀlp av biblioteket requests.
Egentligen fungerar API:et redan för enkla förfrÄgningar. Till exempel gör följande förfrÄgan att testa dess funktionalitet:
>>> import requests
>>> host =
>>> airflow_port = 8081 # i vÄrt fall sÄ Àr det sÄ, och som standard 8080
>>> requests.get('http://{}:{} /{}'.format(host, airflow_port, 'api/experimental/test').text
'OK'Om vi fÄr det meddelandet som svar betyder det att allt fungerar.
Men nÀr vi vill trigga en DAG kommer vi att konfronteras med att den hÀr typen av förfrÄgningar inte kan göras utan autentisering.
För detta behöver vi utföra ytterligare nÄgra steg.
Först mÄste vi lÀgga till detta i konfigurationsfilen:
[api]
auth_backend = airflow.contrib.auth.backends.password_authSedan behöver vi skapa en anvÀndare med administrativa rÀttigheter:
>>> import airflow
>>> from airflow import models, settings
>>> from airflow.contrib.auth.backends.password_auth import PasswordUser
>>> user = PasswordUser(models.Admin())
>>> user.username = 'new_user_name'
>>> user.password = 'set_the_password'
>>> session = settings.Session()
>>> session.add(user)
>>> session.commit()
>>> session.close()
>>> exit()DÀrefter mÄste vi skapa en anvÀndare med vanliga rÀttigheter som tillÄts att trigga DAG:en.
>>> import airflow
>>> from airflow import models, settings
>>> from airflow.contrib.auth.backends.password_auth import PasswordUser
>>> user = PasswordUser(models.User())
>>> user.username = 'newprolab'
>>> user.password = 'Newprolab2019!'
>>> session = settings.Session()
>>> session.add(user)
>>> session.commit()
>>> session.close()
>>> exit()Nu Àr allt klart.
3. Starta POST-förfrÄgan
SjÀlva POST-förfrÄgan kommer att se ut sÄ hÀr:
>>> dag_id = newprolab
>>> url = 'http://{}:{} /{}/{}/{}'.format(host, airflow_port, 'api/experimental/dags', dag_id, 'dag_runs')
>>> data = {"conf":"{"key":"value"}"}
>>> headers = {'Content-type': 'application/json'}
>>> auth = ('newprolab', 'Newprolab2019!')
>>> uri = requests.post(url, data=json.dumps(data), headers=headers, auth=auth)
>>> uri.text
'{n "message": "Created "n}n'FörfrÄgan behandlades framgÄngsrikt.
DÀrmed ger vi DAG:en lite tid att bearbeta och gör en förfrÄgan till ClickHouse-tabellen för att försöka fÄnga upp datapaketet.
Kontrollen Àr slutförd.
KĂ€lla: habr.com
