Hur man skapar en DAG-trigger i Airflow med hjÀlp av Experimental API

NÀr vi förbereder vÄra utbildningsprogram stöter vi periodiskt pÄ svÄrigheter nÀr det gÀller att arbeta med vissa verktyg. Och vid de tillfÀllen vi stöter pÄ dem finns det inte alltid tillrÀcklig dokumentation och artiklar som kan hjÀlpa till att lösa detta problem.

SÄ var det till exempel 2015 dÄ vi pÄ programmet "Specialist inom stora data" anvÀnde en Hadoop-kluster med Spark för 35 samtidiga anvÀndare. Hur man förbereder det för ett sÄdant anvÀndningsfall med hjÀlp av YARN var oklart. Slutligen, efter att ha listat ut det och gÄtt vÄr egen vÀg, skapade vi ett inlÀgg pÄ Habr och dessutom talade vi pÄ Moscow Spark Meetup.

Bakgrund

Denna gĂ„ng kommer vi att prata om ett annat program – Data Engineer. PĂ„ detta program bygger vĂ„ra deltagare tvĂ„ typer av arkitekturer: lambda och kappa. Och i lambda-arkitekturen anvĂ€nds Airflow för batchbehandling för att flytta loggar frĂ„n HDFS till ClickHouse.

Generellt sett gÄr allt bra. LÄt dem bygga sina pipeliner. Men det finns en hake: alla vÄra program Àr teknologiska nÀr det gÀller sjÀlva utbildningsprocessen. För att kontrollera labbarna anvÀnder vi automatiska checkare: deltagaren behöver logga in pÄ sitt konto, trycka pÄ knappen "Kontrollera" och efter en tid ser hen nÄgon form av utökad Äterkoppling pÄ vad hen gjort. Och just i det ögonblicket börjar vi nÀrma oss vÄrt problem.

Kontrolleringen av denna labb Àr organiserad pÄ följande sÀtt: vi skickar ett kontrollpaket med data till deltagarens Kafka, sedan överför Gobblin detta datapaket till HDFS, dÀrefter tar Airflow detta datapaket och lÀgger det i ClickHouse. Grejen Àr att Airflow inte ska göra detta i realtid, utan det görs enligt schema: var 15:e minut tar det en samling filer och laddar upp dem.

Det visar sig att vi pĂ„ nĂ„got sĂ€tt mĂ„ste trigga deras DAG sjĂ€lva pĂ„ vĂ„rt krav under checkarens arbete hĂ€r och nu. Efter att ha googlat, upptĂ€ckte vi att det för senare versioner av Airflow finns nĂ„got som kallas Experimental API. Ordet experimentell, lĂ„ter förstĂ„s skrĂ€mmande, men vad ska man göra
 Kanske flyger det.

Vi kommer hÀr att beskriva hela vÀgen: frÄn installation av Airflow till skapande av ett POST-anrop som triggar DAG, med hjÀlp av Experimental API. Vi kommer att arbeta med Ubuntu 16.04.

1. Installation av Airflow

Kontrollera att vi har Python 3 och virtualenv installerat.

$ python3 --version
Python 3.6.6
$ virtualenv --version
15.2.0

Om nÄgot av detta saknas, vÀnligen installera.

LÄt oss nu skapa en katalog dÀr vi kommer att arbeta vidare med Airflow.

$ mkdir 
$ cd /path/to/your/new/directory
$ virtualenv -p which python3 venv
$ source venv/bin/activate
(venv) $

Vi installerar Airflow:

(venv) $ pip install airflow

Versionen vi arbetade med: 1.10.

Nu behöver vi skapa en katalog airflow_home, dÀr DAG-filer och Airflow-plugins kommer att placeras. Efter att vi har skapat katalogen ska vi stÀlla in miljövariabeln AIRFLOW_HOME.

(venv) $ cd /path/to/my/airflow/workspace
(venv) $ mkdir airflow_home
(venv) $ export AIRFLOW_HOME=

NÀsta steg Àr att köra kommandot som kommer att skapa och initiera databasen för datastreamen i SQLite:

(venv) $ airflow initdb

Databasen kommer att skapas i airflow.db som standard.

LÄt oss kontrollera om Airflow installerades:

$ airflow version
[2018-11-26 19:38:19,607] {__init__.py:57} INFO - Using executor SequentialExecutor
[2018-11-26 19:38:19,745] {driver.py:123} INFO - Generating grammar tables from /usr/lib/python3.6/lib2to3/Grammar.txt
[2018-11-26 19:38:19,771] {driver.py:123} INFO - Generating grammar tables from /usr/lib/python3.6/lib2to3/PatternGrammar.txt
  ____________       _____________
 ____    |__( )_________  __/__  /________      __
____  /| |_  /__  ___/_  /_ __  /_  __ _ | /| / / 
___  ___ |  / _  /   _  __/ _  / / /_/_/  |/_ | / 
 _/_/  |_/_/  /_/_/    /_/    /_/  ____/____/_|__/
   v1.10.0

Om kommandot kördes framgÄngsrikt har Airflow skapat sin konfigurationsfil airflow.cfg pÄ AIRFLOW_HOME:

$ tree
.
├── airflow.cfg
└── unittests.cfg

Airflow har ett webgrÀnssnitt. Det kan startas genom att köra kommandot:

(venv) $ airflow webserver --port 8081

Nu kan du komma Ät webgrÀnssnittet i webblÀsaren pÄ port 8081 pÄ vÀrden dÀr Airflow startades, till exempel: <hostname:8081>.

2. Arbeta med Experimental API

Nu Àr Airflow konfigurerat och redo att anvÀndas. Vi behöver dock Àven aktivera Experimental API. VÄra kontroller Àr skrivna i Python, sÄ alla framtida förfrÄgningar kommer att göras pÄ det sprÄket med hjÀlp av biblioteket requests.

Egentligen fungerar API:et redan för enkla förfrÄgningar. Till exempel gör följande förfrÄgan att testa dess funktionalitet:

>>> import requests
>>> host = 
>>> airflow_port = 8081 # i vÄrt fall sÄ Àr det sÄ, och som standard 8080
>>> requests.get('http://{}:{} /{}'.format(host, airflow_port, 'api/experimental/test').text
'OK'

Om vi fÄr det meddelandet som svar betyder det att allt fungerar.

Men nÀr vi vill trigga en DAG kommer vi att konfronteras med att den hÀr typen av förfrÄgningar inte kan göras utan autentisering.

För detta behöver vi utföra ytterligare nÄgra steg.

Först mÄste vi lÀgga till detta i konfigurationsfilen:

[api]
auth_backend = airflow.contrib.auth.backends.password_auth

Sedan behöver vi skapa en anvÀndare med administrativa rÀttigheter:

>>> import airflow
>>> from airflow import models, settings
>>> from airflow.contrib.auth.backends.password_auth import PasswordUser
>>> user = PasswordUser(models.Admin())
>>> user.username = 'new_user_name'
>>> user.password = 'set_the_password'
>>> session = settings.Session()
>>> session.add(user)
>>> session.commit()
>>> session.close()
>>> exit()

DÀrefter mÄste vi skapa en anvÀndare med vanliga rÀttigheter som tillÄts att trigga DAG:en.

>>> import airflow
>>> from airflow import models, settings
>>> from airflow.contrib.auth.backends.password_auth import PasswordUser
>>> user = PasswordUser(models.User())
>>> user.username = 'newprolab'
>>> user.password = 'Newprolab2019!'
>>> session = settings.Session()
>>> session.add(user)
>>> session.commit()
>>> session.close()
>>> exit()

Nu Àr allt klart.

3. Starta POST-förfrÄgan

SjÀlva POST-förfrÄgan kommer att se ut sÄ hÀr:

>>> dag_id = newprolab
>>> url = 'http://{}:{} /{}/{}/{}'.format(host, airflow_port, 'api/experimental/dags', dag_id, 'dag_runs')
>>> data = {"conf":"{"key":"value"}"}
>>> headers = {'Content-type': 'application/json'}
>>> auth = ('newprolab', 'Newprolab2019!')
>>> uri = requests.post(url, data=json.dumps(data), headers=headers, auth=auth)
>>> uri.text
'{n  "message": "Created "n}n'

FörfrÄgan behandlades framgÄngsrikt.

DÀrmed ger vi DAG:en lite tid att bearbeta och gör en förfrÄgan till ClickHouse-tabellen för att försöka fÄnga upp datapaketet.

Kontrollen Àr slutförd.

KĂ€lla: habr.com

Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar đŸ”„ Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar | ProHoster