Præambel: skæbnet har ført mig fra en akademisk baggrund (medicin) til en verden af informationsteknologi, hvor jeg må bruge mine kompetencer inden for eksperimentelle metoder og strategier til analyse af eksperimentelle data, mens jeg anvender teknologi, som er ny for mig. I processen med at mestre disse teknologier står jeg over for en række vanskeligheder, som indtil videre heldigvis lykkes mig at overvinde. Måske vil dette indlæg være nyttigt for dem, der også lige er begyndt at arbejde med Apache-projekter.
Så til sagen. Inspireret af Yuri Emelyanov om mulighederne med Apache Airflow inden for automatiseringen af analytiske procedurer, ønskede jeg at begynde at bruge det foreslåede sæt af biblioteker i mit arbejde. For dem, der overhovedet ikke er bekendte med Apache Airflow, kan en lille oversigt være interessant på hjemmesiden for N. E. Bauman Nationalbiblioteket.
Da de almindelige instruktioner til at starte Airflow tilsyneladende ikke anvendes i Windows-miljøet, og det ville være overflødigt at bruge i mit tilfælde, begyndte jeg at søge efter andre løsninger. Heldigvis for mig var jeg ikke den første på denne vej, så jeg fandt en fantastisk til installation af Apache Airflow på Windows 10 uden at bruge Docker. Men som det ofte er tilfældet, opstod der vanskeligheder ved at følge de anbefalede trin, og jeg antager, at jeg ikke er den eneste. Derfor vil jeg gerne dele min erfaring med installationen af Apache Airflow, så måske kan det spare nogen for lidt tid.
Lad os gennemgå trinene i instruktionen (spoiler – alt gik glimrende indtil 5. trin):
1. Installation af Windows Subsystem for Linux for senere installation af Linux-distributioner
Dette er den mindste af problemerne, som man siger:
Kontrolpanel → Programmer → Programmer og funktioner → Tænd og sluk Windows-komponenter → Windows Subsystem for Linux
2. Installation af en Linux-distribution efter eget valg
Jeg brugte appen .
3. Installation og opdatering af pip
sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip4. Installation af Apache Airflow
export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow5. Initialisering af databasen
Og netop her begyndte mine små vanskeligheder. Instruktionen kræver, at man indtaster kommandoen airflow initdb og går videre til næste trin. Men jeg fik hele tiden svaret airflow: kommando ikke fundet. Det er logisk at antage, at der opstod problemer under installationen af Apache Airflow, og at de nødvendige filer simpelthen ikke er til stede. Da jeg havde sikret mig, at alt var, hvor det skulle være, besluttede jeg mig for at prøve at angive den fulde sti til filen airflow (det skulle se sådan ud: fuld/stier/til/filer/airflow initdb). Men miraklet skete ikke, og svaret var det samme airflow: kommando ikke fundet. Jeg prøvede at bruge den relative sti til filen (./.local/bin/airflow initdb), hvilket førte til, at der opstod en ny fejl ModuleNotFoundError: Ingen modul ved navn 'json', som kan overvindes ved at opdatere biblioteket werkzeug (i mit tilfælde til version 0.15.4):
pip install werkzeug==0.15.4Du kan læse mere om werkzeug .
Efter denne enkle manipulation blev kommandoen ./.local/bin/airflow initdb udført med succes.
6. Start af Airflow-serveren
Problemerne med at tilgå airflow var dog ikke ovre endnu. Kørsel af kommandoen ./.local/bin/airflow webserver -p 8080 førte til fejlen Ingen sådan fil eller bibliotek. En erfaren Ubuntu-bruger ville sandsynligvis straks prøve at overvinde sådanne problemer med at tilgå filen ved at anvende kommandoen export PATH=$PATH:~/.local/bin/ (det vil sige, ved at tilføje kataloget /.local/bin/ til den eksisterende sti til eksekverbare filer, som er defineret af variablen PATH), men dette indlæg er for dem, der primært arbejder med Windows og måske ikke anser denne løsning for åbenlys.
Efter den beskrevne manipulation blev kommandoen ./.local/bin/airflow webserver -p 8080 udført med succes.
7. URL: :8080/
Hvis alt gik godt i de tidligere trin, er du klar til at erobre analytiske højder.
Jeg håber, at den beskrevede oplevelse med installation af Apache Airflow på Windows 10 vil være nyttig for begyndere og fremskynde deres indtræden i universet af moderne analysetools.
Næste gang ville jeg gerne fortsætte emnet og fortælle om erfaringen med at bruge Apache Airflow inden for analyse af brugeradfærd i mobilapplikationer.
Kilde: habr.com
