Windows 10에 Apache Airflow 설치 경험

서문: 운명의 의지에 따라 학술 과학(의학)의 세계에서 정보 기술의 세계에 들어섰습니다. 그곳에서는 실험 구성 방법론과 실험 데이터 분석 전략에 대한 지식을 사용해야 하지만, 나에게 새로운 기술 스택. 이러한 기술을 익히는 과정에서 여러 가지 어려움에 직면하게 되었는데, 다행스럽게도 지금까지는 이를 극복했습니다. 아마도 이 게시물은 이제 막 Apache 프로젝트 작업을 시작한 사람들에게 유용할 것입니다.

그래서 요점은. 탁월한 조 Yuri Emelyanov는 분석 절차 자동화 분야에서 Apache Airflow의 기능에 대해 설명하면서 제안된 라이브러리 세트를 작업에 사용하고 싶었습니다. 아직 Apache Airflow에 전혀 익숙하지 않은 사람들은 간단한 개요에 관심이 있을 수 있습니다. 기사 국립중앙도서관 홈페이지에서 N. E. 바우만.

Windows 환경에서는 Airflow를 실행하기 위한 일반적인 지침이 적용되지 않는 것 같으므로 이를 활용하여 문제를 해결하십시오. 도커 제 경우에는 중복될 것 같아서 다른 솔루션을 찾기 시작했습니다. 다행스럽게도 나는 이 길을 처음 밟은 사람이 아니었기 때문에 훌륭한 방법을 찾을 수 있었습니다. 비디오 지침 Docker를 사용하지 않고 Windows 10에 Apache Airflow를 설치하는 방법 그러나 종종 발생하는 것처럼 권장 단계를 따를 때 어려움이 발생하며 이는 나에게만 해당되는 것이 아니라고 믿습니다. 따라서 저는 Apache Airflow를 설치한 경험에 대해 이야기하고 싶습니다. 아마도 누군가의 시간을 조금 절약할 수 있을 것입니다.

지침의 단계를 살펴보겠습니다(스포일러 - 5단계에서는 모든 것이 잘 진행되었습니다).

1. Linux 배포판의 후속 설치를 위해 Linux용 Windows 하위 시스템 설치

그들이 말하는 것처럼 이것은 가장 작은 문제입니다.

제어판 → 프로그램 → 프로그램 및 기능 → Windows 기능 켜기 또는 끄기 → Linux용 Windows 하위 시스템

2. 원하는 Linux 배포판을 설치합니다.

나는 응용 프로그램을 사용했다 Ubuntu.

3. pip 설치 및 업데이트

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. 아파치 에어플로우 설치

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. 데이터베이스 초기화

그리고 이것이 나의 작은 어려움이 시작된 곳입니다. 지침에 따라 명령을 입력해야 합니다. airflow initdb 그리고 다음 단계로 넘어갑니다. 그런데 늘 답장을 받았어요. airflow: command not found. Apache Airflow를 설치하는 동안 문제가 발생했으며 필요한 파일을 사용할 수 없다고 가정하는 것이 논리적입니다. 모든 것이 있어야 할 위치에 있는지 확인한 후 airflow 파일의 전체 경로를 지정하기로 결정했습니다(다음과 같아야 함). Полный/путь/до/файла/airflow initdb). 하지만 기적은 일어나지 않았고 대답은 같았어요 airflow: command not found. 파일의 상대 경로를 사용해 보았습니다(./.local/bin/airflow initdb), 이로 인해 새로운 오류가 발생했습니다. ModuleNotFoundError: No module named json'라이브러리 업데이트로 극복할 수 있는 문제 수단 (내 경우에는 버전 0.15.4까지):

pip install werkzeug==0.15.4

Werkzeug에 대해 자세히 알아볼 수 있습니다. 여기에.

이 간단한 조작 후 명령 ./.local/bin/airflow initdb 성공적으로 완료되었습니다.

6. Airflow 서버 실행

이것은 공기 흐름에 접근하는 데 따른 어려움의 끝이 아닙니다. 명령 실행 ./.local/bin/airflow webserver -p 8080 오류가 발생했습니다 No such file or directory. 아마도 숙련된 Ubuntu 사용자는 다음 명령을 사용하여 파일에 액세스할 때 이러한 어려움을 즉시 극복하려고 시도할 것입니다. export PATH=$PATH:~/.local/bin/ (즉, 기존 PATH 실행 가능 검색 경로에 /.local/bin/을 추가하는 것입니다.) 그러나 이 게시물은 주로 Windows에서 작업하고 이 솔루션이 명백하지 않다고 생각하는 사람들을 위한 것입니다.

위에서 설명한 조작 후 명령 ./.local/bin/airflow webserver -p 8080 성공적으로 완료되었습니다.

7.URL: 로컬 호스트: 8080 /

이전 단계에서 모든 것이 순조롭게 진행되었다면 이제 분석 정점을 정복할 준비가 된 것입니다.

Windows 10에 Apache Airflow를 설치할 때 위에서 설명한 경험이 초보 사용자에게 유용하고 최신 분석 도구 세계로의 진입 속도를 높이는 데 도움이 되기를 바랍니다.

다음번에는 주제를 이어가며 모바일 애플리케이션의 사용자 행동 분석 분야에서 Apache Airflow를 사용한 경험에 대해 이야기하고 싶습니다.

출처 : habr.com