Apache Airflow 설치 경험 Windows 10

서문: 운명의 의지에 따라 학술 과학(의학)의 세계에서 정보 기술의 세계에 들어섰습니다. 그곳에서는 실험 구성 방법론과 실험 데이터 분석 전략에 대한 지식을 사용해야 하지만, 나에게 새로운 기술 스택. 이러한 기술을 익히는 과정에서 여러 가지 어려움에 직면하게 되었는데, 다행스럽게도 지금까지는 이를 극복했습니다. 아마도 이 게시물은 이제 막 Apache 프로젝트 작업을 시작한 사람들에게 유용할 것입니다.

그래서 요점은. 탁월한 조 Yuri Emelyanov는 분석 절차 자동화 분야에서 Apache Airflow의 기능에 대해 설명하면서 제안된 라이브러리 세트를 작업에 사용하고 싶었습니다. 아직 Apache Airflow에 전혀 익숙하지 않은 사람들은 간단한 개요에 관심이 있을 수 있습니다. 기사 국립중앙도서관 홈페이지에서 N. E. 바우만.

일반적인 Airflow 실행 지침이 해당 환경에 적용되지 않는 것 같습니다. Windows그리고 그것을 사용하여 이 문제를 해결하세요. 도커 제 경우에는 중복될 것 같아서 다른 솔루션을 찾기 시작했습니다. 다행스럽게도 나는 이 길을 처음 밟은 사람이 아니었기 때문에 훌륭한 방법을 찾을 수 있었습니다. 비디오 지침 Apache Airflow 설치에 관하여 Windows 10 Docker를 사용하지 않고 Apache Airflow를 설치해 보려고 했습니다. 하지만 권장 설치 단계를 따르면서 어려움을 겪는 경우가 종종 있는데, 저만 그런 건 아닐 거라고 생각합니다. 그래서 제가 경험한 Apache Airflow 설치 과정을 공유하고자 합니다. 누군가에게 도움이 될 수도 있겠죠.

지침의 단계를 살펴보겠습니다(스포일러 - 5단계에서는 모든 것이 잘 진행되었습니다).

1. 서브시스템 설치 Windows 에 Linux 배포판의 후속 설치를 위해 Linux

그들이 말하는 것처럼 이것은 가장 작은 문제입니다.

제어판 → 프로그램 → 프로그램 및 기능 → 기능 켜기/끄기 Windows → 하위 시스템 Windows 에 Linux

2. 배포판 설치 Linux 선택적으로

나는 응용 프로그램을 사용했다 Ubuntu.

3. pip 설치 및 업데이트

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

4. 아파치 에어플로우 설치

export SLUGIFY_USES_TEXT_UNIDECODE=yes
pip install apache-airflow

5. 데이터베이스 초기화

그리고 이것이 나의 작은 어려움이 시작된 곳입니다. 지침에 따라 명령을 입력해야 합니다. airflow initdb 그리고 다음 단계로 넘어갑니다. 그런데 늘 답장을 받았어요. airflow: command not found. Apache Airflow를 설치하는 동안 문제가 발생했으며 필요한 파일을 사용할 수 없다고 가정하는 것이 논리적입니다. 모든 것이 있어야 할 위치에 있는지 확인한 후 airflow 파일의 전체 경로를 지정하기로 결정했습니다(다음과 같아야 함). Полный/путь/до/файла/airflow initdb). 하지만 기적은 일어나지 않았고 대답은 같았어요 airflow: command not found. 파일의 상대 경로를 사용해 보았습니다(./.local/bin/airflow initdb), 이로 인해 새로운 오류가 발생했습니다. ModuleNotFoundError: No module named json'라이브러리 업데이트로 극복할 수 있는 문제 수단 (내 경우에는 버전 0.15.4까지):

pip install werkzeug==0.15.4

Werkzeug에 대해 자세히 알아볼 수 있습니다. 여기에.

이 간단한 조작 후 명령 ./.local/bin/airflow initdb 성공적으로 완료되었습니다.

6. Airflow 서버 실행

이것은 공기 흐름에 접근하는 데 따른 어려움의 끝이 아닙니다. 명령 실행 ./.local/bin/airflow webserver -p 8080 오류가 발생했습니다 No such file or directory아마 숙련된 사용자일 겁니다. Ubuntu 저는 즉시 명령어를 사용하여 파일 접근에 있어서 그러한 어려움을 해결하려고 시도할 것입니다. export PATH=$PATH:~/.local/bin/ (즉, PATH 변수에 정의된 기존 실행 파일 검색 경로에 /.local/bin/ 디렉터리를 추가하는 것)이지만, 이 글은 주로 다음과 같은 작업을 하는 사람들을 대상으로 합니다. Windows 그리고 그러한 해결책을 당연하다고 생각하지 않을 수도 있습니다.

위에서 설명한 조작 후 명령 ./.local/bin/airflow webserver -p 8080 성공적으로 완료되었습니다.

7.URL: 로컬 호스트: 8080 /

이전 단계에서 모든 것이 순조롭게 진행되었다면 이제 분석 정점을 정복할 준비가 된 것입니다.

위에서 설명한 Apache Airflow 설치 경험이 도움이 되었으면 좋겠습니다. Windows 10 이는 초보 사용자에게 유용하며 최신 분석 도구의 세계에 더 빨리 진입할 수 있도록 도와줄 것입니다.

다음번에는 주제를 이어가며 모바일 애플리케이션의 사용자 행동 분석 분야에서 Apache Airflow를 사용한 경험에 대해 이야기하고 싶습니다.

출처 : habr.com