{"id":36784,"date":"2019-10-31T22:13:47","date_gmt":"2019-10-31T19:13:47","guid":{"rendered":"https:\/\/prohoster.info\/blog\/opyt-ustanovki-apache-airflow-na-windows-10\/"},"modified":"2019-10-31T22:13:47","modified_gmt":"2019-10-31T19:13:47","slug":"opyt-ustanovki-apache-airflow-na-windows-10","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/opyt-ustanovki-apache-airflow-na-windows-10","title":{"rendered":"Moje do\u015bwiadczenia z instalacj\u0105 Apache Airflow na Windows 10","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Wst\u0119p<\/b>: z woli losu z \u015bwiata nauki akademickiej (medycyny) trafi\u0142am do \u015bwiata technologii informacyjnych, gdzie musz\u0119 korzysta\u0107 ze swojej wiedzy na temat metodologii przeprowadzania eksperyment\u00f3w i strategii analizy danych eksperymentalnych, jednak\u017ce stosowa\u0107 nowy dla mnie stos technologii. W procesie przyswajania tych technologii napotykam na szereg trudno\u015bci, kt\u00f3re p\u00f3ki co, na szcz\u0119\u015bcie, udaje si\u0119 przezwyci\u0119\u017ca\u0107. By\u0107 mo\u017ce ten post b\u0119dzie przydatny dla tych, kt\u00f3rzy r\u00f3wnie\u017c dopiero zaczynaj\u0105 prac\u0119 nad projektami Apache. <\/p>\n

Przechodz\u0105c do sedna<\/b>. Zainspirowana artyku\u0142em <\/a><\/noindex> Jurija Jemieljanowa mo\u017cliwo\u015bciami Apache Airflow w zakresie automatyzacji procedur analitycznych, postanowi\u0142am zacz\u0105\u0107 korzysta\u0107 z proponowanego zestawu bibliotek w mojej pracy. Dla tych, kt\u00f3rzy jeszcze zupe\u0142nie nie znaj\u0105 si\u0119 na Apache Airflow, mo\u017ce by\u0107 interesuj\u0105cy kr\u00f3tki przegl\u0105d artyku\u0142 <\/a><\/noindex> na stronie Narodowej Biblioteki im. N. E. Baumana. <\/p>\n

Poniewa\u017c standardowe instrukcje uruchamiania Airflow, jak si\u0119 wydaje, nie s\u0105 stosowane w \u015brodowisku Windows, a u\u017cycie do tego dockera <\/a><\/noindex> w moim przypadku by\u0142oby nadmiarowe, zacz\u0119\u0142am szuka\u0107 innych rozwi\u0105za\u0144. Na szcz\u0119\u015bcie dla mnie nie by\u0142am pierwsza na tej drodze, dlatego uda\u0142o mi si\u0119 znale\u017a\u0107 wspania\u0142\u0105 instrukcj\u0119 wideo<\/a><\/noindex> jak zainstalowa\u0107 Apache Airflow na Windows 10 bez u\u017cycia dockera. Ale jak to cz\u0119sto bywa, podczas realizacji zalecanych krok\u00f3w pojawiaj\u0105 si\u0119 trudno\u015bci, i przypuszczam, \u017ce nie tylko u mnie. Dlatego chcia\u0142abym opowiedzie\u0107 o swoim do\u015bwiadczeniu instalacji Apache Airflow, mo\u017ce to komu\u015b zaoszcz\u0119dzi troch\u0119 czasu.
\n<\/a><\/noindex>
\nPrzejd\u017amy przez kroki instrukcji (spoilers \u2014 w 5. kroku wszystko sz\u0142o \u015bwietnie):<\/p>\n

1. Instalacja subsystemu Windows dla Linux w celu p\u00f3\u017aniejszej instalacji dystrybucji Linuxa<\/b><\/p>\n

To jest mniejszy problem, jak m\u00f3wi\u0105: <\/p>\n

Panel sterowania \u2192 Programy \u2192 Programy i funkcje \u2192 W\u0142\u0105czanie i wy\u0142\u0105czanie sk\u0142adnik\u00f3w systemu Windows \u2192 Subsystem Windows dla Linux<\/p>\n

2. Instalacja wybranej dystrybucji Linuxa<\/b><\/p>\n

Skorzysta\u0142am z aplikacji Ubuntu<\/a><\/noindex>.<\/p>\n

3. Instalacja i aktualizacja pip <\/b><\/p>\n

sudo apt-get install software-properties-common\nsudo apt-add-repository universe\nsudo apt-get update\nsudo apt-get install python-pip<\/code><\/pre>\n
\n4. Instalacja Apache Airflow<\/b><\/p>\n
export SLUGIFY_USES_TEXT_UNIDECODE=yes\npip install apache-airflow<\/code><\/pre>\n
\n5. Inicjalizacja bazy danych<\/b><\/p>\n
I w\u0142a\u015bnie tutaj zacz\u0119\u0142y si\u0119 moje ma\u0142e trudno\u015bci. Instrukcja nakazuje wprowadzenie komendy airflow initdb<\/code> i przej\u015bcie do nast\u0119pnego kroku. Jednak niezmiennie otrzymywa\u0142am odpowied\u017a airflow: command not found<\/code>. Logiczne jest przypuszcza\u0107, \u017ce napotkano trudno\u015bci na etapie instalacji Apache Airflow i po prostu brakuje potrzebnych plik\u00f3w. Upewniwszy si\u0119, \u017ce wszystko jest tam, gdzie powinno by\u0107, postanowi\u0142am spr\u00f3bowa\u0107 poda\u0107 pe\u0142n\u0105 \u015bcie\u017ck\u0119 do pliku airflow (powinno wygl\u0105da\u0107 tak: pe\u0142na\/\u015bcie\u017cka\/do\/pliku\/airflow initdb<\/code>). Ale cud si\u0119 nie zdarzy\u0142 i odpowied\u017a by\u0142a ta sama airflow: command not found<\/code>. Spr\u00f3bowa\u0142am u\u017cy\u0107 wzgl\u0119dnej \u015bcie\u017cki do pliku (.\/.local\/bin\/airflow initdb<\/code>), co doprowadzi\u0142o do pojawienia si\u0119 nowego b\u0142\u0119du ModuleNotFoundError: No module named json'<\/code>, kt\u00f3ry mo\u017cna przezwyci\u0119\u017cy\u0107, aktualizuj\u0105c bibliotek\u0119 werkzeug<\/i> (w moim przypadku do wersji 0.15.4):<\/p>\n
pip install werkzeug==0.15.4<\/code><\/pre>\n
\nWi\u0119cej na temat werkzeug mo\u017cna przeczyta\u0107 tutaj<\/a><\/noindex>. <\/p>\n
Po tej prostej manipulacji polecenie .\/.local\/bin\/airflow initdb<\/code> zosta\u0142o wykonane pomy\u015blnie. <\/p>\n
6. Uruchomienie serwera Airflow<\/b><\/p>\n
Na tym trudno\u015bci z dost\u0119pem do airflow jeszcze si\u0119 nie sko\u0144czy\u0142y. Uruchomienie polecenia .\/.local\/bin\/airflow webserver -p 8080<\/code> doprowadzi\u0142o do b\u0142\u0119du No such file or directory<\/code>. Prawdopodobnie do\u015bwiadczony u\u017cytkownik Ubuntu od razu pr\u00f3buje przezwyci\u0119\u017cy\u0107 takie trudno\u015bci z dost\u0119pem do pliku, stosuj\u0105c polecenie export PATH=$PATH:~\/.local\/bin\/<\/code> (to znaczy, dodaj\u0105c do istniej\u0105cej \u015bcie\u017cki wyszukiwania plik\u00f3w wykonywalnych, definiowanej przez zmienn\u0105 PATH, katalog \/.local\/bin\/), ale ten post jest przeznaczony dla tych, kt\u00f3rzy g\u0142\u00f3wnie pracuj\u0105 w systemie Windows i by\u0107 mo\u017ce nie uwa\u017caj\u0105 tego rozwi\u0105zania za oczywiste. <\/p>\n
Po opisanej powy\u017cej manipulacji polecenie .\/.local\/bin\/airflow webserver -p 8080<\/code> zosta\u0142o wykonane pomy\u015blnie.<\/p>\n
7. URL: localhost<\/noindex>:8080\/<\/b><\/p>\n
Je\u015bli wszystko posz\u0142o dobrze na poprzednich etapach, jeste\u015b got\u00f3w podbi\u0107 analityczne szczyty.<\/p>\n
Mam nadziej\u0119, \u017ce powy\u017csze do\u015bwiadczenie instalacji Apache Airflow na Windows 10 b\u0119dzie przydatne dla pocz\u0105tkuj\u0105cych u\u017cytkownik\u00f3w i przyspieszy ich wej\u015bcie w \u015bwiat nowoczesnych narz\u0119dzi analitycznych. <\/p>\n
Nast\u0119pnym razem chcia\u0142abym kontynuowa\u0107 temat i opowiedzie\u0107 o do\u015bwiadczeniu korzystania z Apache Airflow w zakresie analizy zachowa\u0144 u\u017cytkownik\u00f3w aplikacji mobilnych.
\n
\u0179r\u00f3d\u0142o: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
\u041f\u0440\u0435\u0430\u043c\u0431\u0443\u043b\u0430: \u0432\u043e\u043b\u0435\u044e \u0441\u0443\u0434\u044c\u0431\u044b \u0438\u0437 \u043c\u0438\u0440\u0430 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043d\u0430\u0443\u043a\u0438 (\u043c\u0435\u0434\u0438\u0446\u0438\u043d\u044b) \u044f \u043f\u043e\u043f\u0430\u043b\u0430 \u0432 \u043c\u0438\u0440 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439, \u0433\u0434\u0435 \u043c\u043d\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u0437\u043d\u0430\u043d\u0438\u044f \u043e \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0438 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f\u0445 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043e\u0434\u043d\u0430\u043a\u043e, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u043d\u043e\u0432\u044b\u0439 \u0434\u043b\u044f \u043c\u0435\u043d\u044f \u0441\u0442\u0435\u043a \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439. \u0412 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043e\u0441\u0432\u043e\u0435\u043d\u0438\u044f \u044d\u0442\u0438\u0445 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439 \u044f \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u044e\u0441\u044c \u0441 \u0440\u044f\u0434\u043e\u043c \u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043a\u0430, \u043a \u0441\u0447\u0430\u0441\u0442\u044c\u044e, \u0443\u0434\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u043e\u0434\u043e\u043b\u0435\u0432\u0430\u0442\u044c. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u044d\u0442\u043e\u0442 \u043f\u043e\u0441\u0442 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-36784","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Do\u015bwiadczenie instalacji Apache Airflow na Windows 10 | ProHoster","description":"Wst\u0119p: w wyniku losu z \u015bwiata nauki akademickiej (medycyny) trafi\u0142am do \u015bwiata technologii informacyjnych, gdzie musz\u0119 wykorzystywa\u0107 swoj\u0105 wiedz\u0119 o metodologii prowadzenia eksperyment\u00f3w i strategiach analizy.","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/opyt-ustanovki-apache-airflow-na-windows-10","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u043f\u044b\u0442 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 Apache Airflow \u043d\u0430 Windows 10 | ProHoster","og:description":"\u041f\u0440\u0435\u0430\u043c\u0431\u0443\u043b\u0430: \u0432\u043e\u043b\u0435\u044e \u0441\u0443\u0434\u044c\u0431\u044b \u0438\u0437 \u043c\u0438\u0440\u0430 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043d\u0430\u0443\u043a\u0438 (\u043c\u0435\u0434\u0438\u0446\u0438\u043d\u044b) \u044f \u043f\u043e\u043f\u0430\u043b\u0430 \u0432 \u043c\u0438\u0440 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439, \u0433\u0434\u0435 \u043c\u043d\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u0437\u043d\u0430\u043d\u0438\u044f \u043e \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0438 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f\u0445 \u0430\u043d\u0430\u043b\u0438\u0437\u0430.","og:url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/opyt-ustanovki-apache-airflow-na-windows-10","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:13:47+00:00","article:modified_time":"2019-10-31T19:13:47+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"36784","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-22 04:50:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 01:39:22","updated":"2026-01-22 04:50:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/36784","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=36784"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/36784\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=36784"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=36784"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=36784"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}