No nā makahiki ʻewalu i hala iho nei, ua hana wau ma ke ʻano he luna papahana (ʻaʻole wau i kākau i nā code ma ka hana), e hoʻopilikia maoli i kaʻu hope ʻenehana. Ua hoʻoholo wau e pani i kaʻu ʻenehana ʻenehana a loaʻa i ka ʻoihana ʻenehana Data. ʻO ke akamai koʻikoʻi o kahi Data Engineer ka hiki ke hoʻolālā, kūkulu, a mālama i nā hale waihona ʻikepili.
Ua hana wau i kahi hoʻolālā hoʻomaʻamaʻa, manaʻo wau he mea pono ʻaʻole iaʻu wale nō. Hoʻokumu ʻia ka papahana i nā papa haʻawina ponoʻī. Hāʻawi ʻia ka mea nui i nā papa manuahi ma ka ʻōlelo Lūkini.
Māhele:
- Algorithms a me nā hoʻonohonoho ʻikepili. ʻāpana kī. E aʻo a e holo pono nā mea ʻē aʻe. He mea nui e kau i kou mau lima ma ke code a hoʻohana i nā ʻōnaehana kumu a me nā algorithm.
- Nā waihona ʻikepili a me nā waihona ʻikepili, Business Intelligence. Ke neʻe nei mākou mai nā algorithms i ka mālama ʻana a me ka hana ʻana.
- Hadoop a me ka ʻikepili nui. Inā ʻaʻole i hoʻokomo ʻia ka waihona ma ka paʻa paʻa, a i ka wā e pono ai ke kālailai ʻana i ka ʻikepili, akā ʻaʻole hiki iā Excel ke hoʻouka hou iā lākou, hoʻomaka ka ʻikepili nui. I koʻu manaʻo, pono e hele i kēia ʻāpana wale nō ma hope o ke aʻo hohonu ʻana i nā mea ʻelua ma mua.
Algorithms a me nā hoʻonohonoho ʻikepili
Ma kaʻu hoʻolālā, ua hoʻokomo wau i ke aʻo ʻana i ka Python, e hana hou i nā kumu o ka makemakika a me ka algorithmization.
Nā waihona ʻikepili a me nā waihona ʻikepili, Business Intelligence
- Buke: Martin Kleppman - Nā noi i hoʻouka nui ʻia. Papahana, hoʻonui, kākoʻo. Hōʻike ka puke i ka hana ʻana o nā hiʻohiʻona ʻikepili like ʻole, kā lākou hoʻokō ʻana mai loko mai, nā palena a me nā koho e pili ana i ka hana.
ʻO nā kumuhana pili i ke kūkulu ʻana i nā waihona ʻikepili, ETL, OLAP cubes e hilinaʻi nui ʻia i nā mea hana, no laila ʻaʻole wau e hāʻawi i nā loulou i nā papa ma kēia palapala. Manaʻo ʻia e aʻo i ia ʻōnaehana i ka wā e hana ai i kahi papahana kūikawā ma kahi ʻoihana kikoʻī. No ka ʻike me ETL, hiki iā ʻoe ke hoʻāʻo ai ole ia, .
I koʻu manaʻo, he mea nui ke aʻo ʻana i ke ʻano hana hoʻolālā Data Vault hou , . A ʻo ke ala maikaʻi loa e aʻo ai ʻo ia ka lawe ʻana a hoʻokō me kahi hiʻohiʻona maʻalahi. Aia kekahi mau hiʻohiʻona hoʻokō Data Vault ma GitHub . ʻO ka Buke Data Warehouse o kēia wā: Hoʻohālike i ka Agile Data Warehouse me ka Data Vault na Hans Hultgren.
No ka ʻike ʻana i nā hāmeʻa Business Intelligence no nā mea hoʻohana hope, hiki iā ʻoe ke hoʻohana i ka mea hoʻolālā manuahi o nā hōʻike, dashboards, mini data warehouses Power BI Desktop. Nā mea hoʻonaʻauao: , .
Hadoop a me ka ʻikepili nui
- Pono ʻoe e hoʻomaka me kahi hoʻokō kūʻokoʻa o MapReduce me ka ʻole o nā hale waihona puke ʻaoʻao ʻekolu. E ʻae kēia i ka hoʻomaopopo maikaʻi ʻana i nā hoʻokō multithreaded i ka wā e hiki mai ana. Ua wehewehe ʻia kahi hiʻohiʻona maikaʻi loa ma Python .
hopena
ʻAʻole hiki ke hoʻohana ʻia nā mea a pau āu e aʻo ai ma ka hana. No laila, pono ʻoe i kahi papahana puka kahi āu e hoʻāʻo ai e hoʻopili i ka ʻike hou.
ʻAʻohe kumuhana e pili ana i ka ʻikepili ʻikepili a me ke aʻo ʻana i ka mīkini ma ka hoʻolālā. pili kēia i ka ʻoihana ʻepekema Data. ʻAʻohe kumuhana pili i nā ao AWS, Azure. hilinaʻi nui kēia mau kumuhana i ke koho ʻana o ke kahua.
Nā nīnau i ke kaiāulu:
Pehea ka lawa ʻana o kaʻu hoʻolālā pae? He aha ka mea e wehe ai a hoʻohui paha?
He aha ka papahana āu e paipai ai ma ke ʻano he thesis?
Source: www.habr.com