No nā mahina ʻeono i hala iho nei ua hoʻokumu wau i kahi ʻōnaehana e hakakā ai i ka hoʻopunipuni (hana hoʻopunipuni, hoʻopunipuni, a me nā mea ʻē aʻe) me ka ʻole o kahi ʻōnaehana mua no kēia. ʻO nā manaʻo o kēia lā a mākou i ʻike ai a hoʻokō ʻia i kā mākou ʻōnaehana kōkua iā mākou e ʻike a loiloi i nā hana hoʻopunipuni he nui. Ma kēiaʻatikala, makemake wau e kamaʻilio e pili ana i nā loina a mākou i hahai ai a me nā mea a mākou i hana ai e hoʻokō i ke kūlana o kēia manawa o kā mākou ʻōnaehana, me ka ʻole e hele i ka ʻāpana ʻenehana.
Nā loina o kā mākou ʻōnaehana
Ke lohe ʻoe i nā huaʻōlelo e like me "akomi" a me ka "hoʻopunipuni," hoʻomaka paha ʻoe e noʻonoʻo e pili ana i ke aʻo ʻana i ka mīkini, Apache Spark, Hadoop, Python, Airflow, a me nā ʻenehana ʻē aʻe mai ka Apache Foundation ecosystem a me ke kahua ʻepekema Data. Manaʻo wau aia kekahi ʻano o ka hoʻohana ʻana i kēia mau mea hana i ʻōlelo ʻole ʻia: koi lākou i kekahi mau koi i kāu ʻoihana ʻoihana ma mua o kou hoʻomaka ʻana e hoʻohana iā lākou. I ka pōkole, pono ʻoe i kahi kahua ʻikepili ʻoihana e pili ana i kahi loko data a me kahi hale kūʻai. Akā, pehea inā ʻaʻole ʻoe i loaʻa kahi kahua a pono e hoʻomohala i kēia hana? ʻO nā kumu aʻo aʻu e hōʻike nei ma lalo nei ua kōkua iā mākou e hōʻea i kahi e hiki ai iā mākou ke nānā aku i ka hoʻomaikaʻi ʻana i kā mākou mau manaʻo ma mua o ka ʻimi ʻana i kahi mea e hana ai. Akā naʻe, ʻaʻole kēia he papa pāhana. Nui nā mea i loko o ka papahana mai ka ʻenehana a me ka ʻike huahana.
Kumu 1: Ka Waiwai ʻOihana Mua
Hoʻokomo mākou i ka "waiwai ʻoihana" ma mua o kā mākou mau hana āpau. Ma keʻano holoʻokoʻa, aia kekahi ʻōnaehana loiloi aunoa i ka hui o nā ʻōnaehana paʻakikī me kahi kiʻekiʻe o ka automation a me ka paʻakikī ʻenehana. ʻO ka hoʻokumu ʻana i kahi hoʻonā piha e lōʻihi ka manawa inā ʻoe e hana mai ia mai ka ʻohi ʻana. Ua hoʻoholo mākou e kau i ka waiwai ʻoihana ma mua a me ka hoʻopiha ʻenehana i ka lua. Ma ke ola maoli, ʻaʻole mākou e ʻae i ka ʻenehana holomua e like me ka dogma. Koho mākou i ka ʻenehana i hana maikaʻi loa iā mākou i kēia manawa. I ka hala ʻana o ka manawa, ʻike paha mākou e hoʻokō hou i kekahi mau modula. ʻO kēia ka ʻaelike a mākou i ʻae ai.
Kumu 2: Hoʻonui i ka naʻauao
Manaʻo wau i ka hapa nui o ka poʻe i komo ʻole i ka hoʻomohala ʻana i nā haʻina aʻo mīkini e manaʻo ʻo ka hoʻololi ʻana i ke kanaka ka pahuhopu. ʻO ka ʻoiaʻiʻo, mamao loa ka hoʻonā aʻo ʻana i ka mīkini a ma kekahi mau wahi wale nō ke hiki ke hoʻololi. Ua hōʻole mākou i kēia manaʻo mai ka hoʻomaka ʻana no nā kumu he nui: ka ʻikepili kaulike ʻole e pili ana i ka hana hoʻopunipuni a me ka hiki ʻole ke hāʻawi i kahi papa inoa piha o nā hiʻohiʻona no nā kumu aʻo mīkini. I ka hoʻokaʻawale ʻana, ua koho mākou i ke koho ʻike i hoʻonui ʻia. He manaʻo ʻē aʻe kēia o ka naʻauao artificial e kālele ana i ke kuleana kākoʻo o AI, e hoʻoikaika ana i ka manaʻo o nā ʻenehana cognitive e hoʻonui i ka naʻauao kanaka ma mua o ka hoʻololi ʻana. [1]
Hāʻawi ʻia kēia, ʻo ka hoʻomohala ʻana i kahi hopena aʻo mīkini piha mai ka hoʻomaka ʻana e koi i kahi hoʻoikaika nui, e hoʻopaneʻe ai i ka hana ʻana i ka waiwai no kā mākou ʻoihana. Ua hoʻoholo mākou e kūkulu i kahi ʻōnaehana me kahi hiʻohiʻona aʻo mīkini e ulu nui ana ma lalo o ke alakaʻi ʻana o kā mākou poʻe loea. ʻO ka ʻāpana paʻakikī o ka hoʻomohala ʻana i ia ʻōnaehana, ʻo ia ka hāʻawi ʻana i kā mākou mea loiloi i nā hihia ʻaʻole wale ma ke ʻano he hana hoʻopunipuni a ʻaʻole paha. Ma keʻano laulā, ʻo kekahi anomaly i ka ʻano o ka mea kūʻai aku he hihia kānalua ia e pono ai nā loea e noiʻi a pane i kekahi ʻano. ʻO kahi hapa wale nō o kēia mau hihia i hōʻike ʻia e hiki ke hoʻokaʻawale maoli ʻia he hoʻopunipuni.
Kuʻina 3: ʻIkepili waiwai waiwai
ʻO ka ʻaoʻao paʻakikī loa o kā mākou ʻōnaehana ʻo ka hōʻoia hope-i-hope o ke kaʻina hana o ka ʻōnaehana. Pono nā mea loiloi a me nā mea hoʻomohala e loaʻa i nā pūʻulu ʻikepili mōʻaukala me nā ana a pau i hoʻohana ʻia no ka nānā ʻana. Eia hou, pono e hāʻawi ka paepae ʻikepili i kahi ala maʻalahi e hoʻokō i kahi pūʻulu o nā ana me nā mea hou. ʻO nā kaʻina hana a mākou e hana ai, ʻaʻole kēia wale nō nā kaʻina polokalamu, e ʻae iā mākou e helu maʻalahi i nā manawa i hala, e hoʻohui i nā metric hou a hoʻololi i ka wānana ʻikepili. Hiki iā mākou ke hoʻokō i kēia ma ka hōʻiliʻili ʻana i nā ʻikepili āpau i hana ʻia e kā mākou ʻōnaehana hana. I kēia hihia, lilo ka ʻikepili i mea pilikia. Pono mākou e mālama i ka nui o nā ʻikepili a mākou e hoʻohana ʻole ai a pale aku iā ia. Ma kēlā ʻano hiʻohiʻona, e lilo ka ʻikepili i mea ʻole i ka manawa, akā koi mau i kā mākou mau hana e hoʻokele. No mākou, ʻaʻole kūpono ka hoʻopaʻa ʻana i ka ʻikepili, no laila ua hoʻoholo mākou e hana i kahi ala ʻē aʻe. Ua hoʻoholo mākou e hoʻonohonoho i nā hale kūʻai ʻikepili manawa maoli a puni nā mea i makemake ʻia e hoʻokaʻawale, a mālama i nā ʻikepili wale nō e hiki ai iā mākou ke nānā i nā manawa hou loa a pili. ʻO ka paʻakikī o kēia hoʻoikaika ʻana, ʻo kā mākou ʻōnaehana he heterogeneous, me nā hale kūʻai ʻikepili lehulehu a me nā modula polokalamu e pono ai ka hoʻolālā akahele e hana ma ke ʻano kūlike.
Hoʻolālā i nā manaʻo o kā mākou ʻōnaehana
ʻEhā mau ʻāpana nui o kā mākou ʻōnaehana: ʻōnaehana ingestion, computational, BI analysis and tracking system. Hāʻawi lākou i nā kumu kikoʻī, kaʻawale, a mālama mākou iā lākou ma o ka hahai ʻana i nā ala hoʻolālā kikoʻī.
Hoʻolālā ma muli o ka ʻaelike
ʻO ka mea mua, ua ʻae mākou e hilinaʻi wale nā mea ʻāpana i kekahi mau hale ʻikepili (ʻaelike) i hala ma waena o lākou. He mea maʻalahi kēia i ka hoʻohui ʻana ma waena o lākou a ʻaʻole e hoʻokau i kahi haku kikoʻī (a me ke kauoha) o nā ʻāpana. No ka laʻana, i kekahi mau mea hiki iā mākou ke hoʻohui pololei i ka ʻōnaehana intake me ka ʻōnaehana makaʻala. Ma ia hihia, e hana ʻia kēia e like me ka ʻaelike makaʻala i ʻaelike ʻia. ʻO ia ke ʻano e hoʻohui ʻia nā ʻāpana ʻelua me ka hoʻohana ʻana i kahi ʻaelike e hiki ke hoʻohana i kekahi mea ʻē aʻe. ʻAʻole mākou e hoʻohui i kahi ʻaelike hou aʻe e hoʻohui i nā mākaʻikaʻi i ka ʻōnaehana hahai mai ka ʻōnaehana hoʻokomo. Pono kēia ala i ka hoʻohana ʻana i kahi helu liʻiliʻi i koho mua ʻia a hoʻomaʻamaʻa i ka ʻōnaehana a me nā kamaʻilio. ʻO ka mea nui, lawe mākou i kahi ala i kapa ʻia ʻo "Contract First Design" a hoʻopili iā ia i ke kahe ʻana i nā ʻaelike. [2]
E kahe ana ma na wahi a pau
ʻO ka mālama ʻana a me ka mālama ʻana i ka mokuʻāina i loko o kahi ʻōnaehana hiki ke alakaʻi i nā pilikia i kāna hoʻokō. Ma keʻano laulā, pono e ʻike ʻia ka mokuʻāina mai kekahi ʻāpana, pono ia e kūlike a hāʻawi i ka waiwai o kēia manawa ma nā ʻāpana āpau, a pono ia e hilinaʻi me nā waiwai kūpono. Eia hou, e hoʻonui i ka helu o nā hana I/O a me ka paʻakikī o nā algorithm i hoʻohana ʻia i kā mākou mau paipu manawa maoli. Ma muli o kēia, ua hoʻoholo mākou e wehe i kahi waihona mokuʻāina, inā hiki, mai kā mākou ʻōnaehana. Pono kēia ala e hoʻokomo i nā ʻikepili kūpono a pau i ka poloka data i hoʻouna ʻia (memo). No ka laʻana, inā pono mākou e helu i ka helu o kekahi mau ʻike (ka helu o nā hana a i ʻole nā hihia me kekahi mau hiʻohiʻona), helu mākou i ka hoʻomanaʻo a hoʻopuka i kahi kahawai o ia mau waiwai. E hoʻohana nā modula hilinaʻi i ka ʻāpana a me ka hui ʻana e hoʻokaʻawale i ke kahawai i mau hui a hana i nā waiwai hou loa. Ua hoʻopau kēia ala i ka pono o ka mālama ʻana i ka disk no ia ʻikepili. Hoʻohana kā mākou ʻōnaehana iā Kafka ma ke ʻano he mea kūʻai leka uila a hiki ke hoʻohana ʻia ma ke ʻano he waihona me KSQL. [3] Akā ʻo ka hoʻohana ʻana iā ia e hoʻopili nui i kā mākou hopena iā Kafka, a ua hoʻoholo mākou ʻaʻole e hoʻohana. ʻO ke ala a mākou i koho ai e hiki iā mākou ke hoʻololi iā Kafka me kahi mea kūʻai leka me ka ʻole o nā loli kūloko nui i ka ʻōnaehana.
ʻAʻole manaʻo kēia manaʻo ʻaʻole mākou e hoʻohana i ka mālama disk a me nā waihona. No ka hoʻāʻo ʻana a me ka nānā ʻana i ka hana ʻōnaehana, pono mākou e mālama i ka nui o ka ʻikepili ma ka disk e hōʻike ana i nā metric a me nā mokuʻāina. ʻO ka mea nui ma ʻaneʻi, ʻaʻole hilinaʻi nā algorithm i ka manawa maoli i kēlā ʻikepili. I ka hapanui o nā hihia, hoʻohana mākou i ka ʻikepili i mālama ʻia no ka nānā ʻana ma waho, ka hoʻopau ʻana a me ka nānā ʻana i nā hihia kikoʻī a me nā hopena i hana ʻia e ka ʻōnaehana.
Nā pilikia o kā mākou pūnaewele
Aia kekahi mau pilikia a mākou i hoʻoponopono ai i kekahi pae, akā makemake lākou i nā hoʻonā noʻonoʻo. I kēia manawa makemake wau e haʻi iā lākou ma aneʻi no ka mea pono kēlā me kēia helu i kāna ʻatikala ponoʻī.
- Pono mākou e wehewehe i nā kaʻina hana a me nā kulekele e kākoʻo ana i ka hōʻiliʻili ʻana o nā ʻikepili koʻikoʻi a kūpono no kā mākou ʻikepili ʻikepili, ʻike, a me ka ʻimi ʻana.
- ʻO ka hoʻohui ʻana i ka ʻikepili kanaka i nā hopena i ke kaʻina hana o ka hoʻonohonoho ʻana i ka ʻōnaehana e hoʻonui iā ia me ka ʻikepili hou loa. ʻAʻole kēia e hoʻonui wale i kā mākou kumu hoʻohālike, akā hoʻomaikaʻi pū i kā mākou kaʻina hana a hoʻomaikaʻi i ko mākou ʻike i kā mākou ʻikepili.
- Ke ʻimi nei i kahi kaulike ma waena o ka hoʻoholo hoʻoholo ʻana o IF-ELSE a me ML. Ua ʻōlelo kekahi, "He mea hana ʻo ML no ka poʻe paʻakikī." 'O ia ho'i, makemake 'oe e ho'ohana i ka ML ke 'ike 'ole 'oe i ka ho'onui 'ana i kāu mau algorithms. Ma ka ʻaoʻao ʻē aʻe, ʻaʻole ʻae ka ʻaoʻao deterministic i ka ʻike ʻana i nā anomalies i manaʻo ʻole ʻia.
- Pono mākou i kahi ala maʻalahi e hoʻāʻo ai i kā mākou hypotheses a i ʻole correlations ma waena o nā metric i ka ʻikepili.
- Pono ka ʻōnaehana i nā pae he nui o nā hopena maikaʻi maoli. ʻO nā hihia hoʻopunipuni he hapa wale nō ia o nā hihia āpau i manaʻo ʻia he maikaʻi no ka ʻōnaehana. No ka laʻana, makemake nā mea loiloi e loaʻa nā hihia kānalua a pau no ka hōʻoia ʻana, a he hapa liʻiliʻi wale nō o lākou he hoʻopunipuni. Pono ka ʻōnaehana e hōʻike pono i nā hihia a pau i ka poʻe loiloi, me ka ʻole o ka hoʻopunipuni maoli a i ʻole ka hana hoʻohuoi wale.
- Hiki i ka paepae ʻikepili ke kiʻi i nā pūʻulu ʻikepili mōʻaukala me nā helu i hana ʻia a helu ʻia ma ka lele.
- E hoʻolālā maʻalahi a maʻalahi i kekahi o nā ʻāpana ʻōnaehana ma kahi liʻiliʻi ʻekolu kaiapuni: hana, hoʻokolohua (beta) a no nā mea hoʻomohala.
- A ʻo ka mea hope loa. Pono mākou e kūkulu i kahi kahua hoʻāʻo hana waiwai e hiki ai iā mākou ke kālailai i kā mākou mau hiʻohiʻona. [4]
kūmole
Source: www.habr.com