E Habr!
ʻO ka ʻikepili ka waiwai nui o ka ʻoihana. Kokoke kēlā me kēia ʻoihana me kahi kikowaena kikohoʻe e haʻi i kēia. He mea paʻakikī ke hoʻopaʻapaʻa me kēia: ʻaʻole i mālama ʻia kahi hālāwai kūkā IT nui me ka ʻole o ke kūkākūkā ʻana i nā ala e hoʻokele ai, mālama a hoʻoili ʻana i ka ʻikepili.
Hiki mai ka ʻikepili iā mākou mai waho mai, hana ʻia nō hoʻi i loko o ka hui, a inā mākou e kamaʻilio e pili ana i ka ʻikepili mai kahi hui telecom, a laila no nā limahana kūloko he hale kūʻai kēia o ka ʻike e pili ana i ka mea kūʻai aku, kona mau makemake, nā maʻamau, a me kona wahi. Me ka hoʻopili pono ʻana a me ka hoʻokaʻawale ʻana, ʻoi aku ka maikaʻi o nā hāʻawi hoʻolaha. Eia naʻe, ma ka hoʻomaʻamaʻa, ʻaʻole nā mea a pau i ka rosy. ʻO ka ʻikepili i mālama ʻia e nā ʻoihana he hope ʻole paha, ʻaʻole i ʻike hou ʻia, a ʻaʻole ʻike ʻia kona ola ʻana e kekahi koe wale nō ka pōʻai haiki o nā mea hoʻohana. ¯_(ツ)_/¯
Ma kahi huaʻōlelo, pono e hoʻokele maikaʻi ʻia ka ʻikepili - a laila e lilo ia i waiwai e lawe mai i nā pono maoli a me ka waiwai i ka ʻoihana. ʻO ka mea pōʻino, ʻo ka hoʻoponopono ʻana i nā pilikia hoʻokele data e pono e lanakila i nā pilikia he nui. ʻO ka mea nui ma muli o ka hoʻoilina mōʻaukala ma ke ʻano o "zoos" o nā ʻōnaehana a me ka nele o nā kaʻina hana a me nā ala i kā lākou hoʻokele. Akā he aha ke ʻano o ka "hoʻokele ʻikepili"?
ʻO kēia ka mea a mākou e kamaʻilio ai ma lalo o ka ʻokiʻoki, a me ke ʻano o ka opensource stack i kōkua iā mākou.
ʻO ka manaʻo o ka hoʻokele data hoʻokele Data Governance (DG) ua ʻike nui ʻia ma ka mākeke Lūkini, a ʻo nā pahuhopu i hoʻokō ʻia e ka ʻoihana ma muli o kāna hoʻokō ʻana ua maopopo a hōʻike maopopo ʻia. ʻAʻole ʻokoʻa kā mākou hui a hoʻonohonoho iā ia iho i ka hana o ka hoʻolauna ʻana i ka manaʻo o ka hoʻokele data.
No laila ma hea mākou i hoʻomaka ai? I ka hoʻomaka ʻana, ua hana mākou i nā pahuhopu nui no mākou iho:
- E mālama pono i kā mākou ʻikepili.
- E hōʻoia i ka maopopo o ke ola ʻikepili.
- Hāʻawi i nā mea hoʻohana ʻoihana me ka ʻikepili paʻa.
- Hāʻawi i nā mea hoʻohana ʻoihana me ka ʻikepili i hōʻoia ʻia.
I kēia lā, aia he ʻumi mau mea hana papa Manaʻo Data ma ka mākeke polokalamu.
Akā ma hope o ka hoʻopaʻa ʻana a me ke aʻo ʻana i nā hopena, ua hoʻopaʻa mākou i kekahi mau manaʻo koʻikoʻi no mākou iho:
- Hāʻawi ka hapa nui o nā mea hana i kahi pūʻulu piha o nā hoʻonā, ʻo ia ka mea no mākou he redundant a hana kope i nā hana i loaʻa. ʻOi aku, pipiʻi ma ke ʻano o nā kumuwaiwai, hoʻohui i ka ʻāina IT o kēia manawa.
- Hoʻolālā ʻia ka hana a me ka interface no nā mea ʻenehana, ʻaʻole nā mea hoʻohana hope ʻoihana.
- ʻO ke ola ola haʻahaʻa o nā huahana a me ka nele o nā hoʻokō kūleʻa ma ka mākeke Lūkini.
- ʻO ke kumukūʻai kiʻekiʻe o ka lako polokalamu a me ke kākoʻo hou aku.
ʻO nā pae hoʻohālike a me nā manaʻo i hōʻike ʻia ma luna e pili ana i ka hoʻokomo ʻana i nā polokalamu lako polokalamu no nā hui Lūkini i hōʻoiaʻiʻo iā mākou e neʻe i kā mākou hoʻomohala ʻana ma kahi waihona opensource. ʻO ke kahua a mākou i koho ai ʻo Django, kahi kumu manuahi a wehe ʻia i kākau ʻia ma Python. A no laila ua ʻike mākou i nā modula nui e kōkua i nā pahuhopu i ʻōlelo ʻia ma luna.
- Kakau o na hoike.
- ʻO ka papa inoa ʻoihana.
- Module no ka wehewehe ʻana i nā hoʻololi ʻenehana.
- Module no ka wehewehe ʻana i ka pōʻaiapili ola ʻikepili mai ke kumu a i ka mea paahana BI.
- Module hoʻomalu maikaʻi ʻikepili.
Kakau o na hoike
Wahi a nā hopena o nā noiʻi kūloko i nā hui nui, i ka wā e hoʻoponopono ai i nā pilikia pili i ka ʻikepili, hoʻohana nā limahana i ka 40-80% o ko lākou manawa e ʻimi ai iā lākou. No laila, hoʻonoho mākou iā mākou iho i ka hana o ka wehe ʻana i ka ʻike e pili ana i nā hōʻike i loaʻa mua i nā mea kūʻai wale nō. No laila, hoʻemi mākou i ka manawa no ka hana ʻana i nā hōʻike hou a hōʻoia i ka democratization o ka ʻikepili.
Ua lilo ka papa inoa hōʻike i puka aniani hōʻike hoʻokahi no nā mea hoʻohana kūloko mai nā ʻāpana like ʻole, nā keʻena, a me nā māhele. Hoʻohui ia i ka ʻike e pili ana i nā lawelawe ʻike i hana ʻia i loko o nā waihona waihona ʻoihana o ka hui, a he nui nā mea i Rostelecom.
Akā ʻaʻole ʻo ka papa inoa kahi papa inoa maloʻo o nā hōʻike i kūkulu ʻia. No kēlā me kēia hōʻike, hāʻawi mākou i ka ʻike e pono ai ka mea hoʻohana e hoʻomaʻamaʻa iā lākou iho:
- wehewehe pōkole o ka hōʻike;
- ka hohonu o ka loaʻa ʻana o ka ʻikepili;
- māhele kūʻai;
- mea paahana nana;
- inoa o ka waihona waihona;
- nā koi hana ʻoihana;
- loulou i ka hōʻike;
- loulou i ka noi no ke komo ʻana;
- kūlana hoʻokō.
Loaʻa ka ʻikepili pae hoʻohana no nā hōʻike, a ua helu ʻia nā hōʻike ma luna o ka papa inoa ma muli o ka loiloi log e pili ana i ka helu o nā mea hoʻohana kūʻokoʻa. A ʻaʻole kēlā. Ma kahi o nā hiʻohiʻona maʻamau, ua hāʻawi pū mākou i kahi wehewehe kikoʻī o ke ʻano hoʻohui o nā hōʻike me nā hiʻohiʻona o nā waiwai a me nā ʻano helu helu. Hāʻawi koke ia ʻano kikoʻī i ka mea hoʻohana i ka pane inā pono ka hōʻike iā ia a ʻaʻole paha.
ʻO ka hoʻomohala ʻana i kēia module he hana koʻikoʻi i ka democratization o ka ʻikepili a hoʻemi nui i ka manawa e loaʻa ai ka ʻike i koi ʻia. Ma waho aʻe o ka hōʻemi ʻana i ka manawa huli, ua emi pū ka nui o nā noi i ka hui kākoʻo e hāʻawi i nā kūkākūkā. ʻAʻole hiki ke ʻike i kahi hopena maikaʻi ʻē aʻe i loaʻa iā mākou ma ka hoʻomohala ʻana i kahi papa inoa hoʻokahi o nā hōʻike - pale i ka hoʻomohala ʻana i nā hōʻike pālua no nā ʻāpana ʻokoʻa.
ʻO ka papa inoa ʻoihana
ʻIke ʻoe a pau i loko o ka hui like, ʻōlelo nā ʻoihana i nā ʻōlelo like ʻole. ʻAe, hoʻohana lākou i nā huaʻōlelo like, akā ʻokoʻa nā manaʻo. Hoʻolālā ʻia kahi papa inoa ʻoihana e hoʻoponopono i kēia pilikia.
No mākou, ʻaʻole he puke kuhikuhi wale ka papa kuhikuhi pāʻoihana me ka wehewehe ʻana i nā huaʻōlelo a me ke ʻano helu helu. He wahi piha kēia no ka hoʻomohala ʻana, ka ʻae ʻana a me ka ʻae ʻana i nā huaʻōlelo, ke kūkulu ʻana i nā pilina ma waena o nā huaʻōlelo a me nā waiwai ʻike ʻē aʻe o ka hui. Ma mua o ke komo ʻana i ka papa inoa ʻoihana, pono e hele ka huaʻōlelo ma nā pae āpau o ka ʻae ʻana me nā mea kūʻai aku ʻoihana a me ke kikowaena o ka ʻikepili. Ma hope wale nō o kēia e hiki ai ke hoʻohana.
E like me kaʻu i kākau ai ma luna, ʻo ke ʻano ʻokoʻa o kēia hāmeʻa ʻo ia ka mea e hiki ai i nā pilina mai ka pae o kahi huaʻōlelo ʻoihana i nā hōʻike mea hoʻohana kikoʻī i hoʻohana ʻia ai, a me ka pae o nā mea ʻikepili kino.
Hoʻohana ʻia kēia ma o ka hoʻohana ʻana i nā huaʻōlelo glossary identifiers ma ka wehewehe kikoʻī o nā hōʻike hoʻopaʻa inoa a me ka wehewehe ʻana i nā mea ʻikepili kino.
I kēia manawa, ʻoi aku ma mua o 4000 mau huaʻōlelo i wehewehe ʻia a ʻae ʻia i loko o ka Glossary. ʻO kāna hoʻohana ʻana e maʻalahi a wikiwiki i ka hana ʻana i nā noi e hiki mai ana no nā loli i nā ʻōnaehana ʻike o ka hui. Inā ua hoʻokō ʻia ka hōʻailona i koi ʻia i kekahi hōʻike, a laila e ʻike koke ka mea hoʻohana i kahi pūʻulu o nā hōʻike i hana ʻia kahi i hoʻohana ʻia ai kēia hōʻailona, a hiki iā ia ke hoʻoholo i ka hoʻohana hou ʻana o ka hana i kēia manawa a i ʻole ka hoʻololi liʻiliʻi, me ka ʻole o ka hoʻomaka ʻana. nā noi hou no ka hoʻomohala ʻana i kahi hōʻike hou.
Module no ka wehewehe ʻana i nā hoʻololi ʻenehana a me DataLineage
He aha kēia mau modules, ke nīnau nei ʻoe? ʻAʻole lawa ka hoʻokō wale ʻana i ka Hōʻike Kākau a me ka Papaʻōlelo; pono nō hoʻi e hoʻopaʻa i nā huaʻōlelo ʻoihana āpau ma ke kumu hoʻohālike kino. No laila, ua hiki iā mākou ke hoʻopau i ke kaʻina hana o ka hana ʻana i ka pōʻai ola ʻikepili mai nā ʻōnaehana kumu a hiki i ka ʻike BI ma o nā papa āpau o ka waihona ʻikepili. I nā huaʻōlelo ʻē aʻe, kūkulu i kahi DataLineage.
Ua hoʻomohala mākou i kahi kikowaena e pili ana i ke ʻano i hoʻohana mua ʻia i ka ʻoihana no ka wehewehe ʻana i nā lula a me ka loiloi o ka hoʻololi ʻana i ka ʻikepili. Hoʻokomo ʻia ka ʻike like ma o ka interface e like me ka wā ma mua, akā ʻo ka wehewehe ʻana o ka huaʻōlelo identifier mai ka papa kuhikuhi ʻoihana ua lilo i mea pono. ʻO kēia ke ala e kūkulu ai mākou i kahi pilina ma waena o ka ʻoihana a me nā papa kino.
ʻO wai ka mea e pono ai? He aha ka hewa o ka palapala kahiko āu i hana ai no kekahi mau makahiki? ʻEhia ka nui o nā koina hana no ka hana ʻana i nā koi? Pono mākou e hana i kēlā mau nīnau i ka wā o ka hoʻokō ʻana i ka mea hana. He mea maʻalahi nā pane ma aneʻi - pono mākou āpau i kēia, ke keʻena ʻikepili o kā mākou hui a me kā mākou mea hoʻohana.
ʻOiaʻiʻo, pono nā limahana e hoʻololi; i ka wā mua, alakaʻi kēia i kahi piʻi iki o nā kumukūʻai hana no ka hoʻomākaukau ʻana i nā palapala, akā ua hoʻoponopono mākou i kēia pilikia. ʻO ka hoʻomaʻamaʻa, ka ʻike ʻana a me ka ʻimi ʻana i nā wahi pilikia i hana i kā lākou hana. Ua hoʻokō mākou i ka mea nui - ua hoʻomaikaʻi mākou i ka maikaʻi o nā koi i kūkulu ʻia. ʻO nā māla pono, nā puke kuhikuhi i hui pū ʻia, nā masks komo, nā loiloi i kūkulu ʻia - hiki i kēia mau mea ke hoʻomaikaʻi nui i ka maikaʻi o nā wehewehe hoʻololi. Ua neʻe mākou mai ka hoʻomaʻamaʻa ʻana i ka hāʻawi ʻana i nā palapala e like me nā koi hoʻomohala a me ka ʻike like ʻana i loaʻa wale i ka hui hoʻomohala. ʻO ka ʻikepili metadata i hana ʻia e hōʻemi nui i ka manawa i koi ʻia e hana i ka loiloi regression a hāʻawi i ka hiki ke loiloi wikiwiki i ka hopena o nā loli i kēlā me kēia papa o ka ʻāina IT (hōʻike hōʻike, hōʻuluʻulu, kumu).
He aha ka pili o kēia me nā mea hoʻohana maʻamau o nā hōʻike, he aha nā mea maikaʻi no lākou? Mahalo i ka hiki ke kūkulu i DataLineage, ʻo kā mākou mea hoʻohana, ʻo ka poʻe mamao loa mai SQL a me nā ʻōlelo papahana ʻē aʻe, e loaʻa koke i ka ʻike e pili ana i nā kumu a me nā mea ma ke kumu i hana ʻia ai kahi hōʻike.
ʻIkepili Mana Mana Mana
ʻO nā mea a pau a mākou i kamaʻilio ai ma luna e pili ana i ka hōʻoia ʻana i ka ʻike ʻikepili ʻaʻole ia he mea nui me ka ʻole o ka hoʻomaopopo ʻana he pololei ka ʻikepili a mākou e hāʻawi ai i nā mea hoʻohana. ʻO kekahi o nā modula koʻikoʻi o kā mākou Manaʻo Manaʻo ʻIkepili ʻo ia ka ʻōnaehana mana o ka ʻikepili.
I kēia manawa, he papa helu kēia o nā loiloi no nā mea i koho ʻia. ʻO ka pahuhopu koke no ka hoʻomohala huahana ʻo ia ka hoʻonui ʻana i ka papa inoa o nā loiloi a hoʻohui pū me ka papa inoa hōʻike.
He aha ka mea e hāʻawi ai a iā wai? Hiki i ka mea hoʻohana hope o ke kākau inoa ke loaʻa i ka ʻike e pili ana i nā lā i hoʻolālā ʻia a me nā lā maoli o ka mākaukau hōʻike, nā hopena o nā loiloi i hoʻopau ʻia me ka dinamika, a me ka ʻike e pili ana i nā kumu i hoʻouka ʻia i loko o ka hōʻike.
No mākou, ʻo ka module quality data i hoʻohui ʻia i kā mākou kaʻina hana:
- Hoʻokumu koke i nā manaʻo o ka mea kūʻai aku.
- Hoʻoholo i ka hoʻohana hou ʻana i ka ʻikepili.
- Loaʻa i kahi hoʻonohonoho mua o nā wahi pilikia ma nā pae mua o ka hana no ka hoʻomohala ʻana i nā mana maikaʻi maʻamau.
ʻOiaʻiʻo, ʻo kēia nā ʻanuʻu mua i ke kūkulu ʻana i kahi kaʻina hoʻokele ʻikepili piha. Akā, ke hilinaʻi nei mākou ma ka hana wale ʻana i kēia hana, me ka hoʻokomo ikaika ʻana i nā mea hoʻokele Data Governance i loko o ke kaʻina hana, e hāʻawi mākou i kā mākou mea kūʻai aku me ka ʻike ʻike, kahi kiʻekiʻe o ka hilinaʻi i ka ʻikepili, ʻike maopopo i kā lākou loaʻa a hoʻonui i ka wikiwiki o ka wehe ʻana. hana hou.
Pūʻulu DataOffice
Source: www.habr.com