ላለፉት ስድስት ወራት ያህል ማጭበርበርን (ማጭበርበርን, ማጭበርበርን, ወዘተ) ለመዋጋት ምንም ዓይነት የመጀመሪያ መሠረተ ልማት ሳይኖር ቆይቻለሁ. በስርዓታችን ውስጥ ያገኘናቸው እና ተግባራዊ ያደረግናቸው የዛሬዎቹ ሃሳቦች ብዙ የተጭበረበሩ ድርጊቶችን ለመለየት እና ለመተንተን ይረዱናል። በዚህ ጽሑፍ ውስጥ ወደ ቴክኒካዊ ክፍሉ ሳንሄድ ስለተከተልናቸው መርሆዎች እና አሁን ያለውን የስርዓታችንን ሁኔታ ለማሳካት ምን እንዳደረግን መናገር እፈልጋለሁ.
የእኛ ስርዓት መርሆዎች
እንደ “አውቶማቲክ” እና “ማጭበርበር” ያሉ ቃላትን ስትሰማ ስለ ማሽን ትምህርት፣ Apache Spark፣ Hadoop፣ Python፣ Airflow እና ሌሎች ከApache Foundation ስነ-ምህዳር እና ከዳታ ሳይንስ መስክ ስለማሽን መማር ማሰብ ትጀምራለህ። እኔ እንደማስበው እነዚህን መሳሪያዎች የመጠቀም አንድ ገጽታ ብዙ ጊዜ ያልተጠቀሰ፡ እነሱን መጠቀም ከመጀመርዎ በፊት በድርጅትዎ ስርዓት ውስጥ የተወሰኑ ቅድመ ሁኔታዎችን ይፈልጋሉ። በአጭሩ የውሂብ ሐይቅን እና መጋዘንን የሚያካትት የድርጅት ውሂብ መድረክ ያስፈልግዎታል። ግን እንደዚህ አይነት መድረክ ከሌለዎት እና አሁንም ይህንን አሰራር ማዳበር ቢፈልጉስ? ከዚህ በታች የማካፍላቸው የሚከተሉት መርሆዎች የሚጠቅም ከማግኘት ይልቅ ሃሳቦቻችንን በማሻሻል ላይ እንድናተኩር ረድተውናል። ሆኖም ይህ የፕሮጀክት አምባ አይደለም። አሁንም በእቅዱ ውስጥ ከቴክኖሎጂ እና የምርት እይታ አንጻር ብዙ ነገሮች አሉ።
መርህ 1፡ የንግድ ዋጋ መጀመሪያ
"የንግድ ዋጋ" በሁሉም ጥረቶች ግንባር ላይ እናስቀምጣለን. በአጠቃላይ ማንኛውም አውቶማቲክ ትንተና ስርዓት ከፍተኛ ደረጃ አውቶማቲክ እና ቴክኒካዊ ውስብስብነት ያለው ውስብስብ ስርዓቶች ቡድን ነው. ከባዶ ከፈጠሩት የተሟላ መፍትሄ መፍጠር ብዙ ጊዜ ይወስዳል። በመጀመሪያ የንግድ ሥራ ዋጋን እና የቴክኖሎጂ ምሉዕነትን ሁለተኛ ለማድረግ ወሰንን. በእውነተኛ ህይወት ይህ ማለት የላቀ ቴክኖሎጂን እንደ ዶግማ አንቀበልም ማለት ነው። በአሁኑ ጊዜ የሚጠቅመንን ቴክኖሎጂ እንመርጣለን። በጊዜ ሂደት አንዳንድ ሞጁሎችን እንደገና መተግበር ያለብን ሊመስል ይችላል። ይህ የተቀበልነው ስምምነት ነው።
መርህ 2፡ የተሻሻለ የማሰብ ችሎታ
የማሽን መማሪያ መፍትሄዎችን በማዘጋጀት ላይ በጥልቅ ያልተሳተፉ አብዛኛዎቹ ሰዎች ሰዎችን መተካት ግቡ ነው ብለው ሊያስቡ ይችላሉ። እንደ እውነቱ ከሆነ የማሽን መማሪያ መፍትሄዎች ፍፁም አይደሉም እና በተወሰኑ አካባቢዎች ብቻ መተካት ይቻላል. ይህንን ሃሳብ ከጅምሩ ውድቅ ያደረግነው በብዙ ምክንያቶች፡- በተጭበረበረ እንቅስቃሴ ላይ ያልተመጣጠነ መረጃ እና የማሽን መማሪያ ሞዴሎች አጠቃላይ ባህሪያትን ዝርዝር ማቅረብ አለመቻል። በአንጻሩ የተሻሻለውን የማሰብ ችሎታ አማራጭ መርጠናል:: ይህ የአርቴፊሻል ኢንተለጀንስ አማራጭ ፅንሰ-ሀሳብ ሲሆን በአይ ደጋፊነት ሚና ላይ ያተኮረ ሲሆን ይህም የእውቀት (ኮግኒቲቭ) ቴክኖሎጂዎች የሰው ልጅን ከመተካት ይልቅ የማሰብ ችሎታን ለማጎልበት የታቀዱ መሆናቸውን በማጉላት ነው. [1]
ይህንን ከግምት ውስጥ በማስገባት ከመጀመሪያው ጀምሮ የተሟላ የማሽን መማሪያ መፍትሄ ማዘጋጀት ከፍተኛ ጥረት ይጠይቃል, ይህም ለንግድ ስራችን ዋጋ መፈጠርን ያዘገያል. በእኛ የጎራ ባለሞያዎች መሪነት በየጊዜው እያደገ የማሽን መማሪያ ገጽታ ያለው ስርዓት ለመገንባት ወስነናል። እንዲህ ዓይነቱን ሥርዓት የመዘርጋቱ ፈታኝ ክፍል የተጭበረበረ ተግባር ነው ወይስ አይደለም የሚለውን ብቻ ሳይሆን ተንታኞቻችንን ጉዳዮች ማቅረብ ይኖርበታል። በአጠቃላይ፣ በደንበኛ ባህሪ ውስጥ ያለ ማንኛውም ያልተለመደ ሁኔታ ስፔሻሊስቶች መመርመር እና በሆነ መንገድ ምላሽ ሊሰጡበት የሚገባ አጠራጣሪ ጉዳይ ነው። ከእነዚህ ከተዘገቡት ጉዳዮች ውስጥ ጥቂቱ ብቻ በእውነቱ እንደ ማጭበርበር ሊመደቡ ይችላሉ።
መርህ 3፡ የበለጸገ ትንታኔ መድረክ
በጣም ፈታኙ የስርዓታችን ክፍል የስርዓቱን የስራ ሂደት ከጫፍ እስከ ጫፍ ማረጋገጥ ነው። ተንታኞች እና ገንቢዎች ለመተንተን ጥቅም ላይ ከሚውሉት ሁሉም መለኪያዎች ጋር በቀላሉ ታሪካዊ የውሂብ ስብስቦችን ማግኘት አለባቸው። በተጨማሪም የመረጃ መድረኩ ነባር የልኬቶችን ከአዳዲስ ጋር ለማሟላት ቀላል መንገድ ማቅረብ አለበት። የምንፈጥራቸው ሂደቶች፣ እና እነዚህ የሶፍትዌር ሂደቶች ብቻ አይደሉም፣ ያለፉትን ጊዜያት በቀላሉ እንድናሰላ፣ አዳዲስ መለኪያዎች እንድንጨምር እና የውሂብ ትንበያውን እንድንለውጥ መፍቀድ አለባቸው። ይህን ማሳካት የምንችለው የምርት ስርዓታችን የሚያመነጨውን ሁሉንም መረጃዎች በማሰባሰብ ነው። በዚህ ሁኔታ, መረጃው ቀስ በቀስ አስጨናቂ ይሆናል. የማንጠቀምባቸውን እና የምንጠብቀው እየጨመረ የሚሄደውን ውሂብ ማከማቸት አለብን። በእንደዚህ ዓይነት ሁኔታ ውስጥ፣ መረጃ ከጊዜ ወደ ጊዜ አግባብነት የሌለው እየሆነ ይሄዳል፣ ግን እሱን ለማስተዳደር አሁንም ጥረታችንን ይጠይቃል። ለእኛ፣ የውሂብ መከማቸት ትርጉም የለውም፣ ስለዚህ የተለየ አካሄድ ለመውሰድ ወሰንን። እኛ ለመመደብ በምንፈልጋቸው የዒላማ አካላት ዙሪያ ቅጽበታዊ የውሂብ ማከማቻዎችን ለማደራጀት ወስነናል እና በጣም የቅርብ ጊዜ እና ተዛማጅ ጊዜዎችን ለመመልከት የሚያስችለንን ውሂብ ብቻ ለማከማቸት ወስነናል። የዚህ ጥረት ተግዳሮት የእኛ ስርዓታችን የተለያዩ የመረጃ ማከማቻዎች እና የሶፍትዌር ሞጁሎች ያሉት ሲሆን ተከታታይነት ባለው መልኩ ለመስራት ጥንቃቄ የተሞላበት እቅድ ማውጣት ነው።
የስርዓታችን ንድፍ ጽንሰ-ሐሳቦች
በስርዓታችን ውስጥ አራት ዋና ዋና ክፍሎች አሉን እነሱም የኢንጀንስ ሲስተም ፣ ስሌት ፣ BI ትንተና እና መከታተያ ስርዓት። የተለዩ፣ የተናጠል ዓላማዎችን ያገለግላሉ፣ እና የተወሰኑ የንድፍ አቀራረቦችን በመከተል እንዲገለሉ እናደርጋለን።
በውል ላይ የተመሰረተ ንድፍ
በመጀመሪያ ደረጃ, አካላት በመካከላቸው በሚተላለፉ አንዳንድ የውሂብ አወቃቀሮች (ኮንትራቶች) ላይ ብቻ መታመን እንዳለባቸው ተስማምተናል. ይህ በመካከላቸው እንዲዋሃድ እና የተወሰነ ስብጥር (እና ቅደም ተከተል) ክፍሎችን እንዳይጭን ያደርገዋል። ለምሳሌ, በአንዳንድ ሁኔታዎች ይህ የመግቢያ ስርዓቱን ከማንቂያ መከታተያ ስርዓት ጋር በቀጥታ ለማዋሃድ ያስችለናል. በእንደዚህ ዓይነት ሁኔታ, ይህ የሚከናወነው በተስማማው የማንቂያ ውል መሰረት ነው. ይህም ማለት ማንኛውም ሌላ አካል ሊጠቀምበት የሚችለውን ውል በመጠቀም ሁለቱም አካላት ይዋሃዳሉ ማለት ነው። የክትትል ስርዓቱን ከግብዓት ስርዓቱ ላይ ማንቂያዎችን ለመጨመር ተጨማሪ ውል አንጨምርም። ይህ አካሄድ አስቀድሞ የተወሰነ አነስተኛ ቁጥር ያላቸውን ኮንትራቶች መጠቀምን ይጠይቃል እና ስርዓቱን እና ግንኙነቶችን ያቃልላል። በመሰረቱ፣ "የኮንትራት የመጀመሪያ ዲዛይን" የሚባል አካሄድ ወስደን ወደ ዥረት ኮንትራቶች እንተገብራለን። [2]
በሁሉም ቦታ በዥረት መልቀቅ
በስርአት ውስጥ ያለውን ሁኔታ ማዳን እና ማስተዳደር በአተገባበሩ ላይ ወደ ውስብስብ ችግሮች መፈጠሩ የማይቀር ነው። በአጠቃላይ ግዛት ከማንኛውም አካል ተደራሽ መሆን አለበት, ወጥነት ያለው እና በሁሉም ክፍሎች ውስጥ በጣም ወቅታዊውን ዋጋ የሚያቀርብ እና ከትክክለኛዎቹ እሴቶች ጋር አስተማማኝ መሆን አለበት. በተጨማሪም፣ የቅርብ ጊዜውን ሁኔታ ለማምጣት ወደ ቋሚ ማከማቻ ጥሪ ማድረግ የI/O ኦፕሬሽኖች ብዛት እና በእውነተኛ ጊዜ የቧንቧ መስመሮቻችን ውስጥ ጥቅም ላይ የሚውሉ ስልተ ቀመሮችን ይጨምራል። በዚህ ምክንያት የስቴት ማከማቻን ከተቻለ ሙሉ በሙሉ ከስርዓታችን ለማስወገድ ወስነናል። ይህ አካሄድ ሁሉም አስፈላጊ መረጃዎች በሚተላለፈው የመረጃ እገዳ (መልእክት) ውስጥ እንዲካተቱ ይጠይቃል። ለምሳሌ, የአንዳንድ ምልከታዎችን ጠቅላላ ቁጥር (የኦፕሬሽኖች ብዛት ወይም የተወሰኑ ባህሪያት ያላቸው ጉዳዮችን) ማስላት ካስፈለገን, በማህደረ ትውስታ ውስጥ እናሰላለን እና የእንደዚህ አይነት እሴቶችን ፍሰት እንፈጥራለን. ጥገኛ ሞጁሎች ዥረቱን ወደ አካላት ለመከፋፈል እና በቅርብ ጊዜ እሴቶች ላይ ለመስራት ክፍልፋይ እና ባቲንግ ይጠቀማሉ። ይህ አቀራረብ ለእንደዚህ ዓይነቱ መረጃ የማያቋርጥ የዲስክ ማከማቻ አስፈላጊነትን አስቀርቷል። ስርዓታችን ካፍካን እንደ መልእክት ደላላ ይጠቀማል እና ከKSQL ጋር እንደ ዳታቤዝ ሊያገለግል ይችላል። [3] ነገር ግን እሱን መጠቀም የእኛን መፍትሄ ለካፍ በጣም ያቆራኝ ነበር, እና እሱን ላለመጠቀም ወሰንን. የመረጥነው አካሄድ በስርአቱ ላይ ትልቅ የውስጥ ለውጥ ሳናደርግ ካፍካን በሌላ መልእክት ደላላ ለመተካት ያስችለናል።
ይህ ጽንሰ-ሐሳብ የዲስክ ማከማቻ እና የውሂብ ጎታዎችን አንጠቀምም ማለት አይደለም. የስርዓት አፈፃፀምን ለመፈተሽ እና ለመተንተን, የተለያዩ ልኬቶችን እና ግዛቶችን የሚወክል ከፍተኛ መጠን ያለው ውሂብ በዲስክ ላይ ማከማቸት አለብን. እዚህ ያለው አስፈላጊ ነጥብ የእውነተኛ ጊዜ ስልተ ቀመሮች በእንደዚህ አይነት መረጃ ላይ የተመካ አይደለም. በአብዛኛዎቹ አጋጣሚዎች የተከማቸ መረጃን ከመስመር ውጭ ትንተና፣ ማረም እና የተወሰኑ ጉዳዮችን እና ስርዓቱ የሚያመጣቸውን ውጤቶች ለመከታተል እንጠቀማለን።
የስርዓታችን ችግሮች
በተወሰነ ደረጃ የፈታናቸው አንዳንድ ችግሮች አሉ ነገር ግን የበለጠ የታሰበባቸው መፍትሄዎችን ይፈልጋሉ። አሁን እዚህ ላይ ልጠቅሳቸው እወዳለሁ ምክንያቱም እያንዳንዱ ነጥብ የራሱ ጽሑፍ ዋጋ አለው.
- አሁንም ለራስ-ሰር የመረጃ ትንተና፣ግኝት እና አሰሳ ትርጉም ያለው እና ተዛማጅነት ያለው ውሂብ መከማቸትን የሚደግፉ ሂደቶችን እና ፖሊሲዎችን መግለፅ አለብን።
- የሰውን ትንታኔ ማካተት ስርዓቱን በቅርብ ጊዜ መረጃ ለማዘመን በራስ-ሰር የማዋቀር ሂደትን ያስከትላል። ይህ የእኛን ሞዴል ማዘመን ብቻ ሳይሆን ሂደቶቻችንን ማዘመን እና ስለእኛ መረጃ ያለንን ግንዛቤ ማሻሻል ነው።
- በIF-ELSE እና ML ቆራጥ አቀራረብ መካከል ሚዛን መፈለግ። አንድ ሰው፣ “ML ተስፋ ለቆረጡ ሰዎች መሣሪያ ነው” አለ። ይህ ማለት የእርስዎን ስልተ ቀመሮች እንዴት እንደሚያሻሽሉ እና እንደሚያሻሽሉ ካልተረዱ ኤምኤልን መጠቀም ይፈልጋሉ ማለት ነው። በሌላ በኩል, የመወሰኛ አቀራረብ ያልተጠበቁ ያልተለመዱ ነገሮችን ለይቶ ለማወቅ አይፈቅድም.
- በመረጃው ውስጥ ባሉ ልኬቶች መካከል ያለንን መላምት ለመፈተሽ ቀላል መንገድ እንፈልጋለን።
- ስርዓቱ በርካታ ደረጃዎች እውነተኛ አወንታዊ ውጤቶች ሊኖሩት ይገባል። የማጭበርበር ጉዳዮች ለስርአቱ አወንታዊ ተብለው ሊወሰዱ ከሚችሉት ሁሉም ጉዳዮች ጥቂቶቹ ናቸው። ለምሳሌ, ተንታኞች ለማረጋገጫ ሁሉንም አጠራጣሪ ጉዳዮች መቀበል ይፈልጋሉ, እና ከእነሱ ውስጥ ትንሽ ክፍል ብቻ ማጭበርበሮች ናቸው. ትክክለኛው ማጭበርበር ወይም አጠራጣሪ ባህሪ ምንም ይሁን ምን ስርዓቱ ሁሉንም ጉዳዮች ለተንታኞች ማቅረብ አለበት።
- የመረጃ መድረኩ የታሪካዊ ዳታ ስብስቦችን በተፈጠሩ እና በበረራ ላይ በሚሰላ ስሌት ማምጣት መቻል አለበት።
- ማናቸውንም የስርዓት ክፍሎችን ቢያንስ በሶስት የተለያዩ አካባቢዎች በቀላሉ እና በራስ-ሰር ያሰማሩ፡ ምርት፣ የሙከራ (ቤታ) እና ለገንቢዎች።
- እና የመጨረሻው ግን ትንሽ አይደለም. ሞዴሎቻችንን የምንመረምርበት የበለፀገ የአፈፃፀም ሙከራ መድረክ መገንባት አለብን። [4]
ማጣቀሻዎች
ምንጭ: hab.com