ምን ሌሎች ሂደቶች በራስ ሰር ሊደረጉ እንደሚችሉ ሀሳቦች እና ስብሰባዎች በየቀኑ የተለያየ መጠን ባላቸው ንግዶች ይነሳሉ ። ነገር ግን ሞዴል ለመፍጠር ብዙ ጊዜ ሊጠፋ ከሚችለው እውነታ በተጨማሪ እሱን በመገምገም እና ውጤቱ በዘፈቀደ አለመሆኑን በመፈተሽ ማሳለፍ ያስፈልግዎታል። ከትግበራ በኋላ, ማንኛውም ሞዴል ቁጥጥር እና በየጊዜው መፈተሽ አለበት.
እና እነዚህ መጠኖች ምንም ቢሆኑም በማንኛውም ኩባንያ ውስጥ ማለፍ ያለብዎት ሁሉም ደረጃዎች ናቸው። ስለ Sberbank ልኬት እና ቅርስ እየተነጋገርን ከሆነ ፣የጥሩ ማስተካከያዎች ብዛት በከፍተኛ ሁኔታ ይጨምራል። እ.ኤ.አ. በ 2019 መገባደጃ ላይ Sberbank ቀድሞውኑ ከ 2000 በላይ ሞዴሎችን ተጠቅሟል። ሞዴልን ማዘጋጀት ብቻ በቂ አይደለም, ከኢንዱስትሪ ስርዓቶች ጋር መቀላቀል, ሞዴሎችን ለመገንባት የውሂብ ማርቶችን ማዘጋጀት እና በክላስተር ላይ ያለውን አሠራር መቆጣጠር አስፈላጊ ነው.
ቡድናችን የ Sber.DS መድረክን እያዘጋጀ ነው. የማሽን መማሪያ ችግሮችን እንዲፈቱ ይፈቅድልዎታል, መላምቶችን የመሞከር ሂደትን ያፋጥናል, በመርህ ደረጃ ሞዴሎችን የማዘጋጀት እና የማረጋገጥ ሂደትን ቀላል ያደርገዋል, እንዲሁም በ PROM ውስጥ የአምሳያው ውጤት ይቆጣጠራል.
የሚጠብቁትን ላለማታለል, ይህ ልኡክ ጽሁፍ መግቢያ እንደሆነ አስቀድሜ መናገር እፈልጋለሁ, እና በቆራጩ ስር, ለመጀመር ያህል, በመሠረቱ በ Sber.DS መድረክ ስር ስላለው ነገር ይነገራል. ስለ ሞዴል የሕይወት ዑደት ታሪኩን ከፍጥረት እስከ ትግበራ ለየብቻ እንነጋገራለን.
Sber.DS በርካታ ክፍሎችን ያቀፈ ነው, ዋናዎቹ የቤተ-መጻህፍት, የእድገት ስርዓት እና የሞዴል አፈፃፀም ስርዓት ናቸው.
ቤተ መፃህፍቱ የሞዴሉን የህይወት ኡደት የሚቆጣጠረው ሃሳቡን ለማዳበር ሃሳቡን ከጀመረበት ጊዜ ጀምሮ በPROM, ክትትል እና ማቋረጥ ላይ እስከሚታይ ድረስ ነው. ብዙ የቤተ መፃህፍቱ ገፅታዎች በተቆጣጣሪው ህጎች የተደነገጉ ናቸው ፣ ለምሳሌ ፣ የስልጠና እና የማረጋገጫ ናሙናዎችን ሪፖርት ማድረግ እና ማከማቸት። በእውነቱ, ይህ የሁሉም ሞዴሎቻችን መዝገብ ነው.
የእድገት ስርዓቱ ለሞዴሎች እና የማረጋገጫ ዘዴዎች ምስላዊ እድገት የታሰበ ነው። የተዘጋጁት ሞዴሎች የመጀመሪያ ደረጃ ማረጋገጫን ያካሂዳሉ እና የንግድ ሥራ ተግባራቸውን ለማከናወን ወደ አፈጻጸም ሥርዓት ይላካሉ. እንዲሁም በአፈፃፀሙ ስርዓት ውስጥ ሞዴሉን ሥራውን ለመቆጣጠር በየጊዜው የማረጋገጫ ዘዴዎችን ለማስጀመር ሞዴሉን በመቆጣጠሪያው ላይ ማስቀመጥ ይቻላል.
በስርዓቱ ውስጥ በርካታ አይነት አንጓዎች አሉ. አንዳንዶቹ ከተለያዩ የመረጃ ምንጮች ጋር ለመገናኘት የተነደፉ ናቸው, ሌሎች - የምንጭ ውሂብን ለመለወጥ እና ለማበልጸግ (ምልክት ማድረግ). ለማረጋገጫቸው የተለያዩ ሞዴሎችን እና አንጓዎችን ለመገንባት ብዙ አንጓዎች አሉ። ገንቢው ከማንኛውም ምንጮች ውሂብን መጫን፣ መለወጥ፣ ማጣራት፣ መካከለኛ ውሂብን ማየት፣ ወደ ክፍሎች መከፋፈል ይችላል።
መድረኩ ወደ ፕሮጀክቱ አካባቢ ሊጎተቱ የሚችሉ ዝግጁ የሆኑ ሞጁሎችንም ይዟል። ሁሉም እርምጃዎች የሚከናወኑት ምስላዊ በይነገጽ በመጠቀም ነው። እንደ እውነቱ ከሆነ, ያለ አንድ መስመር ኮድ ችግሩን መፍታት ይችላሉ.
አብሮ የተሰሩ ችሎታዎች በቂ ካልሆኑ ስርዓቱ የራስዎን ሞጁሎች በፍጥነት የመፍጠር ችሎታን ይሰጣል። እኛ ላይ የተመሠረተ የተቀናጀ ልማት ሁነታ አድርገናል ከባዶ አዲስ ሞጁሎችን ለሚፈጥሩ.
የ Sber.DS አርክቴክቸር በማይክሮ ሰርቪስ ላይ የተገነባ ነው። ማይክሮ አገልግሎቶች ምን እንደሆኑ ብዙ አስተያየቶች አሉ። አንዳንድ ሰዎች ሞኖሊቲክ ኮድን ወደ ክፍሎች መከፋፈል በቂ ነው ብለው ያስባሉ, ግን አሁንም ወደ ተመሳሳይ የውሂብ ጎታ ይሄዳሉ. የእኛ ማይክሮ ሰርቪስ ከሌላ ማይክሮ አገልግሎት ጋር በREST API ብቻ መገናኘት አለበት። የውሂብ ጎታውን በቀጥታ ለማግኘት ምንም መፍትሔዎች የሉም።
አገልግሎቶች በጣም ትልቅ እና ቀርፋፋ እንዳይሆኑ ለማድረግ እንሞክራለን፡ አንድ ምሳሌ ከ4-8 ጊጋባይት ራም መብለጥ የለበትም እና አዳዲስ አጋጣሚዎችን በማስጀመር ጥያቄዎችን በአግድም ማመጣጠን መቻል አለበት። እያንዳንዱ አገልግሎት ከሌሎች ጋር የሚገናኘው በREST ኤፒአይ ብቻ ነው (). የአገልግሎቱ ኃላፊነት ያለው ቡድን ኤፒአይውን እስከ ሚጠቀምበት የመጨረሻው ደንበኛ ድረስ ተኳሃኝ ሆኖ እንዲቆይ ማድረግ ይጠበቅበታል።
የመተግበሪያው ዋና ነገር በጃቫ የተጻፈው የፀደይ ማዕቀፍን በመጠቀም ነው። መፍትሄው በመጀመሪያ የተነደፈው በደመና መሠረተ ልማት ውስጥ በፍጥነት ለማሰማራት ነው, ስለዚህ አፕሊኬሽኑ የተገነባው በኮንቴይነር ሲስተም በመጠቀም ነው (). የመሳሪያ ስርዓቱ ያለማቋረጥ እያደገ ነው, ሁለቱም የንግድ ተግባራትን በመጨመር (አዲስ ማገናኛዎች, አውቶኤምኤል ተጨምረዋል), እና በቴክኖሎጂ ቅልጥፍና.
ከመድረክያችን "ቺፕስ" አንዱ በማንኛውም የ Sberbank ሞዴል ማስፈጸሚያ ስርዓት ላይ በእይታ በይነገጽ ውስጥ የተሰራውን ኮድ ማስኬድ መቻላችን ነው። አሁን ሁለቱ ቀድሞውኑ አሉ-አንዱ Hadoop ላይ ፣ ሌላኛው በOpenShift (Docker) ላይ። እዚያ አናቆምም እና በማንኛውም መሠረተ ልማት ላይ ኮድ ለማስኬድ የመዋሃድ ሞጁሎችን እንፈጥራለን፣ በግቢው ውስጥ እና በደመና ውስጥ ጨምሮ። በ Sberbank ሥነ-ምህዳር ውስጥ ውጤታማ በሆነ መልኩ የመዋሃድ እድሎችን በተመለከተ፣ አሁን ካሉ የሩጫ አካባቢዎች ጋር ለመስራት እቅድ አለን ። ለወደፊቱ, መፍትሄው በተለዋዋጭ "ከሳጥኑ ውስጥ" በማንኛውም ድርጅት ውስጥ በማንኛውም የመሬት ገጽታ ውስጥ ሊጣመር ይችላል.
በPROM ውስጥ Python ላይ Hadoopን የሚያስኬድ መፍትሄን ለመጠበቅ የሞከሩ ሰዎች ለእያንዳንዱ ዳታኖድ ብጁ የፓይቶን አካባቢን ማዘጋጀት እና ማድረስ በቂ እንዳልሆነ ያውቃሉ። የፓይዘን ሞጁሎችን የሚጠቀሙ እጅግ በጣም ብዙ የC / C ++ ቤተ-መጽሐፍት ለማሽን መማር በሰላም እንዲያርፉ አይፈቅድልዎትም ። ቀደም ሲል ከተተገበረ የሞዴል ኮድ ጋር የኋሊት ተኳሃኝነትን እየጠበቅን አዲስ ቤተ-መጽሐፍት ወይም አገልጋዮችን ስንጨምር ፓኬጆችን ማዘመን መዘንጋት የለብንም ።
ይህንን እንዴት ማድረግ እንደሚቻል በርካታ መንገዶች አሉ። ለምሳሌ፣ ብዙ በተደጋጋሚ ጥቅም ላይ የዋሉ ቤተ-መጻሕፍትን አስቀድመው ያዘጋጁ እና በPROM ውስጥ ይተግብሩ። የCloudera's Hadoop ስርጭት አብዛኛውን ጊዜ ይጠቀማል . እንዲሁም አሁን በሃዱፕ ውስጥ ለመሮጥ እድሉ አለ። - መያዣዎች. በአንዳንድ ቀላል ሁኔታዎች ኮዱን ከጥቅሉ ጋር ማድረስ ይቻላል .
ባንኩ የሶስተኛ ወገን ኮድን የማስኬድ ደህንነትን በጣም በቁም ነገር ይወስደዋል፣ስለዚህ በገለልተኛ አካባቢ የሚሰራውን የሊኑክስ ከርነል አዲሶቹን ባህሪያት እንጠቀማለን , ለምሳሌ የአውታረ መረብ እና የአካባቢ ዲስክ መዳረሻን መገደብ ይችላሉ, ይህም ተንኮል አዘል ኮድ የመፍጠር እድልን በእጅጉ ይቀንሳል. የእያንዳንዱ ዲፓርትመንት የመረጃ ቦታዎች የተጠበቁ ናቸው እና ለዚያ ውሂብ ባለቤቶች ብቻ ይገኛሉ። የመሳሪያ ስርዓቱ ከአንድ ጎራ የመጣ መረጃ ወደ ሌላ ጎራ መግባት የሚችለው በመረጃ ማተም ሂደት ብቻ መሆኑን ያረጋግጣል።
በዚህ አመት በ Python/R/Java በ Hadoop የተፃፉ የሩጫ ሞዴሎችን MVP ለማጠናቀቅ አቅደናል። የመድረክን ተጠቃሚዎችን በምንም መንገድ ላለመገደብ ራሳችንን በሃዱፕ ላይ ማንኛውንም የተጠቃሚ አካባቢን እንዴት ማስኬድ እንዳለብን የመማር ትልቅ ስራ አዘጋጅተናል።
በተጨማሪም ፣ እንደ ተለወጠ ፣ ብዙ የ DS ስፔሻሊስቶች በሂሳብ እና በስታቲስቲክስ ጥሩ ናቸው ፣ ጥሩ ሞዴሎችን ያደርጋሉ ፣ ግን በትላልቅ የመረጃ ለውጦች ላይ በደንብ የተማሩ አይደሉም ፣ እና የስልጠና ናሙናዎችን ለማዘጋጀት የእኛን የመረጃ መሐንዲሶች እርዳታ ይፈልጋሉ ። ባልደረቦቻችንን ለመርዳት እና ለተለመደው ለውጥ እና በስፓርክ ሞተር ላይ ሞዴሎችን ለማዘጋጀት ምቹ ሞጁሎችን ለመፍጠር ወስነናል። ይህ ሞዴሎችን ለማዳበር እና የውሂብ መሐንዲሶች አዲስ የውሂብ ስብስብ ለማዘጋጀት እንዳይጠብቁ ተጨማሪ ጊዜን ይፈቅዳል።
በተለያዩ አካባቢዎች እውቀት ያላቸው ሰዎች አሉን ሊኑክስ እና ዴቭኦፕስ፣ ሃዱፕ እና ስፓርክ፣ ጃቫ እና ስፕሪንግ፣ ስካላ እና አካ፣ ኦፕንሺፍት እና ኩበርኔትስ። በሚቀጥለው ጊዜ ስለ ሞዴሎች ቤተ-መጽሐፍት እንነጋገራለን, ሞዴሉ በኩባንያው ውስጥ ያለውን የሕይወት ዑደት እንዴት እንደሚያልፍ, ማረጋገጫ እና ትግበራ እንዴት እንደሚካሄድ.
ምንጭ: hab.com