የብሉምበርግ ማከማቻ ድጋፍ ቡድን በክፍት ምንጭ እና በኤስዲኤስ ላይ የተመሰረተ ነው።

TL; DRየብሉምበርግ ስቶሬጅ ኢንጂነሪንግ ቡድን የመሠረተ ልማት አውታሮችን የማያስተጓጉል እና ወረርሽኙ በተከሰተበት ወቅት የሚታየውን የግብይት ተለዋዋጭነት የሚቋቋም የደመና ማከማቻ ለውስጥ አገልግሎት ፈጠረ።

ማቲው ሊዮናርድ በብሉምበርግ ማከማቻ ኢንጂነሪንግ ቡድን ውስጥ እንደ ቴክኒካል ማኔጀር ሆኖ ስለሰራው ስራ ሲናገር ብዙ ጊዜ "ፈታኝ" እና "አዝናኝ" የሚሉትን ቃላት ይጠቀማል። ተግዳሮቶቹ የሚነሱት ከሰፊው የማከማቻ ስፋት፣ ከቅርብ ጊዜው NVMe-የተመሰረተ SAN ድርድሮች እስከ ምንጭ በሶፍትዌር የተገለጸ ማከማቻ በDevOps ውስጥ ነው። “አዝናኙን” የሚጀምረው እዚህ ላይ ነው (የእኔን አምሳያ በሃበሬ ላይ ይመልከቱ፣ በግምት ተርጓሚ).

ሊዮናርድ እና የ 25 ባልደረቦቹ ከ 100 በላይ petabytes አቅም እና 6000 መሐንዲሶች ውስጣዊ ደመናን ይቆጣጠራሉ ለብሉምበርግ ተርሚናል ማይክል ብሉምበርግ ቢሊየነር ያደረገው ቴክኖሎጂ። ቡድኑ ለብሉምበርግ ኢንጂነሪንግ የማከማቻ ስርዓቶችን ይቀርፃል፣ ይገነባል እና ይጠብቃል።

ልክ እንደሌላው የአይቲ ሙያ፣ ኮቪድ-2020 በርቀት እንዲሰሩ ስላስገደዳቸው 19 ለማከማቻ ምህንድስና ቡድን አባላት ያልተለመደ ዓመት ነበር። የፊት-ለፊት መስተጋብር በመጥፋቱ ወረርሽኙ ወረርሽኙ “የተጣበቀ ቡድኑን” በማህበራዊ ደረጃ ላይ ተጽዕኖ እንዳሳደረ ገልጿል ፣ ግን ሰራተኞቹ በላፕቶፖች እና በቪዲዮ ኮንፈረንስ ላይ ከቤት ለመስራት በፍጥነት ተላምደዋል ።

በሚያስደንቅ ሁኔታ ይህ ሁኔታውን የከፋ አላደረገም ማለት እፈልጋለሁ። አጭር የመላመድ ጊዜ ነበር - ሁሉም ሰው ከቤት ለመሥራት ዝግጁ አልነበረም። ከአንድ ወይም ከሁለት ሳምንት በኋላ ሁሉም ሰው ይህን ተረድቷል. በእነዚህ ጊዜያት እራሳችንን እንድንጠመድ፣ መሳሪያዎችን ለመግዛት እና ለማሻሻል እና ኩባንያውን ለመደገፍ ወጪዎችን ለመጨመር መንገዶችን ማግኘት ችለናል። መፍጠር ነበረብን ግን አልተጎዳንም።

ትልቁ ፈተና ከኮቪድ-19 ከፍተኛ ደረጃ በፊት ሊሆን ይችላል። ይህ የሆነው ወረርሽኙ በአለም ኢኮኖሚ ላይ ስላሳደረው ተጽእኖ ስጋት በመፈጠሩ በተለዋዋጭ የገበያ ግብይት ምክንያት ነው። ከአለም አቀፍ የካፒታል ገበያዎች ወደ ብሉምበርግ ተርሚናሎች የሚፈሰው የመረጃ መጠን በእጥፍ ሊጨምር ሲቃረብ በመጋቢት መጨረሻ ላይ በተወሰኑ ቀናት ውስጥ 240 ቢሊዮን መረጃ ደርሷል። ይህ የማከማቻ ስርዓቶች ከባድ ፈተና ነው.

በአንድ ቀን ውስጥ የማከማቻ ፍላጎቶችዎን ወዲያውኑ በእጥፍ ሲጨምሩ አስደሳች ችግሮች ይፈጥራል። ይህንን ማሸነፍ ችለናል እና የመተግበሪያ ልማት ቡድኖች የሚያስፈልጋቸውን ቦታ እና አፈፃፀም መሰጠቱን ማረጋገጥ ችለናል። ይህ አብዛኛው ስለ ማከማቻ ስርዓቶች ከምናስበው ጋር የተያያዘ ነው። ዛሬ ምንም ነገር እየፈጠርን አይደለም. "ኢቢሲ እንጠቀማለን ስለዚህ ለኢቢሲ መሠረተ ልማት እንገነባለን" አንልም። የአጠቃቀም አጠቃቀምን ለመተንበይ፣የአጠቃቀም እና የአፈጻጸም አዝማሚያዎችን ለመተንተን ከቡድኖቻችን ጋር "የውሂብ በጀት ማውጣት" የምንለውን እናደርጋለን እንዲሁም ደህንነትን እንመለከታለን። የዚህ ዓይነቱ እቅድ፣ አስተሳሰብ እና ዘዴያዊ ተገቢ ትጋት ላብ ሳይሰበር ከባድ እርምጃ እንድንወስድ ያስችለናል። እርግጥ ነው፣ ተጨንቄ ነበር፣ ነገር ግን በኔ ቦታ መሆን ምቾት ተሰማኝ።

ሊዮናርድ በውሂብ ለተመሩ ንግዶች ማከማቻን ስለማስተዳደር በቅርቡ ከSearchStorage ጋር በዝርዝር ተናግሯል። በብሉምበርግ የመረጃ ማእከላት ውስጥ ማንኛውንም መረጃ በሚይዝበት ጊዜ የAWS ባህሪያትን ለተጠቃሚዎቹ የማቅረብ ችሎታ ያለው የግል የደመና ማከማቻ መፍትሄ ለማቅረብ ምን እንደሚያስፈልግ ተወያይቷል።

ወረርሽኙ ከሌለ የብሉምበርግ መሐንዲሶች ማከማቻን በማስተዳደር ላይ ምን ችግሮች አጋጥሟቸዋል?

ብዙ ፍላጎቶች አሉን, በቀላሉ በተለያየ አቅጣጫ እንቀደዳለን. ስለዚህ የእኛ መተግበሪያ ገንቢዎች ስለ ማከማቻው እራሱ ከመጨነቅ ይልቅ በተግባራቸው ላይ እንዲያተኩሩ ለመርዳት ብዙ አይነት ምርቶችን በተለያዩ SLA ደረጃ ማቅረብ አለብን።

እና ለዚህ ምን ስልት ትከተላለህ?

እኛ ለማድረግ እየሞከርን ያለነው አካል የማከማቻ አፈጻጸምን ማሻሻል ነው። አንድ የእድገት መሐንዲስ ወደ ውስጥ ሲገባ ፣ አንድ ቁልፍ ተጭኖ እና ከዚያ “ጠቅ ያድርጉ” በድግምት ችግሩን ለመፍታት ትክክለኛውን የማከማቻ አይነት የሚያገኝበትን የ AWS ሞዴል ያስቡ።

የእርስዎ የማከማቻ መሠረተ ልማት ምን ይመስላል?

በጣም የተለያየ ስነ-ምህዳር እና ብዙ የተለያዩ ገንቢዎች ስላለን አንድ ነጠላ ምርት ማቅረብ አንችልም። እቃ፣ ፋይል እና የማገጃ ማከማቻ አለን። እነዚህ የተለያዩ ምርቶች ናቸው እና እነሱን ለማቅረብ የተለያዩ የቴክኖሎጂ ዓይነቶችን እናቀርባለን. ለብሎክ SAN እንጠቀማለን። እኛ ደግሞ SDS አለን, ይህም ሌላ የማገጃ ማከማቻ አማራጭ የተለየ የአፈጻጸም መስፈርቶች ስብስብ ያቀርባል. ለፋይሎች NFS እንጠቀማለን። ኤስዲኤስ ለዕቃ ማከማቻነትም ያገለግላል። የማገጃው እና የነገር ክፍሎቹ ለኮምፒዩተር እና ለማከማቸት ውስጣዊ የግል ደመና ይፈጥራሉ።

ስለዚህ ይፋዊ የደመና ማከማቻ አይጠቀሙም?

ትክክል ነው. አንዳንድ የልማት ቡድኖች ይፋዊ ደመናዎችን የመጠቀም ፍቃድ አላቸው። ነገር ግን ከንግድ ስራችን ባህሪ የተነሳ ከግድግዳችን የሚወጡትን ነገሮች የበለጠ መቆጣጠርን እንመርጣለን. ስለዚህ አዎ፣ በእኛ ቁጥጥር ስር ያሉ የራሳችን ደመናዎች አሉን። ይህ በእኛ አስተዳደር ስር በመረጃ ማዕከላችን ውስጥ የሚገኝ መሳሪያ ነው።

በመረጃ ማዕከላችን ውስጥ፣ ባለብዙ አቅራቢ ስትራቴጂን እንመርጣለን። እነሱ ትልቅ አቅራቢዎች ናቸው፣ ግን በትክክል ማንን አንናገርም (ማንኛውም አቅራቢን አለመደገፍ የብሉምበርግ ፖሊሲ ነው፣ በግምት ተርጓሚ).

የእርስዎን የግል ደመና ለመገንባት hyperconverged መሠረተ ልማት እየተጠቀሙ ነው?

አይ. እኛ ብሉምበርግ ወደ hyperconvergence የማንሄድበትን አቅጣጫ እየመረጥን ነው። በራሳችን መመዘን እንድንችል ስሌትን ከማከማቻ ለማላቀቅ እየሞከርን ነው። ወደ ውስጥ የምንገባበት አቅጣጫ በተለይ ከዳመናችን ጋር ሁለቱን አካላት መለየት እንድንችል ነው። እና ሁሉም በአገራችን ያሉ አንዳንድ ነገሮች የተጠናከረ ስሌት ስለሚያስፈልጋቸው ሌሎች ደግሞ ማከማቻ ያስፈልጋቸዋል. እነሱን በእኩል መጠን ካስጠኗቸው፣ ምንም ገንዘብ ቢሆን፣ በመረጃ ማእከሎች ውስጥ ያለ ቦታ፣ ወይም የማትፈልገውን አቅም በመግዛት ሃብትን ታጣለህ። ለዚህም ነው በሁለቱ አካላት መካከል የጋራ መግባቢያ እንዲኖረን የምንፈልገው ነገርግን ሙሉ ለሙሉ የተለያዩ ስርዓቶች እና በተለያዩ ቡድኖች የሚተዳደሩ እንዲሆኑ ማድረግ።

የግል ደመና ለመገንባት ምን መሰናክሎች መወጣት አለባቸው?

የመጠን ችግር. እንደ አብዛኞቹ ነገሮች ሁሉ ዲያብሎስ በዝርዝሮች ውስጥ አለ። እነዚህ ነገሮች እንዴት እንደሚሠሩ, እንዴት እንዲቋቋሙ ማድረግ እንደሚችሉ, የአሠራር ሸክሙን እንዴት እንደሚይዙ, ከአካላዊ ንብረት ቡድኖች ጋር እንዴት እንደሚገናኙ, ነገሮች ትንሽ አስደሳች ይሆናሉ. ተፈታታኙ ነገር የኛ መተግበሪያ ገንቢዎች ሊጠቀሙበት የሚፈልጓቸውን ሁሉንም ነገር ሊሰፋ የሚችል እና ሊደገፍ የሚችል ምርት የምናደርግበት መንገድ መፈለግ ነው፣ ይህም የህዝብ ደመና በሚያደርገው ጫፍ ላይ በመቆየት ባህሪውን ማበልጸግ ነው። እና ደግሞ መሥራቱን እንዲቀጥል ሁሉንም አንድ ላይ ለማምጣት. ዋናው ችግራችን ይህ ነው - ሁሉንም ፍላጎቶች ለማርካት እየሞከርን በሁሉም የንግዱ ዘርፎች እንሰራለን ነገር ግን ሌሎች ፍላጎቶችን ችላ አንልም ።

በAWS እና በሌሎች ይፋዊ ደመናዎች ውስጥ የሚገኙትን የቅርብ ጊዜ ባህሪያት የሚያስፈልግህ ይመስልሃል?

ስለ S3 በጣም የሚያስደስት እውነታ የኑሮ ደረጃ በየጊዜው እየተቀየረ ነው, አዳዲስ ባህሪያት ሁልጊዜም እየተጨመሩ ነው. ልክ እንደ አዲስ አሻንጉሊት ነው. አንድ ሰው በአዲስ ልቀት ውስጥ አዲስ ባህሪን ካየ እሱን ይፈልጋሉ። ሁሉም የAWS ባህሪያት በአካባቢያችን ውስጥ ተፈጻሚ አይደሉም፣ ስለዚህ ገንቢዎችን ምን እንደሚረዳቸው እና በቤት ውስጥ እንዴት ማግኘት እንደሚችሉ ማወቅ አስፈላጊ እና አስደሳች ነው።

ምን ዓይነት የማጠራቀሚያ መሳሪያዎች ይጠቀማሉ?

የቅርብ ጊዜ መሳሪያዎችን እንጠቀማለን. የእኛ ውስጣዊ ደመና ሙሉ በሙሉ በ NVMe ፍላሽ ላይ የተመሰረተ ነው, ይህም እነዚህን ስርዓቶች በጣም ኃይለኛ ያደርገዋል. ህይወታችንን ትንሽ ቀላል ያደርገዋል፣ እና ለገንቢዎቻችንም ስለማከማቻ አፈጻጸም መጨነቅ ስለሌለባቸው ጥሩ ባህሪ ነው።

የነገር ማከማቻን ለምን ትጠቀማለህ?

በመሠረተ ልማት ላይ የሚሰሩ 6000 አልሚዎች አሉን, በአንድ አጠቃቀም ጉዳይ አንድ አይደሉም. እርስዎ ሊያስቡበት የሚችሉት ማንኛውም አማራጭ ምናልባት በእቃ ማከማቻ ውስጥ አለን. አንዳንድ ቡድኖች ለቅዝቃዛ መዝገብ ቤት ማከማቻ፣ አንዳንዶቹ ለመረጃ ማስተላለፍ እና ሌሎች ደግሞ ለንግድ አፕሊኬሽኖች ይጠቀሙበታል። እነዚህ ሁሉ የአጠቃቀም ጉዳዮች የተለያዩ የSLA ደረጃዎችን ይጠይቃሉ፣ስለዚህ እንደምታዩት የተለያዩ የትራፊክ ዓይነቶች አሉን፣ ለተለያዩ የመሠረተ ልማት ተጠቃሚዎች ሁሉም ዓይነት ፍላጎቶች አለን። ይህ በማናቸውም ማከማቻችን ላይ የሚሰራ ተመሳሳይ የአጠቃቀም መያዣ አይደለም፣ ይህም ነገሮችን ይበልጥ ውስብስብ እንደሚያደርገው ግልጽ ነው።

ኩበርኔትስ እና ኮንቴይነሮች ለእርስዎ ምን ያህል ትልቅ ሚና ይጫወታሉ፣ እና ያ በማከማቻው ላይ እንዴት ተጽዕኖ ያሳድራል?

የማከማቻ ምርታማነትን እየገፋን ያለነው የደመና ስሜት፣ እንደ አገልግሎት የሆነ ነገር ስሜት፣ ገንቢዎች የእጅ ስራቸውን እንዲያፋጥኑ እና በመንገዳው ላይ መሠረተ ልማትን እንዲያስወግዱ የሚያስችል ቁልፍ ባለበት ነው።

የአርታዒው n.b.ጥቅምት 15፣ 2020 ዝግጁ ይሆናል። የሴፍ ቪዲዮ ኮርስ. ስህተትን መቻቻልን ለማሻሻል በፕሮጀክቶችዎ ውስጥ የሚጠቀሙበትን የሴፍ ኔትወርክ ማከማቻ ቴክኖሎጂ ይማራሉ ።

ሶስት ቡድኖች አሉን, የመጀመሪያው የማከማቻ ኤፒአይ ቡድን ነው. በብሉምበርግ ላይ ለመተግበሪያ ልማት ደንበኞች ፕሮግራማዊ መዳረሻን፣ የመጨረሻ ነጥቦችን እና አስቀድሞ የተገለጹ የስራ ፍሰቶችን ያደርጋሉ። ይህ ሙሉ ቁልል የድር ገንቢዎች ቡድን ነው፣ node.js፣ python፣ እንደ Apache Airflow ያሉ የክፍት ምንጭ ቴክኖሎጂዎችን ይጠቀማሉ፣ ስለዚህ ኮንቴይነሬሽን እና ቨርቹዋልላይዜሽን ያጠናሉ።

እኛ ደግሞ በትክክል ቢት እና ባይት የሚያንቀሳቅሱ ሁለት የቴክኒክ ቡድኖች አሉን። ከመሳሪያዎቹ ጋር በቀጥታ የተያያዙ ናቸው. ብዙ መሣሪያዎች አሉን, እና እነዚህ ቡድኖች ምናባዊ እና ኮንቴይነሮችን አይጠቀሙም.

በኢንዱስትሪው ውስጥ እየሆነ ያለውን ነገር ለመከታተል እየሞከርን የኩበርኔትስ ሲኤስአይ አሽከርካሪዎችን በማጥናት እንዲሁም ኩበርኔትስ በብሉምበርግ ከሚተገበረው ቡድን ጋር በቅርበት በመስራት የኩበርኔትስ ማከማቻ ካለን ቴክኖሎጂዎች ጋር በቋሚነት እንዲሰራ ማድረግ እንችል እንደሆነ ለመገምገም እየሞከርን ነው። እየሰራ ነው . ከቋሚ ማከማቻ ጋር የተገናኘ Kubernetesን ለመደገፍ SDS እንጠቀማለን። ይህንን ቴክኖሎጂ በተሳካ ሁኔታ ገንብተናል፣ እና ይህንን እንዴት በብሉምበርግ ላይ ለሁሉም ሰው ተደራሽ ማድረግ እንደምንችል በሁለቱ ቡድኖች መካከል ውይይቶች ቀጥለዋል። ይህ በጣም የሚቻል መሆኑን አሳይተናል.

ምን ሌላ የክፍት ምንጭ ሶፍትዌር ነው የምትጠቀመው በተለይ ለማከማቻ የምትጠቀመው?

የመተግበሪያ ትራፊክን ለመገደብ Apache Airflow, HAProxy እንጠቀማለን. ለኤስዲኤስ መድረክ የሆነውን ሴፍንም እንጠቀማለን። በእሱ አማካኝነት ለትእዛዞች አንድ ስርዓት ሊኖርዎት ይችላል, ነገር ግን ለደንበኞች ብዙ በይነገጽ ያቅርቡ. ከቨርቹዋል ፕላትፎርሞች አንዱ በOpenStack ላይ ይሰራል - ከዚህ ቡድን ጋር በቅርበት እንሰራለን። የክፍት ምንጭ SDS መድረክን ለማከማቻ የሚጠቀም ክፍት ምንጭ ቨርቹዋልላይዜሽን መድረክ አለን። ይህ አስቂኝ ነው.

በሚቀጥሉት ሁለት እና ሶስት ዓመታት ውስጥ ምን የማከማቻ ቴክኖሎጂዎችን እያሰቡ ነው?

ሁልጊዜም በማከማቻ ኢንደስትሪ ውስጥ የተከሰቱትን ሌሎች አሪፍ አዳዲስ ነገሮችን እየተመለከትን ነው። ይህ የእኛ ስራ አካል ነው፣ “የእርስዎ SAN ይኸውና፣ እዚህ ያስተዳድሩ፣ እና እዚህ የእርስዎ NFS ነው፣ እዚያ ያስተዳድሩ” አይደለም። ከደንበኞቻችን ጋር ለመገናኘት እንሞክራለን, ማለትም. በእኛ መተግበሪያ ገንቢዎች. ምን አይነት ችግሮችን ለመፍታት እየሞከሩ እንደሆነ እና በውጫዊ የብሉምበርግ ደንበኞቻችን - ባንኮች እና ሌሎች ሶፍትዌራችንን የሚጠቀሙትን እንዴት እንደሚጎዳ ለመረዳት አብረን እንሰራለን። እና ከዚያ እነሱ ግባቸውን ለማሳካት እንዲረዷቸው እድሎችን ለማግኘት ወደ የውሂብ ማከማቻው ዓለም እንመለሳለን። ትክክለኛውን የማከማቻ ቴክኖሎጂ እንዲያገኙ ልንረዳቸው የምንችለው እንዴት ነው SLA ወይም ምን ለማድረግ እየሞከሩ ያሉት? በጣም ብዙ መሐንዲሶች ጥሩ ነገሮችን ስለሚሠሩ፣ መቼም አሰልቺ አይሆንም።

በአሁኑ ጊዜ በአጠቃላይ ዓላማ አገልጋዮች ላይ ሊሰሩ የሚችሉ ለኤስዲኤስ አፈጻጸምን የምናሻሽልባቸውን መንገዶች እየፈለግን ነው። ስለዚህ በTCP ላይ በNVMe ላይ እየሰራን ነው፣ ይህ በጣም አስደሳች እና አሪፍ ተነሳሽነት ነው፣ ከብዙዎች አንዱ። በተጨማሪም በኢንዱስትሪው ውስጥ ካሉ ቁልፍ ሰዎች እና አንዳንድ ነባር አቅራቢዎች ምን እንደሚያቀርቡ እና ትክክለኛው አፈፃፀሙ ምን እንደሚሆን ለማወቅ በኩባንያው ውስጥ በምርት ውስጥ መጠቀም እንችል እንደሆነ ለማወቅ እየሰራን ነው። ይህ ከዚህ ቀደም ሊደረስባቸው ያልቻሉ አዳዲስ አድማሶችን ይከፍታል።

በ PS ውስጥ ትንሽ እገዛ

PS ከቻልኩ፣ ሴፕቴምበር 28-30 እንደሚካሄድ ላስታውስህ እፈልጋለሁ የተጠናከረ Kubernetes Base, Kubernetes ለማያውቁ, ነገር ግን ከእሱ ጋር ለመተዋወቅ እና ከእሱ ጋር መስራት ለመጀመር ይፈልጋሉ.

ምንጭ: hab.com