የኩበርኔትስ ጀብዱ ዕለታዊ እንቅስቃሴ፡- በደመናዎች + ግቢ ውስጥ መሠረተ ልማት መፍጠር

ማስታወሻ. ትርጉምዴይሊሞሽን በዓለም ላይ ካሉት ትልቁ የቪዲዮ ማስተናገጃ አገልግሎቶች አንዱ ነው ስለዚህም ታዋቂ የኩበርኔትስ ተጠቃሚ። በዚህ ቁሳቁስ ውስጥ የስርዓት አርክቴክት ዴቪድ ዶንቼዝ የኩባንያውን የምርት መድረክ በ K8s ላይ በመመስረት የጀመረውን ውጤት በ GKE ውስጥ በደመና ተከላ የጀመረውን እና እንደ ድብልቅ መፍትሄ ያበቃው ፣ ይህም ለተሻለ የምላሽ ጊዜ እና የመሠረተ ልማት ወጪዎች ቁጠባ ነው።

ኮር ኤፒአይን እንደገና ለመገንባት በመወሰን ላይ በዕለት ከሶስት አመት በፊት አፕሊኬሽኖችን ለማስተናገድ እና ቀላል ለማድረግ የበለጠ ቀልጣፋ መንገድ ማዘጋጀት እንፈልጋለን በእድገት እና በምርት ውስጥ ሂደቶች. ለዚሁ ዓላማ, የእቃ መጫኛ ኦርኬስትራ መድረክን ለመጠቀም ወስነናል እና በተፈጥሮ Kubernetes ን መርጠናል.

በ Kubernetes ላይ በመመስረት የራስዎን መድረክ መገንባት ለምን ጠቃሚ ነው?

Google Cloudን በመጠቀም የምርት ደረጃ API በአጭር ጊዜ ውስጥ

ክረምት 2016

ከሶስት አመት በፊት፣ Dailymotion በ የተገዛው ወዲያው ነበር። Vivendiየምህንድስና ቡድኖቻችን በአንድ ዓለም አቀፋዊ ግብ ላይ ያተኮሩ ናቸው፡ ሙሉ ለሙሉ አዲስ የዕለታዊ እንቅስቃሴ ምርት ለመፍጠር።

በመያዣዎች ፣ በኦርኬስትራ መፍትሄዎች እና ያለፉ ልምዳችን ላይ በመመርኮዝ ኩበርኔትስ ትክክለኛ ምርጫ መሆኑን እርግጠኞች ነን። አንዳንድ ገንቢዎች ስለ መሰረታዊ ፅንሰ-ሀሳቦች ቀድሞውኑ ግንዛቤ ነበራቸው እና እንዴት እንደሚጠቀሙበት ያውቁ ነበር ፣ ይህም ለመሠረተ ልማት ሽግግር ትልቅ ጥቅም ነበር።

ከመሠረተ ልማት አንፃር፣ አዲስ ዓይነት የደመና-ቤተኛ መተግበሪያዎችን ለማስተናገድ ኃይለኛ እና ተለዋዋጭ ሥርዓት ያስፈልጋል። የአዕምሮ ሰላም ይዘን በተቻለ መጠን በጣም ጠንካራ የሆነውን በቦታው ላይ መድረክ ለመገንባት በጉዟችን መጀመሪያ ላይ በደመና ውስጥ መቆየትን መርጠናል። ፈጥኖም ይሁን ዘግይቶ ወደ የራሳችን የመረጃ ቋቶች እንደምንሄድ እና የድብልቅ ስትራቴጂ እንደምንተገበር ብናውቅም አፕሊኬሽኖቻችንን ጎግል ኩበርኔትስ ሞተርን በመጠቀም ለማሰማራት ወስነናል።

GKE ለምን መረጡት?

ይህንን ምርጫ ያደረግነው በዋናነት በቴክኒካዊ ምክንያቶች ነው። በተጨማሪም የኩባንያውን የንግድ ፍላጎት የሚያሟሉ መሠረተ ልማቶችን በፍጥነት ማቅረብ አስፈላጊ ነበር. መተግበሪያዎችን ለማስተናገድ እንደ ጂኦግራፊያዊ ስርጭት፣ ልኬታማነት እና ስህተት መቻቻል ያሉ አንዳንድ መስፈርቶች ነበሩን።

የGKE ስብስቦች በ Dailymotion

ዴይሊሞሽን በዓለም ዙሪያ የሚገኝ የቪዲዮ መድረክ ስለሆነ፣ የጥበቃ ጊዜን በመቀነስ የአገልግሎቱን ጥራት ማሻሻል እንፈልጋለን (የማዘግየት)... ከዚህ በፊት የእኛ API እጅግ በጣም ጥሩ የሆነው በፓሪስ ብቻ ነበር። አፕሊኬሽኖችን በአውሮፓ ብቻ ሳይሆን በእስያ እና በአሜሪካም ማስተናገድ መቻል ፈልጌ ነበር።

ይህ የመዘግየት ትብነት ማለት በመድረኩ የኔትወርክ አርክቴክቸር ላይ ከባድ ስራ መሰራት አለበት ማለት ነው። አብዛኛዎቹ የደመና አገልግሎቶች በእያንዳንዱ ክልል ውስጥ የራስዎን አውታረመረብ እንዲፈጥሩ እና ከዚያ በቪፒኤን ወይም በአንድ ዓይነት የሚተዳደር አገልግሎት እንዲያገናኙ ቢያስገድዱዎትም፣ Google ክላውድ ሁሉንም የጎግል ክልሎችን የሚሸፍን ሙሉ በሙሉ የሚሰራ ነጠላ አውታረ መረብ እንዲፈጥሩ አስችሎታል። ይህ በስርዓቱ አሠራር እና ውጤታማነት ረገድ ትልቅ ጭማሪ ነው።

በተጨማሪም የጎግል ክላውድ የአውታረ መረብ አገልግሎቶች እና የጭነት ሚዛን ሰጪዎች በጣም ጥሩ ስራ ይሰራሉ። በቀላሉ የዘፈቀደ የህዝብ አይፒ አድራሻዎችን ከእያንዳንዱ ክልል እንዲጠቀሙ ይፈቅዱልዎታል እና አስደናቂው የBGP ፕሮቶኮል ቀሪውን ይንከባከባል (ማለትም ተጠቃሚዎችን ወደ ቅርብ ክላስተር ማዞር)። በግልጽ ለማየት እንደሚቻለው, ውድቀት በሚከሰትበት ጊዜ, ትራፊክ ምንም አይነት ሰው ጣልቃ ሳይገባ በራስ-ሰር ወደ ሌላ ክልል ይሄዳል.

የጎግል ጭነት ሚዛንን መከታተል

የእኛ መድረክ ጂፒዩዎችን በብዛት ይጠቀማል። ጉግል ክላውድ በቀጥታ በ Kubernetes ስብስቦች ውስጥ በብቃት እንድትጠቀምባቸው ይፈቅድልሃል።

በዚያን ጊዜ የመሠረተ ልማት ቡድኑ በዋነኝነት ያተኮረው በአካላዊ አገልጋዮች ላይ በተዘረጋው የቅርስ ቁልል ላይ ነበር። ለዚህም ነው የሚተዳደር አገልግሎት (Kubernetes mastersን ጨምሮ) መስፈርቶቻችንን አሟልቶ ከአካባቢው ስብስቦች ጋር እንዲሰሩ ቡድኖችን እንድናሰለጥን የፈቀደልን።

በዚህም ምክንያት ስራ ከጀመረ ከ6 ወራት በኋላ በGoogle ክላውድ መሠረተ ልማት ላይ የምርት ትራፊክ መቀበል ጀመርን።

ነገር ግን, በርካታ ጥቅሞች ቢኖሩም, ከደመና አቅራቢ ጋር አብሮ መስራት ከተወሰኑ ወጪዎች ጋር የተያያዘ ነው, ይህም እንደ ጭነቱ ሊጨምር ይችላል. ለዚያም ነው ወደፊት በግቢው ላይ ተግባራዊ ለማድረግ ተስፋ በማድረግ የተጠቀምንባቸውን እያንዳንዱን የሚተዳደር አገልግሎት በጥንቃቄ የተተነተንነው። እንደ እውነቱ ከሆነ, የአካባቢ ክላስተር ትግበራ በ 2016 መገባደጃ ላይ የጀመረው እና የድብልቅ ስትራቴጂው በተመሳሳይ ጊዜ ተጀመረ.

የአካባቢ ኮንቴይነሮች ኦርኬስትራ መድረክ Dailymotionን ያስጀምሩ

መኸር 2016

አጠቃላይ ቁልል ለምርት በተዘጋጀበት ሁኔታዎች እና በኤፒአይ ላይ ይስሩ ቀጠለበክልል ስብስቦች ላይ ለማተኮር ጊዜው ነበር.

በዚያን ጊዜ ተጠቃሚዎች በየወሩ ከ3 ቢሊዮን በላይ ቪዲዮዎችን ይመለከቱ ነበር። እርግጥ ነው፣ ለብዙ ዓመታት የራሳችን ሰፊ የይዘት ማቅረቢያ አውታረ መረብ ነበረን። በዚህ አጋጣሚ ተጠቅመን የኩበርኔትስ ክላስተር በነባር የመረጃ ማእከላት ውስጥ ማሰማራት እንፈልጋለን።

የዴይሊሞሽን መሠረተ ልማት በስድስት የመረጃ ማእከላት ውስጥ ከ2,5 ሺህ በላይ አገልጋዮችን ያቀፈ ነበር። ሁሉም በሶልትስታክ በመጠቀም የተዋቀሩ ናቸው. ዋና እና የሰራተኛ ኖዶችን እንዲሁም ወዘተ ክላስተር ለመፍጠር ሁሉንም አስፈላጊ የምግብ አዘገጃጀት መመሪያዎችን ማዘጋጀት ጀመርን ።

የአውታረ መረብ ክፍል

የእኛ አውታረ መረብ ሙሉ በሙሉ ተዘዋውሯል። እያንዳንዱ አገልጋይ Exabgpን በመጠቀም አይፒውን በኔትወርኩ ላይ ያስተዋውቃል። በርካታ የአውታረ መረብ ተሰኪዎችን አነጻጽረናል እና ሁሉንም ፍላጎቶች ያረካው (በ L3 አቀራረብ ምክንያት) ብቸኛው ነበር። ካሊኮ. አሁን ካለው የኔትወርክ መሠረተ ልማት ሞዴል ጋር በትክክል ይጣጣማል.

ያሉትን ሁሉንም የመሠረተ ልማት ክፍሎች ለመጠቀም ስለፈለግን መጀመሪያ ማድረግ ያለብን በቤት ውስጥ የሚሰራውን የኔትወርክ አገልግሎት (በሁሉም አገልጋዮች ላይ ጥቅም ላይ የሚውል) ነው፡- በአውታረ መረቡ ላይ የአይፒ አድራሻዎችን በ Kubernetes nodes ለማስተዋወቅ ይጠቀሙበት። ካሊኮ የአይ ፒ አድራሻዎችን ወደ ፖድ እንዲሰጥ ፈቅደነዋል፣ ነገር ግን በኔትወርክ መሳሪያዎች ላይ ለBGP ክፍለ ጊዜዎች አልተጠቀመበትም እና አሁንም አልጠቀምበትም። በእርግጥ፣ ራውቲንግ የሚካሄደው በ Exabgp ነው፣ እሱም በካሊኮ ጥቅም ላይ የዋሉ ንዑስ መረቦችን ያስተዋውቃል። ይህ ማንኛውንም ፖድ ከውስጥ አውታረመረብ (እና በተለይም ከሎድ ሚዛን) ለመድረስ ያስችለናል.

የመግቢያ ትራፊክን እንዴት እንደምናስተዳድር

ገቢ ጥያቄዎችን ወደ ተፈለገው አገልግሎት ለማዞር ከKubernetes ኢንግረስ ሃብቶች ጋር በመዋሃዱ Ingress Controller ለመጠቀም ተወስኗል።

ከሶስት አመታት በፊት, nginx-ingress-controller በጣም የበሰለ ተቆጣጣሪ ነበር: Nginx ለረጅም ጊዜ የነበረ እና በተረጋጋ እና በአፈፃፀም የታወቀ ነበር.

በእኛ ስርዓት ውስጥ ተቆጣጣሪዎቹን በተዘጋጁ ባለ 10-ጊጋቢት ምላጭ አገልጋዮች ላይ ለማስቀመጥ ወስነናል። እያንዳንዱ መቆጣጠሪያ ከተዛማጁ ዘለላ የኩቤ-አፒሰርቨር የመጨረሻ ነጥብ ጋር ተገናኝቷል። እነዚህ አገልጋዮች ይፋዊ ወይም የግል አይፒ አድራሻዎችን ለማስተዋወቅ Exabgpን ተጠቅመዋል። የኛ ኔትወርክ ቶፖሎጂ ከእነዚህ ተቆጣጣሪዎች BGP ን በመጠቀም ሁሉንም ትራፊክ ወደ ፖድዶች ለማድረስ እንደ NodePort ያለ አገልግሎት ያስችለናል። ይህ አካሄድ በኖዶች መካከል ያለውን አግድም ትራፊክ ለማስወገድ ይረዳል እና ውጤታማነትን ያሻሽላል።

የትራፊክ እንቅስቃሴ ከኢንተርኔት ወደ ፖድ

አሁን የእኛን ድብልቅ መድረክ ከተረዳን, ወደ የትራፊክ ፍልሰት ሂደት እራሱ በጥልቀት እንመርምር.

የትራፊክ ፍሰት ከ Google ክላውድ ወደ ዕለታዊ እንቅስቃሴ መሠረተ ልማት

መኸር 2018

ለሁለት ዓመታት ያህል ከግንባታ፣ ሙከራ እና ማስተካከያ በኋላ፣ በመጨረሻ የተወሰነ ትራፊክ ለመቀበል የተዘጋጀ ሙሉ የኩበርኔትስ ቁልል አለን።

አሁን ያለው የማዞሪያ ስልት በጣም ቀላል ነው፣ ግን ፍላጎቶቹን ለማሟላት በቂ ነው። ከህዝባዊ አይፒዎች በተጨማሪ (በGoogle ክላውድ እና ዴይሊሞሽን)፣ AWS Route 53 ፖሊሲዎችን ለማዘጋጀት እና ተጠቃሚዎችን ወደ ምርጫችን ክላስተር ለመምራት ይጠቅማል።

መንገድ 53ን በመጠቀም የማዞሪያ መመሪያ ምሳሌ

በGoogle ክላውድ ይህ ቀላል የሚሆነው በሁሉም ዘለላዎች ላይ ነጠላ አይፒን ስናካፍል እና ተጠቃሚው ወደሚቀርበው የጂኬ ክላስተር ሲመራ ነው። ለኛ ዘለላዎች ቴክኖሎጂው የተለየ ነው ምክንያቱም የእነሱ አይፒዎች የተለያዩ ናቸው.

በስደት ወቅት የክልል ጥያቄዎችን ወደ አግባብነት ካላቸው ክላስተሮች ለማዞር ፈልገን እና የዚህን አሰራር ጥቅሞች ገምግመናል.

የGKE ክላስተርዎቻችን ብጁ ሜትሪክስን በመጠቀም በራስ-ሰር እንዲመዘኑ የተዋቀሩ በመሆናቸው በሚመጣው ትራፊክ ላይ ተመስርተው ወደ ላይ/ወደታች ያደርጋሉ።

በመደበኛ ሁነታ ሁሉም የክልል ትራፊክ ወደ አካባቢያዊ ክላስተር ይመራል, እና GKE በችግር ጊዜ እንደ ተጠባባቂ ሆኖ ያገለግላል (የጤና ቁጥጥር የሚከናወነው በመንገድ 53 ነው).

...

ለወደፊቱ፣ የተጠቃሚዎችን ተደራሽነት በቀጣይነት የሚያሻሽል ራሱን የቻለ ድብልቅ ስትራቴጂ ለማሳካት የማዞሪያ ፖሊሲዎችን ሙሉ በሙሉ በራስ ሰር መስራት እንፈልጋለን። በበጎ ጎኑ፣ የደመና ወጪዎች በከፍተኛ ሁኔታ ቀንሰዋል እና የኤፒአይ ምላሽ ጊዜዎች እንኳን ቀንሰዋል። የተፈጠረውን የደመና መድረክ እናምናለን እና አስፈላጊ ከሆነ ተጨማሪ ትራፊክ ወደ እሱ ለማዞር ዝግጁ ነን።

PS ከተርጓሚ

እንዲሁም ስለ ኩበርኔትስ ሌላ የቅርብ ጊዜ የ Dailymotion ልጥፍ ሊፈልጉ ይችላሉ። በብዙ የኩበርኔትስ ስብስቦች እና ከ Helm ጋር መተግበሪያዎችን ለማሰማራት የተወሰነ ነው። ታትሟል ከአንድ ወር በፊት.

በብሎጋችን ላይ ያንብቡ፡-

• «የቲንደር ሽግግር ወደ ኩበርኔትስ».
• «በምርት ውስጥ የኩበርኔትስ የስኬት ታሪኮች። ክፍል 10፡ Reddit";
• «በምርት ውስጥ የኩበርኔትስ የስኬት ታሪኮች። ክፍል 9፡ CERN እና 210 K8s ዘለላዎች";
• «በምርት ውስጥ የኩበርኔትስ የስኬት ታሪኮች። ክፍል 8፡ የሁዋዌ";
• «በምርት ውስጥ የኩበርኔትስ የስኬት ታሪኮች። ክፍል 7፡ ብላክ ሮክ";
• «በምርት ውስጥ የኩበርኔትስ የስኬት ታሪኮች። ክፍል 6፡ BlaBlaCar";
• «በምርት ውስጥ የኩበርኔትስ የስኬት ታሪኮች። ክፍል 5፡ ዲጂታል ባንክ Monzo";
• «በምርት ውስጥ የኩበርኔትስ የስኬት ታሪኮች። ክፍል 4፡ SoundCloud (በፕሮሜቲየስ)";
• «በምርት ውስጥ የኩበርኔትስ የስኬት ታሪኮች። ክፍል 3፡ የፊልሙ";
• «በምርት ውስጥ የኩበርኔትስ የስኬት ታሪኮች። ክፍል 2፡ Concur እና SAP";
• «በምርት ውስጥ የኩበርኔትስ የስኬት ታሪኮች። ክፍል 1፡ 4200 ፖድስ እና TessMaster ከኢቤይ».

ምንጭ: hab.com