🥇የእኛ ግኝቶች ከአንድ አመት GitLab.com ወደ ኩበርኔትስ ስደት

ማስታወሻ. ትርጉም: የጊትላብ የኩበርኔትስ ጉዲፈቻ ለኩባንያው እድገት አስተዋፅዖ ከሚያደርጉት ሁለት ዋና ዋና ነገሮች አንዱ ነው ተብሎ ይታሰባል። ይሁን እንጂ እስከ ቅርብ ጊዜ ድረስ የ GitLab.com የመስመር ላይ አገልግሎት መሠረተ ልማት በቨርቹዋል ማሽኖች ላይ ተገንብቷል, እና ከአንድ አመት በፊት ብቻ ወደ K8s ፍልሰት የጀመረው ገና አልተጠናቀቀም. ይህ እንዴት እንደሚከሰት እና በፕሮጀክቱ ውስጥ የተሳተፉ መሐንዲሶች ምን መደምደሚያዎችን እንደሚያደርጉ በ GitLab SRE መሐንዲስ የተደረገ የቅርብ ጊዜ ጽሑፍ ትርጉም በማቅረብ ደስተኞች ነን።

ለአንድ ዓመት ያህል የኛ መሠረተ ልማት ክፍላችን በ GitLab.com ላይ የሚሰሩትን ሁሉንም አገልግሎቶች ወደ ኩበርኔትስ ሲያፈልስ ቆይቷል። በዚህ ጊዜ ውስጥ፣ አገልግሎቶችን ወደ ኩበርኔትስ በማዛወር ላይ ብቻ ሳይሆን በሽግግሩ ወቅት ዲቃላ ማሰማራትን ከማስተዳደር ጋር ተግዳሮቶች አጋጥመውናል። የተማርናቸው ጠቃሚ ትምህርቶች በዚህ ርዕስ ውስጥ ይብራራሉ።

ከ GitLab.com መጀመሪያ ጀምሮ አገልጋዮቹ በቨርቹዋል ማሽኖች ውስጥ በደመና ውስጥ እየሰሩ ነው። እነዚህ ምናባዊ ማሽኖች በሼፍ የሚተዳደሩ እና የእኛን በመጠቀም የተጫኑ ናቸው ኦፊሴላዊ የሊኑክስ ጥቅል. የማሰማራት ስልት አፕሊኬሽኑ መዘመን ካስፈለገ በቀላሉ የአገልጋዩን መርከቦች በተቀናጀ ቅደም ተከተል የCI ቧንቧ መስመርን በመጠቀም ማዘመን ነው። ይህ ዘዴ, ምንም እንኳን ዘገምተኛ እና ትንሽ ቢሆንም ስልችት - GitLab.com እንደ ገለልተኛ ተጠቃሚዎች ተመሳሳይ የመጫን እና የማዋቀር ዘዴዎችን እንደሚጠቀም ያረጋግጣል (በራስ የሚተዳደር) ለዚህም የእኛን የሊኑክስ ፓኬጆችን በመጠቀም GitLab ጭነቶች።

ይህንን ዘዴ የምንጠቀመው የማህበረሰቡ አማካይ አባል የ GitLab ቅጂዎችን ሲጭኑ እና ሲያዋቅሩ የሚያጋጥሙትን ህመም እና ደስታ ለመለማመድ በጣም አስፈላጊ ስለሆነ ነው። ይህ አካሄድ ለተወሰነ ጊዜ በጥሩ ሁኔታ ሰርቷል፣ ነገር ግን በ GitLab ላይ ያሉት የፕሮጀክቶች ብዛት ከ10 ሚሊዮን በላይ ሲያልፍ፣ የእኛን የመጠን እና የማሰማራት ፍላጎታችንን እንዳላሟላ ተገነዘብን።

ወደ ኩበርኔትስ እና የደመና-ቤተኛ GitLab የመጀመሪያ እርምጃዎች

ፕሮጀክቱ በ 2017 ተፈጠረ GitLab ገበታዎች GitLabን በደመና ውስጥ ለማሰማራት ለማዘጋጀት እና ተጠቃሚዎች GitLab በ Kubernetes ስብስቦች ላይ እንዲጭኑ ለማስቻል። ያኔ፣ GitLabን ወደ ኩበርኔትስ ማዛወር የSaaS ፕላትፎርም መስፋፋትን እንደሚጨምር፣ ስምምነቶችን እንደሚያቃልል እና የስሌት ቅልጥፍናን እንደሚያሻሽል እናውቅ ነበር። በተመሳሳይ ጊዜ, የእኛ መተግበሪያ ብዙ ባህሪያት በ NFS-mounted partitions ላይ የተመሰረቱ ናቸው, ይህም ከቨርቹዋል ማሽኖች ሽግግርን አዘገየ.

በCloud ቤተኛ እና በኩበርኔትስ ላይ ያለው ትኩረት የእኛ መሐንዲሶች ቀስ በቀስ ሽግግርን እንዲያቅዱ አስችሏቸዋል፣ በዚህ ጊዜ አንዳንድ የመተግበሪያውን NAS ጥገኞች በመንገዳችን ላይ አዳዲስ ባህሪያትን ማዳበር ቀጠልን። እ.ኤ.አ. በ2019 ክረምት ላይ ፍልሰታችንን ማቀድ ከጀመርን ወዲህ አብዛኛዎቹ እነዚህ እገዳዎች ተወግደዋል እና GitLab.com ወደ ኩበርኔትስ የመሰደድ ሂደቱ አሁን በጥሩ ሁኔታ ላይ ነው!

በኩበርኔትስ ውስጥ የ GitLab.com ባህሪዎች

ለ GitLab.com፣ ሁሉንም የመተግበሪያ ትራፊክ የሚያስተናግድ ነጠላ የክልል GKE ክላስተር እንጠቀማለን። የ(አስቸጋሪ) ፍልሰትን ውስብስብነት ለመቀነስ፣ በአከባቢ ማከማቻ ወይም ኤንኤፍኤስ ላይ ያልተመሰረቱ አገልግሎቶች ላይ እያተኮርን ነው። GitLab.com በዋናነት ሞኖሊቲክ የባቡር ሐዲዶች ኮድ ቤዝ ይጠቀማል እና ትራፊክን በስራ ጫና ባህሪያት ላይ ተመስርተን በራሳቸው የመስቀለኛ ገንዳ ገንዳዎች ውስጥ ወደሚገኙ የተለያዩ የመጨረሻ ነጥቦች እናመራለን።

በግንባር ፊት፣ እነዚህ ዓይነቶች ለድር፣ ኤፒአይ፣ Git SSH/ኤችቲቲፒኤስ እና መዝገብ ቤት ጥያቄዎች ተከፋፍለዋል። ከበስተጀርባው ውስጥ, እንደ ተለያዩ ባህሪያት መሰረት ስራዎችን በወረፋው ውስጥ እንከፋፈላለን አስቀድሞ የተገለጹ የንብረት ወሰኖችለተለያዩ የሥራ ጫናዎች የአገልግሎት ደረጃ ዓላማዎች (SLOs) ለማዘጋጀት ያስችለናል።

እነዚህ ሁሉ የ GitLab.com አገልግሎቶች ባልተቀየረ GitLab Helm ገበታ የተዋቀሩ ናቸው። ማዋቀር የሚከናወነው በንዑስ ገበታዎች ነው፣ ይህም አገልግሎቶችን ቀስ በቀስ ወደ ክላስተር ስንሸጋገር ሊነቃ ይችላል። እንደ Redis፣ Postgres፣ GitLab Pages እና Gitaly ያሉ አንዳንድ መንግስታዊ አገልግሎቶቻችንን በስደት ላይ ላለማካተት ውሳኔ ቢሰጥም ኩበርኔትስን በመጠቀም በአሁኑ ጊዜ በሼፍ የሚተዳደሩትን ቪኤምዎችን ቁጥር እንድንቀንስ አስችሎናል።

የ Kubernetes ግልጽነት እና ውቅር አስተዳደር

ሁሉም ቅንብሮች የሚተዳደሩት በራሱ በ GitLab ነው። በ Terraform እና Helm ላይ የተመሰረቱ ሶስት የማዋቀር ፕሮጀክቶች ለዚህ ጥቅም ላይ ይውላሉ. GitLabን ለማስኬድ በሚቻልበት ቦታ ሁሉ GitLabን ለመጠቀም እንሞክራለን፣ ነገር ግን ለተግባራዊ ተግባራት የተለየ የ GitLab ጭነት አለን። የ GitLab.com ማሰማራትን እና ማሻሻያዎችን ሲያደርግ በ GitLab.com ተገኝነት ላይ ላለመመካት ያስፈልጋል።

ምንም እንኳን የእኛ የኩበርኔትስ ክላስተር የቧንቧ መስመሮቻችን በተለየ የ GitLab ጭነት ላይ የሚሰሩ ቢሆኑም የኮድ ማከማቻዎቹ በሚከተሉት አድራሻዎች በይፋ የሚገኙ መስተዋቶች አሏቸው፡

k8s-የስራ ጫና/gitlab-com - GitLab.com ውቅር ማሰሪያ ለ GitLab Helm-chart;
k8s-የስራ ጫና/gitlab-helmfiles - ከ GitLab መተግበሪያ ጋር በቀጥታ ላልሆኑ አገልግሎቶች ውቅሮችን ይዟል። እነዚህም የመግቢያ እና የክላስተር ክትትል አወቃቀሮችን፣ እንዲሁም እንደ PlantUML ያሉ የተዋሃዱ መሳሪያዎች;
gitlab-com-መሰረተ ልማት - የቴራፎርም ውቅር ለ Kubernetes እና የቆየ ቪኤም መሠረተ ልማት። እዚህ ክላስተርን ለማስኬድ የሚያስፈልጉትን ሁሉንም ሀብቶች ያዋቅራሉ፣ ክላስተር ራሱ፣ የመስቀለኛ ገንዳዎች፣ የአገልግሎት መለያዎች፣ የአይፒ አድራሻ ማስያዣን ጨምሮ።

ለውጦች ሲደረጉ የህዝብ እይታ ይታያል። አጭር ማጠቃለያ በክላስተር ላይ ለውጦችን ከማድረግዎ በፊት SRE ከሚተነትነው ዝርዝር ልዩነት ጋር የሚያገናኝ።

ለኤስአርአይ፣ አገናኙ ለምርት እና ለተገደበው ተደራሽነት ጥቅም ላይ በሚውለው በ GitLab መጫኛ ውስጥ ወደ ዝርዝር ልዩነት ይመራል። ይህ ሰራተኞቹን እና ማህበረሰቡን ወደ ኦፕሬሽናል ዲዛይኑ (ለ SREs ብቻ ክፍት ነው) የታቀዱ የውቅር ለውጦችን እንዲመለከቱ ያስችላቸዋል። የGitLabን የህዝብ ምሳሌ ለኮድ ከግል ምሳሌ ለ CI ቧንቧዎች በማጣመር ከ GitLab.com ውቅረት ማሻሻያ ነጻነታችንን እየጠበቅን አንድ የስራ ፍሰት እንጠብቃለን።

በስደት ጊዜ የተማርነው

በእንቅስቃሴው ወቅት፣ በኩበርኔትስ ውስጥ ለአዲስ ፍልሰት እና ማሰማራቶች የማመልከት ልምድ ተገኘ።

1. በተገኝነት ዞኖች መካከል ባለው የትራፊክ ፍሰት ምክንያት ወጪዎች ጨምረዋል።

በGitLab.com ላይ ለጂት ማከማቻ መርከቦች ዕለታዊ የመውጣት ስታቲስቲክስ (በቀን ባይት)

ጎግል አውታረ መረቡን ወደ ክልሎች ይከፋፍላል። እነዚያ, በተራው, በተገኝነት ዞኖች (AZ) የተከፋፈሉ ናቸው. ጂት ማስተናገጃ ከብዙ ዳታ ጋር የተቆራኘ ነው፣ስለዚህ የአውታረ መረብ መውጣትን መቆጣጠር ለእኛ አስፈላጊ ነው። በውስጣዊ ትራፊክ ውስጥ ፣ መውጣት ነፃ የሚሆነው በአንድ ተደራሽ ክልል ወሰን ውስጥ የሚቆይ ከሆነ ብቻ ነው። ይህ ዘገባ እስከተጠናቀረበት ድረስ፣ በተለመደው የስራ ቀን በግምት 100 ቴባ ውሂብን እየሰጠን ነው (ይህ ደግሞ ለጂት ማከማቻዎች ብቻ ነው)። በእኛ አሮጌ ቪኤም ላይ የተመሰረተ ቶፖሎጂ ውስጥ በተመሳሳይ ምናባዊ ማሽኖች ውስጥ የነበሩ አገልግሎቶች አሁን በተለያዩ የኩበርኔትስ ፖድዎች ውስጥ ይሰራሉ። ይህ ማለት አንዳንድ ለቪኤም አከባቢ የነበሩ ትራፊክ ከተገኙ ዞኖች ውጭ ሊሆኑ ይችላሉ።

የክልል GKE ስብስቦች ለተደጋጋሚነት ብዙ የተደራሽነት ዞኖችን እንዲያስፋፉ ያስችሉዎታል። የሚቻልበትን ሁኔታ እያጤንን ነው። የGKE ክልላዊ ክላስተር ወደ ነጠላ-ዞን ዘለላዎች ከፋፍል። ከፍተኛ መጠን ያለው ትራፊክ ለሚፈጥሩ አገልግሎቶች. ይህ በክላስተር ደረጃ ድግግሞሹን እየጠበቀ የመውጣት ወጪን ይቀንሳል።

2. ገደቦች, የንብረት ጥያቄዎች እና ልኬት

የምርት ትራፊክን ወደ registry.gitlab.com የሚቆጣጠሩ ቅጂዎች ብዛት። የትራፊክ ቁንጮዎች ~15:00 UTC ላይ።

የስደት ታሪካችን የጀመረው እ.ኤ.አ. ኦገስት 2019 ነው፣ የመጀመሪያውን አገልግሎት የ GitLab ኮንቴይነር መዝገብ ቤት ወደ ኩበርኔትስ ስንሰደድ። ይህ ከፍተኛ የትራፊክ ተልእኮ-ወሳኝ አገልግሎት ለመጀመሪያው ፍልሰት ጥሩ ነበር ምክንያቱም ጥቂት የውጭ ጥገኛዎች ያሉት ሀገር አልባ መተግበሪያ ነው። ያጋጠመን የመጀመሪያው ችግር በመስቀለኛ መንገዱ ላይ የማስታወስ ችሎታ ስለሌለው ብዙ ቁጥር ያላቸው ፖድዎች እየተገፉ ነው። በዚህ ምክንያት, ጥያቄዎችን እና ገደቦችን መለወጥ ነበረብን.

የማስታወሻ ፍጆታው ከጊዜ ወደ ጊዜ እየጨመረ በሚሄድ መተግበሪያ ውስጥ ለጥያቄዎች ዝቅተኛ ዋጋዎች (ለእያንዳንዱ ፖድ ማህደረ ትውስታን መቆጠብ) እና “ለጋስ” የአጠቃቀም ገደብ ጋር ተዳምሮ ወደ ሙሌትነት እንዳመራ ታወቀ። (ሙሌት) አንጓዎች እና ከፍተኛ የመፈናቀል ደረጃ. ይህንን ችግር ለመቋቋም, ነበር ጥያቄዎችን ለመጨመር እና ገደቦችን ለመቀነስ ተወስኗል. ይህ ግፊቱን ከአንጓዎቹ ላይ አውጥቶ በመስቀለኛ መንገዱ ላይ ብዙ ጫና የማይፈጥር የፖድ የሕይወት ዑደት አቀረበ። አሁን ፍልሰትን የምንጀምረው ለጋስ (እና ተመሳሳይ በሚመስል) ጥያቄ እና እሴቶችን በመገደብ፣ እንደ አስፈላጊነቱ በማስተካከል ነው።

3. መለኪያዎች እና ምዝግብ ማስታወሻዎች

የመሠረተ ልማት ክፍፍል በማዘግየት፣ በስህተት መጠን እና በተቋቋመ ሙሌት ላይ ያተኩራል። የአገልግሎት ደረጃ ግቦች (SLO) የተገናኘ የስርዓታችን አጠቃላይ ተገኝነት.

ባለፈው ዓመት በመሠረተ ልማት ክፍል ውስጥ ካሉት ቁልፍ ክንውኖች አንዱ ከኤስ.ኦ.ኦ ጋር በክትትልና በመስራት ላይ የተደረጉ ማሻሻያዎች ናቸው። SLOs ለግል አገልግሎቶች ግቦችን እንድናወጣ ፈቅዶልናል፣ ይህም በስደት ወቅት በቅርብ እንከታተል ነበር። ነገር ግን በዚህ የተሻሻለ ታዛቢነት እንኳን, መለኪያዎችን እና ማንቂያዎችን በመጠቀም ወዲያውኑ ችግሮችን ማየት ሁልጊዜ አይቻልም. ለምሳሌ፣ በማዘግየት እና በስህተት ተመኖች ላይ በማተኮር፣ ለሚሰደደው አገልግሎት ሁሉንም የአጠቃቀም ጉዳዮች ሙሉ በሙሉ አንሸፍነውም።

ይህ ጉዳይ አንዳንድ የሥራ ጫናዎችን ወደ ክላስተር ከተዘዋወረ በኋላ ወዲያውኑ ተገኝቷል። በተለይ ተግባራትን መፈተሽ ሲገባን እራሷን ጠንከር አድርጋለች፣ የጥያቄዎች ብዛት ትንሽ ነው፣ ነገር ግን በጣም የተለየ የውቅረት ጥገኞች። ከስደት ዋና ዋና ትምህርቶች መካከል አንዱ መለኪያዎችን ብቻ ሳይሆን የምዝግብ ማስታወሻዎችን እና "ረጅም ጅራትን" ሲቆጣጠሩ ግምት ውስጥ ማስገባት አስፈላጊ ነው. (ይህ ስለ እንደዚህ ያለ ስርጭት በገበታው ላይ - በግምት. መተርጎም) ስህተቶች. አሁን ለእያንዳንዱ ፍልሰት ወደ ምዝግብ ማስታወሻዎች ዝርዝር የጥያቄዎች ዝርዝር እናካትታለን። (የመዝገብ መጠይቆች) እና በችግሮች ጊዜ ከአንድ ፈረቃ ወደ ሌላ የሚሸጋገሩ ግልጽ የመመለሻ ሂደቶችን እናቅዳለን።

በአሮጌው ቪኤም መሠረተ ልማት እና አዲሱ በኩበርኔትስ ላይ ተመስርተው ተመሳሳይ ጥያቄዎችን በትይዩ ማገልገል ልዩ ፈተና ነበር። እንደ ማንሳት እና ፈረቃ ፍልሰት (መተግበሪያዎችን “እንደሆነ” ወደ አዲስ መሠረተ ልማት በፍጥነት ማስተላለፍ፤ ለተጨማሪ ዝርዝሮች፣ ለምሳሌ ይመልከቱ። እዚህ - በግምት. መተርጎም)በ "አሮጌ" ቪኤም እና ኩበርኔትስ ላይ ያለው ትይዩ ስራ የክትትል መሳሪያዎች ከሁለቱም አከባቢዎች ጋር ተኳሃኝ እንዲሆኑ እና መለኪያዎችን ወደ አንድ እይታ ማጣመር መቻልን ይጠይቃል። በሽግግሩ ወቅት ተከታታይ ታዛቢነትን ለማግኘት ተመሳሳይ ዳሽቦርዶችን እና የምዝግብ ማስታወሻዎችን መጠቀማችን አስፈላጊ ነው።

4. ትራፊክን ወደ አዲሱ ክላስተር መቀየር

ለ GitLab.com፣ አንዳንድ አገልጋዮች በስር ተመድበዋል። የካናሪ ደረጃ. ካናሪ ፓርክ የውስጥ ፕሮጀክቶቻችንን ያገለግላል እና ይችላል በተጠቃሚዎች የነቃ. ነገር ግን በዋነኛነት የተነደፈው በመሠረተ ልማት እና አተገባበር ላይ የተደረጉ ለውጦችን ለመሞከር ነው። የመጀመሪያው የፍልሰት አገልግሎት የጀመረው የተወሰነ መጠን ያለው የውስጥ ትራፊክ በመቀበል ሲሆን ሁሉንም ትራፊክ ወደ ክላስተር ከመግፋታችን በፊት SLO መሟላቱን ለማረጋገጥ ይህንን ዘዴ መጠቀማችንን እንቀጥላለን።

በስደት ላይ ይህ ማለት በመጀመሪያ ወደ ውስጣዊ ፕሮጀክቶች የሚቀርቡ ጥያቄዎች ወደ ኩበርኔትስ ይላካሉ, ከዚያም ቀስ በቀስ የቀረውን ትራፊክ ወደ ክላስተር በ HAProxy በኩል ለጀርባ ክብደት በመቀየር እንቀይራለን. ከቪኤም ወደ ኩበርኔትስ በሚደረገው ሽግግር በአሮጌው እና በአዲሱ መሠረተ ልማት መካከል ያለውን ትራፊክ ለማዞር ቀላል መንገድ መኖሩ እና በዚህም መሠረት ከስደት በኋላ ባሉት የመጀመሪያዎቹ ጥቂት ቀናት ውስጥ የድሮውን መሠረተ ልማት መልሶ ለመልሶ ማቆየት በጣም ጠቃሚ እንደሆነ ግልጽ ሆነ።

5. የፖዳዎች መለዋወጫ ኃይል እና አጠቃቀማቸው

ወዲያውኑ ማለት ይቻላል፣ የሚከተለው ችግር ተለይቷል፡ ለመመዝገቢያ አገልግሎት የሚውሉ ፖድዎች በፍጥነት ጀመሩ፣ ነገር ግን ለሲዴኪክ ፖድ ማስጀመር እስከ ደረሰ። ሁለት ደቂቃዎች. ስራን በፍጥነት እና በፍጥነት መስራት ለሚፈልጉ ሰራተኞች የስራ ጫና ወደ ኩበርኔትስ ማዛወር ስንጀምር የሲዴኪቅ ረጅም ሩጫ ፖድዎች ችግር ፈጠሩ።

በዚህ አጋጣሚ ትምህርቱ በኩበርኔትስ የሚገኘው ሆራይዞንታል ፖድ አውቶስካለር (HPA) የትራፊክ እድገትን በጥሩ ሁኔታ የሚይዝ ቢሆንም የስራ ጫና ባህሪያትን ግምት ውስጥ ማስገባት እና የመለዋወጫ አቅም መመደብ አስፈላጊ ነው (በተለይም ፍላጎት ባልተመጣጠነበት ጊዜ)። በእኛ ሁኔታ፣ ድንገተኛ የስራ ፍንዳታ ነበር፣ ይህም ፈጣን መጠነ-መጠን አስከትሏል፣ ይህም የመስቀለኛ ገንዳውን መጠን ከማሳየታችን በፊት የሲፒዩ ሀብቶችን ሙሌት አስገኝቷል።

በተቻለ መጠን ከክላስተር ለማውጣት ሁል ጊዜ ፈታኝ ነው፣ ነገር ግን በመጀመሪያ የአፈጻጸም ችግሮች አጋጥመውናል እና አሁን በለጋስ ፖድ በጀት እንጀምራለን እና በኋላ ላይ ዝቅ በማድረግ SLOን በቅርበት እንከታተላለን። ለ Sidekiq አገልግሎት ፖድ ማስጀመር በከፍተኛ ደረጃ የተፋጠነ ሲሆን አሁን በአማካይ 40 ሰከንድ ያህል ይወስዳል። የፖድ ጅምር ጊዜን ከመቀነስ ሁለቱንም GitLab.com እና የእኛ በራስ የሚተዳደር የመጫኛ ተጠቃሚ የሆነውን ኦፊሴላዊውን GitLab Helm Chart አሸነፈ።

መደምደሚያ

እያንዳንዱን አገልግሎት ከተሸጋገርን በኋላ ኩበርኔትስን በምርት ውስጥ መጠቀማችን በሚያስገኘው ጥቅም ደስ ብሎናል፡ ፈጣን እና ደህንነቱ የተጠበቀ የመተግበሪያ ማሰማራት፣ መመዘን እና ይበልጥ ቀልጣፋ የሃብት ምደባ። ከዚህም በላይ የስደት ጥቅሞች ከ GitLab.com አገልግሎት አልፈው ይሄዳሉ። በኦፊሴላዊው Helm Chart ላይ በእያንዳንዱ መሻሻል፣ ተጠቃሚዎቹም ይጠቀማሉ።

የኩበርኔትስ የስደት ጀብዱ ታሪክ እንደተደሰተ ተስፋ አደርጋለሁ። ሁሉንም አዳዲስ አገልግሎቶች ወደ ክላስተር ማሸጋገራችንን እንቀጥላለን። ተጨማሪ መረጃ በሚከተሉት ህትመቶች ውስጥ ይገኛል።

PS ከተርጓሚ

በብሎጋችን ላይ ያንብቡ፡-

ምንጭ: hab.com

GitLab.com ወደ ኩበርኔትስ ከተሰደድንበት ዓመት የኛ ግኝቶች