Kubernetes የሰራተኛ አንጓዎች: ብዙ ትናንሽ ወይም ጥቂት ትላልቅ?

የኩበርኔትስ ክላስተር ሲፈጥሩ ጥያቄዎች ሊነሱ ይችላሉ-ምን ያህል የሰራተኛ አንጓዎች ለማዋቀር እና ምን ዓይነት ናቸው? በግቢው ላይ ላለ ክላስተር ምን ይሻላል፡ ጥቂት ኃይለኛ አገልጋዮችን ይግዙ ወይም በመረጃ ማእከልዎ ውስጥ ደርዘን ያረጁ ማሽኖችን ይጠቀሙ? እና በደመና ውስጥ, ስምንት ነጠላ-ኮር ወይም ሁለት ባለአራት-ኮር ምሳሌዎችን መውሰድ የተሻለ ነው?

የእነዚህ ጥያቄዎች መልሶች በአንቀጹ ውስጥ ይገኛሉ. ዳንኤል ዋይቤል፣ የሶፍትዌር መሐንዲስ እና የLearnk8s የመማሪያ ፕሮጀክት አሰልጣኝ በትእዛዝ ትርጉም Kubernetes aaS ከ Mail.ru.

የክላስተር አቅም

በአጠቃላይ የኩበርኔትስ ክላስተር እንደ ትልቅ "ሱፐርኖድ" ሊታሰብ ይችላል. አጠቃላይ የማስላት ኃይሉ የሁሉም አካላት አንጓዎች ኃይላት ድምር ነው።

የሚፈለገውን የክላስተር አቅም ግብ ለማሳካት ብዙ መንገዶች አሉ። ለምሳሌ, በአጠቃላይ 8 ፕሮሰሰር ኮር እና 32 ጂቢ ራም አቅም ያለው ክላስተር እንፈልጋለን, ምክንያቱም የመተግበሪያዎች ስብስብ ብዙ ሀብቶችን ይፈልጋል. ከዚያ ሁለት ኖዶች 16 ጂቢ ማህደረ ትውስታ ወይም አራት 8 ጂቢ ማህደረ ትውስታ ፣ ሁለት ባለአራት ኮር ፕሮሰሰር ወይም አራት ባለሁለት ኮር አንዶችን መጫን ይችላሉ።

ክላስተር ለመፍጠር ሁለት ሊሆኑ የሚችሉ መንገዶች እዚህ አሉ።

ሁለቱም አማራጮች ተመሳሳይ አቅም ያለው ክላስተር ያስገኛሉ, ነገር ግን የታችኛው ውቅረት አራት ትናንሽ አንጓዎች እና የላይኛው ውቅረት ሁለት ትላልቅ አንጓዎች አሉት.

የትኛው አማራጭ የተሻለ ነው?

ይህንን ጥያቄ ለመመለስ የሁለቱም አማራጮችን ጥቅሞች አስቡበት. በሰንጠረዥ ውስጥ ጠቅለል አድርገነዋል።

በርካታ ትላልቅ አንጓዎች

ብዙ ትናንሽ አንጓዎች

ቀላል የክላስተር አስተዳደር (በግንባታው ላይ ከሆነ)

ለስላሳ አውቶማቲክ መለኪያ

ርካሽ (በቤት ውስጥ ከሆነ)

ዋጋው ትንሽ የተለየ ነው (በደመና ውስጥ)

ሀብትን የሚጨምሩ መተግበሪያዎችን ማሄድ ይችላል።

ሙሉ ማባዛት።

ግብዓቶች የበለጠ በብቃት ጥቅም ላይ ይውላሉ (በስርዓት ዲሞኖች ላይ ያነሰ ክፍያ
ከፍተኛ ክላስተር አለመሳካት።

እባክዎን ስለ ሥራ አንጓዎች ብቻ እየተነጋገርን እንዳለ ያስተውሉ. የማስተር ኖዶችን ቁጥር እና መጠን መምረጥ ሙሉ ለሙሉ የተለየ ርዕስ ነው.

እንግዲያው, እያንዳንዱን ንጥል ከጠረጴዛው ላይ በበለጠ ዝርዝር እንወያይ.

የመጀመሪያው አማራጭ: በርካታ ትላልቅ አንጓዎች

በጣም ጽንፈኛው አማራጭ ለጠቅላላው የክላስተር አቅም አንድ የሰራተኛ መስቀለኛ መንገድ ነው። ከላይ ባለው ምሳሌ ይህ 16 ሲፒዩ ኮር እና 16 ጂቢ ራም ያለው አንድ የሰራተኛ መስቀለኛ መንገድ ነው።

ደማቅ

ፕላስ #1 ቀላል አስተዳደር
ከጠቅላላው መርከቦች ይልቅ ብዙ ማሽኖችን ማስተዳደር ቀላል ነው። ማሻሻያዎችን ያውጡ እና በፍጥነት ያስተካክላሉ፣ ለማመሳሰል ቀላል ነው። በፍፁም ቁጥሮች ውስጥ ያሉ ውድቀቶች ቁጥርም ያነሰ ነው.

እባክዎን ያስታውሱ ሁሉም ከላይ ያሉት የሚተገበሩት በእርስዎ ሃርድዌር፣ አገልጋይዎ ላይ ነው፣ እና በደመና ሁኔታዎች ላይ አይደለም።

በደመና ውስጥ, ሁኔታው ​​የተለየ ነው. የሚተዳደረው በደመና አገልግሎት አቅራቢ ነው። ስለዚህ በደመና ውስጥ አስር ኖዶችን ማስተዳደር አንድ መስቀለኛ መንገድን ከማስተዳደር ብዙም አይለይም።

በደመና ውስጥ ባሉ ፖድ መካከል የትራፊክ መሄጃ እና ጭነት ማመጣጠን በራስ ሰር ይከናወናል: ከበይነመረቡ የሚመጣው ትራፊክ ወደ ዋናው የጭነት ሚዛን ይመራል ፣ ይህም ትራፊክ ወደ አንዱ መስቀለኛ መንገድ ወደብ ይመራል (የኖድፖርት አገልግሎት ወደብ በእያንዳንዱ የክላስተር መስቀለኛ 30000-32767 ክልል ውስጥ ያዘጋጃል)። በ kube-proxy የተቀመጡት ደንቦች ትራፊክን ከመስቀለኛ ወደ ፖድ አቅጣጫ አዙረዋል። በሁለት አንጓዎች ላይ ለአሥር ፖድዎች ምን እንደሚመስሉ እነሆ።

በተጨማሪም ቁጥር 2፡ በአንድ መስቀለኛ መንገድ ያነሰ ዋጋ
ኃይለኛ መኪና የበለጠ ውድ ነው, ነገር ግን የዋጋ ጭማሪው የግድ መስመራዊ አይደለም. በሌላ አነጋገር 10 ጂቢ ማህደረ ትውስታ ያለው አንድ ባለ አስር ​​ኮር አገልጋይ ብዙውን ጊዜ ተመሳሳይ መጠን ያለው ማህደረ ትውስታ ካላቸው አስር ነጠላ-ኮር ሰርቨሮች ርካሽ ነው።

ግን ይህ ደንብ ብዙውን ጊዜ በደመና አገልግሎቶች ውስጥ እንደማይሰራ ልብ ይበሉ። አሁን ባለው የዋጋ አሰጣጥ እቅዶች በሁሉም ዋና ዋና የደመና አገልግሎት አቅራቢዎች ዋጋዎች ከአቅም ጋር በመስመር ይጨምራሉ።

ስለዚህ፣ በደመናው ውስጥ አብዛኛውን ጊዜ ይበልጥ ኃይለኛ በሆኑ አገልጋዮች ላይ ማስቀመጥ አይችሉም።

ፕሮ # 3፡ ሃብት-የተራቡ መተግበሪያዎችን ማሄድ ይችላል።
አንዳንድ መተግበሪያዎች በክላስተር ውስጥ ኃይለኛ አገልጋዮችን ይፈልጋሉ። ለምሳሌ የማሽን መማሪያ ስርዓት 8 ጂቢ ማህደረ ትውስታ የሚፈልግ ከሆነ በ 1 ጂቢ ኖዶች ላይ ማሄድ አይችሉም ነገር ግን ቢያንስ አንድ ትልቅ የሰራተኛ መስቀለኛ መንገድ ካለ ብቻ ነው.

Минусы

Cons #1፡ በአንድ መስቀለኛ መንገድ ብዙ ፖድ
ተመሳሳይ ተግባር በጥቂቱ አንጓዎች ላይ እየሄደ ከሆነ, ከዚያም እያንዳንዳቸው በተፈጥሯቸው ብዙ እንክብሎች ይኖራቸዋል.

ይህ ችግር ሊሆን ይችላል.

ምክንያቱ እያንዳንዱ ሞጁል ከኮንቴይነር የሩጫ ጊዜ (እንደ ዶከር) እንዲሁም ኩቤሌት እና አማካሪ (cAdvisor) ላይ የተወሰነ ወጪን ስለሚያስተዋውቅ ነው።

ለምሳሌ, kubelet በመደበኛነት ሁሉንም ኮንቴይነሮች በመስቀለኛ መንገድ ላይ ለኑሮነት ይመረምራል - ብዙ ኮንቴይነሮች, ኩቤሌት ብዙ ስራዎችን ማከናወን አለበት.

CAdvisor በአስተናጋጁ ላይ ላሉ ሁሉም ኮንቴይነሮች የሀብት አጠቃቀም ስታቲስቲክስን ይሰበስባል እና kubelet ይህንን መረጃ በመደበኛነት ይጠይቃል እና በኤፒአይ በኩል ያቀርባል። እንደገና፣ ተጨማሪ ኮንቴይነሮች ማለት ለሁለቱም ለ cAdvisor እና kubelet ተጨማሪ ስራ ማለት ነው።

የሞጁሎች ብዛት ካደገ, ስርዓቱን ሊያዘገይ አልፎ ተርፎም አስተማማኝነቱን ሊያሳጣው ይችላል.

በኩበርኔትስ ማከማቻ ውስጥ፣ አንዳንድ የሚል ቅሬታ አቅርቧልበመስቀለኛ መንገዱ ላይ ያሉት ሁሉም ኮንቴይነሮች መደበኛ የኩቤሌት ቼኮች በጣም ረጅም ጊዜ ስለሚወስዱ አንጓዎቹ በ Ready/NotReady ሁኔታዎች መካከል ይዝለሉ።
በዚህ ምክንያት Kubernetes በአንድ መስቀለኛ መንገድ ከ110 ፖድዎች በላይ ማስተናገድን ይመክራል።. በመስቀለኛ መንገዱ አፈጻጸም ላይ በመመስረት በአንድ መስቀለኛ መንገድ ተጨማሪ ፖዶችን ማሄድ ይችላሉ, ነገር ግን ችግሮች ሊኖሩ እንደሚችሉ ወይም ሁሉም ነገር በጥሩ ሁኔታ እንደሚሰራ ለመተንበይ አስቸጋሪ ነው. ስራውን አስቀድመው መሞከር ተገቢ ነው.

Cons #2፡ የማባዛት ገደብ
በጣም ጥቂት አንጓዎች የመተግበሪያውን ማባዛት ውጤታማ ደረጃን ይገድባሉ። ለምሳሌ፣ ከአምስት ቅጂዎች ጋር በጣም የሚገኝ አፕሊኬሽን ካሎት፣ ግን ሁለት ኖዶች ብቻ፣ የመተግበሪያው ውጤታማ የማባዛት ደረጃ ወደ ሁለት ይቀንሳል።

አምስት ቅጂዎች በሁለት አንጓዎች ላይ ብቻ ሊሰራጩ ይችላሉ, እና ከመካከላቸው አንዱ ወደታች ከሆነ, ወዲያውኑ ብዙ ቅጂዎችን ያሰናክላል.

አምስት ኖዶች ወይም ከዚያ በላይ ካልዎት፣ እያንዳንዱ ቅጂ በተለየ መስቀለኛ መንገድ ላይ ይሰራል፣ እና ነጠላ የመስቀለኛ መንገድ አለመሳካት ቢበዛ አንድ ቅጂ ያስወግዳል።

ስለዚህ ከፍተኛ የመገኘት መስፈርቶች በክላስተር ውስጥ የተወሰነ ዝቅተኛ የአንጓዎች ብዛት ሊያስፈልጋቸው ይችላል።

ጉዳቶች # 3: የከፋ ውድቀት ውጤቶች
አነስተኛ ቁጥር ያላቸው አንጓዎች, እያንዳንዱ ውድቀት የበለጠ አስከፊ ውጤት አለው. ለምሳሌ፣ ሁለት አንጓዎች ብቻ ካሉዎት እና አንዱ ካልተሳካ፣ ከሞጁሎችዎ ውስጥ ግማሹ ወዲያውኑ ይጠፋል።

በእርግጥ ኩበርኔትስ የስራ ጫናውን ከተሳካው መስቀለኛ መንገድ ወደ ሌሎች ያወርዳል። ነገር ግን ጥቂቶቹ ካሉ, የነፃው አቅም በቂ ላይሆን ይችላል. በዚህ ምክንያት፣ ያልተሳካውን መስቀለኛ መንገድ እስክታመጣ ድረስ አንዳንድ ማመልከቻዎችህ አይገኙም።

ስለዚህ, ብዙ አንጓዎች, የሃርድዌር ውድቀቶች ተጽእኖ ይቀንሳል.

Cons #4፡ ተጨማሪ የራስ-ስኬል ደረጃዎች
ኩበርኔትስ ለደመና መሠረተ ልማት ክላስተር አውቶማቲክ ሲስተም አለው፣ ይህም እንደ ወቅታዊ ፍላጎቶች ኖዶችን በራስ ሰር ለመጨመር ወይም ለማስወገድ ያስችላል። በትልልቅ አንጓዎች፣ አውቶማቲካሊንግ ይበልጥ ጥርት ያለ እና ይበልጥ የተጨናነቀ ይሆናል። ለምሳሌ, በሁለት አንጓዎች ላይ, ተጨማሪ መስቀለኛ መንገድ መጨመር በአንድ ጊዜ የክላስተር አቅም በ 50% ይጨምራል. እና ለእነዚህ ሀብቶች ባይፈልጉም እንኳ መክፈል አለቦት።

ስለዚህ፣ አውቶማቲክ ክላስተር ስኬል ለመጠቀም ካቀዱ፣ ትንንሾቹ አንጓዎች፣ የበለጠ ተለዋዋጭ እና ወጪ ቆጣቢ ልኬትን ያገኛሉ።

አሁን ብዙ ቁጥር ያላቸው ትናንሽ ኖዶች ጥቅሞችን እና ጉዳቶችን አስቡባቸው.

ሁለተኛ አማራጭ: ብዙ ትናንሽ አንጓዎች

የዚህ አቀራረብ ጥቅሞች, በእውነቱ, ከበርካታ ትላልቅ አንጓዎች ጋር ከተቃራኒው አማራጭ ድክመቶች ይከተላሉ.

ደማቅ

ፕላስ #1፡ ያነሰ የብልሽት ተጽዕኖ
ብዙ አንጓዎች, በእያንዳንዱ መስቀለኛ መንገድ ላይ ትንሽ ፖዶች. ለምሳሌ በአስር አንጓዎች አንድ መቶ ሞጁሎች ካሉዎት እያንዳንዱ መስቀለኛ መንገድ በአማካይ አስር ​​ሞጁሎች ይኖረዋል።

ስለዚህ, አንዱ መስቀለኛ መንገድ ካልተሳካ, ከስራው ውስጥ 10% ብቻ ያጣሉ. ምናልባት አነስተኛ ቁጥር ያላቸው ቅጂዎች ብቻ ሊጎዱ ይችላሉ, እና አፕሊኬሽኖቹ በአጠቃላይ እንደነበሩ ይቆያሉ.

በተጨማሪም፣ የተቀሩት አንጓዎች ላልተሳካው የመስቀለኛ ክፍል የሥራ ጫና በቂ የነፃ ግብዓቶች ይኖሯቸዋል፣ ስለዚህ ኩበርኔትስ ፖድዎችን ለሌላ ጊዜ ለማስያዝ ነፃ ነው እና ማመልከቻዎችዎ በአንፃራዊነት በፍጥነት ወደ ተግባራዊ ሁኔታ ይመለሳሉ።

ፕላስ #2፡ ጥሩ ማባዛት።
በቂ አንጓዎች ካሉ የኩበርኔትስ መርሐግብር አዘጋጅ ለሁሉም ቅጂዎች የተለያዩ አንጓዎችን ሊመድብ ይችላል። በዚህ መንገድ፣ የመስቀለኛ መንገድ ብልሽት ሲከሰት፣ አንድ ቅጂ ብቻ ይጎዳል እና ማመልከቻው እንዳለ ይቆያል።

Минусы

Cons #1፡ ለማስተዳደር ከባድ
ተጨማሪ አንጓዎች ለማስተዳደር በጣም አስቸጋሪ ናቸው. ለምሳሌ, እያንዳንዱ የኩበርኔትስ መስቀለኛ መንገድ ከሌሎቹ ሁሉ ጋር መገናኘት አለበት, ማለትም የግንኙነቶች ብዛት በአራት እጥፍ ያድጋል, እና እነዚህ ሁሉ ግንኙነቶች ክትትል ያስፈልጋቸዋል.

በ Kubernetes Controller Manager ውስጥ ያለው የመስቀለኛ መንገድ መቆጣጠሪያ ጤናን ለመፈተሽ በክላስተር ውስጥ ያሉትን ሁሉንም አንጓዎች በመደበኛነት ያቋርጣል - ብዙ ኖዶች ፣ በተቆጣጣሪው ላይ ያለው ጭነት ይጨምራል።

በ etcd ዳታቤዝ ላይ ያለው ጭነትም እያደገ ነው - እያንዳንዱ ኩቤሌት እና የኩቤ ፕሮክሲ ጥሪዎች ተመልካች ለ etcd (በኤፒአይ በኩል) ወዘተ የነገር ማሻሻያዎችን ማስተላለፍ ያለበት።

በአጠቃላይ እያንዳንዱ የሰራተኛ መስቀለኛ መንገድ በማስተር ኖዶች የስርዓት ክፍሎች ላይ ተጨማሪ ጭነት ይጭናል.

ኩበርኔትስ በክላስተር በይፋ ይደግፋል እስከ 5000 ኖዶች. ነገር ግን, በተግባር, ቀድሞውኑ 500 ኖዶች ቀላል ያልሆኑ ችግሮችን ሊያስከትል ይችላል.

ብዙ ቁጥር ያላቸውን የሰራተኛ አንጓዎች ለማስተዳደር የበለጠ ኃይለኛ የማስተር ኖዶችን መምረጥ አለብዎት። ለምሳሌ, kube-up በራስ-ሰር ይጫናል ትክክለኛው የቪኤም መጠን ለዋናው መስቀለኛ መንገድ በሠራተኛ አንጓዎች ብዛት ላይ በመመስረት። ማለትም ፣ ብዙ የሰራተኛ አንጓዎች ፣ ዋና ኖዶች የበለጠ ውጤታማ መሆን አለባቸው።

እነዚህን ልዩ ችግሮች ለመፍታት እንደ ልዩ እድገቶች አሉ ምናባዊ Kubelet. ይህ ስርዓት ገደቦችን እንዲያልፉ እና እጅግ በጣም ብዙ የሰራተኛ አንጓዎች ያሏቸው ስብስቦችን እንዲገነቡ ያስችልዎታል።

Cons #2፡ ተጨማሪ ክፍያ
በእያንዳንዱ የሰራተኛ መስቀለኛ መንገድ ላይ ኩበርኔትስ የሲስተም ዴሞኖች ስብስብ ያካሂዳል - እነዚህም የመያዣ ጊዜውን (እንደ ዶከር)፣ kube-proxy እና kubelet፣ cAdvisorን ጨምሮ። አንድ ላይ ሆነው የተወሰነ ቋሚ መጠን ያላቸውን ሀብቶች ይበላሉ.

ብዙ ትናንሽ ኖዶች ካሉዎት፣ በእያንዳንዱ መስቀለኛ ክፍል ውስጥ ያለው የዚህ የላይኛው ክፍል መጠን የበለጠ ነው። ለምሳሌ፣ ሁሉም የአንድ መስቀለኛ መንገድ ዲሞኖች በአንድ ላይ 0,1 ሲፒዩ ኮር እና 0,1 ጂቢ ማህደረ ትውስታ ይጠቀማሉ። ባለ አንድ ባለ አስር ​​ኮር ኖድ ከ10 ጂቢ ማህደረ ትውስታ ጋር፣ እንግዲያውስ ዴሞኖች የክላስተር አቅም 1% ይበላሉ። በሌላ በኩል፣ 1 ጂቢ ማህደረ ትውስታ ባላቸው አስር ነጠላ ኮር ኖዶች ላይ፣ ዴሞኖች የክላስተር አቅም 10% ይወስዳሉ።

ስለዚህ, ጥቂት አንጓዎች, የመሠረተ ልማት አውታሮች ይበልጥ ውጤታማ በሆነ መንገድ ጥቅም ላይ ይውላሉ.

ጉዳቶች ቁጥር 3፡ ውጤታማ ያልሆነ የሃብት አጠቃቀም
በትናንሽ አንጓዎች ላይ, ሁኔታው ​​የቀረው የንብረት ክፍልፋዮች ማንኛውንም የሥራ ጫና ለመመደብ በጣም ትንሽ በመሆናቸው ጥቅም ላይ ሳይውሉ ይቆያሉ.

ለምሳሌ, እያንዳንዱ ፖድ 0,75 ጂቢ ማከማቻ ያስፈልገዋል. አስር አንጓዎች ካሉዎት እያንዳንዳቸው 1 ጂቢ ማህደረ ትውስታ ያላቸው አስር ፖዶችን ማሄድ ይችላሉ - በመጨረሻ እያንዳንዱ መስቀለኛ 0,25 ጂቢ ጥቅም ላይ ያልዋለ ማህደረ ትውስታ ይኖረዋል.

ይህ ማለት ከጠቅላላው የክላስተር ማህደረ ትውስታ 25% ይባክናል ማለት ነው.

10 ጂቢ ማህደረ ትውስታ ባለው ትልቅ መስቀለኛ መንገድ ላይ ከእነዚህ ሞጁሎች ውስጥ 13 ቱን ማሄድ ይችላሉ - እና አንድ ጥቅም ላይ ያልዋለ የ 0,25 ጂቢ ቁራጭ ብቻ ይኖራል.

በዚህ ሁኔታ, የማስታወስ ችሎታው 2,5% ብቻ ይባክናል.

ስለዚህ, ሀብቶች በተሻለ ሁኔታ በትላልቅ አንጓዎች ላይ ጥቅም ላይ ይውላሉ.

ጥቂት ትላልቅ አንጓዎች ወይስ ብዙ ትናንሽ?

ስለዚህ, የትኛው የተሻለ ነው: በክላስተር ውስጥ ጥቂት ትላልቅ አንጓዎች ወይም ብዙ ትናንሽ? እንደ ሁልጊዜው, ምንም ግልጽ መልስ የለም. አብዛኛው የሚወሰነው በመተግበሪያው ዓይነት ላይ ነው።

ለምሳሌ, አንድ መተግበሪያ 10 ጂቢ ማህደረ ትውስታ ከሚያስፈልገው, ግልጽ የሆነው ምርጫ ወደ ትላልቅ ኖዶች መሄድ ነው. እና አፕሊኬሽኑ ለከፍተኛ አቅርቦት አሥር ጊዜ ማባዛትን የሚፈልግ ከሆነ ቅጂዎችን በሁለት አንጓዎች ላይ ብቻ የማስቀመጥ አደጋ ዋጋ የለውም - በክላስተር ውስጥ ቢያንስ አስር አንጓዎች ሊኖሩ ይገባል።

በመካከለኛ ሁኔታዎች ውስጥ, በእያንዳንዱ አማራጭ ጥቅሞች እና ጉዳቶች ላይ በመመርኮዝ ምርጫ ያድርጉ. ምናልባት አንዳንድ ክርክሮች ከሌሎች ይልቅ ከእርስዎ ሁኔታ የበለጠ ተዛማጅ ናቸው.

እና ሁሉንም ተመሳሳይ መጠን ያላቸውን አንጓዎች ለመሥራት በጭራሽ አስፈላጊ አይደለም. ተመሳሳይ መጠን ካላቸው አንጓዎች ጋር በመጀመሪያ መሞከርን የሚከለክለው ነገር የለም፣ ከዚያም የተለየ መጠን ያላቸውን ኖዶች ለእነሱ በመጨመር በክላስተር ውስጥ በማጣመር። የኩበርኔትስ ክላስተር የሰራተኛ አንጓዎች ሙሉ ለሙሉ የተለያዩ ሊሆኑ ይችላሉ። ስለዚህ የሁለቱም አቀራረቦችን ጥቅሞች ለማጣመር መሞከር ይችላሉ.

አንድም የምግብ አዘገጃጀት መመሪያ የለም, እና እያንዳንዱ ሁኔታ የራሱ የሆነ ልዩነት አለው, እና ምርት ብቻ እውነቱን ያሳያል.

ትርጉም በደመና መድረክ ቡድን ተዘጋጅቷል። Mail.ru የደመና መፍትሄዎች.

ስለ ኩበርኔትስ ተጨማሪ፡ ዘለላዎችን ለማስተዳደር እና ለማሰማራት 25 ጠቃሚ መሳሪያዎች.

ምንጭ: hab.com