ቆንስል + iptables = : 3

በ 2010 ኩባንያው መጋባት 50 አገልጋዮች እና ቀላል የአውታረ መረብ ሞዴል ነበሩ: የኋላ, የፊት እና ፋየርዎል. የአገልጋዮች ቁጥር አድጓል፣ ሞዴሉ ይበልጥ ውስብስብ ሆነ፡ ማስተናገጃ፣ የተለዩ VLANs ከኤሲኤሎች፣ ከዚያም ቪፒኤን ከVRFs ጋር፣ VLANs ከኤሲኤልኤል በኤል 2፣ VRFs ከኤሲኤልኤል በኤል 3። ጭንቅላት እየተሽከረከረ ነው? በኋላ የበለጠ አስደሳች ይሆናል.

16 ሰርቨሮች ሲኖሩ፣ ከብዙ የተለያዩ ክፍሎች ጋር ያለ እንባ መሥራት የማይቻል ሆነ። ስለዚህ ሌላ መፍትሄ አመጣን። የNetfilter ቁልል ወስደን፣ ቆንስልን እንደ የውሂብ ምንጭ ጨምረነዋል፣ እና በፍጥነት የሚሰራጭ ፋየርዎል አግኝተናል። በራውተሮች ላይ ኤሲኤሎችን ተክተው እንደ ውጫዊ እና ውስጣዊ ፋየርዎል ይጠቀሙባቸው ነበር። መሳሪያውን በተለዋዋጭ መንገድ ለማስተዳደር በየቦታው ጥቅም ላይ የዋለውን የ BEFW ስርዓት ገንብተናል፡ የተጠቃሚውን ወደ ምርት አውታረመረብ መድረስን ከማስተዳደር ጀምሮ የኔትወርክ ክፍሎችን አንዳቸው ከሌላው እስከ መለየት ድረስ።

ቆንስል + iptables = : 3

እሱ ሁሉም ነገር እንዴት እንደሚሰራ እና ለምን ይህን ስርዓት በቅርበት መመልከት እንዳለብዎት ይነግርዎታል. ኢቫን አጋርኮቭ (annmuor) በኩባንያው ሚንስክ ልማት ማእከል ውስጥ የጥገና ክፍል የመሠረተ ልማት ደህንነት ቡድን መሪ ነው። ኢቫን የ SELinux አድናቂ ነው፣ ፐርልን ይወዳል እና ኮድ ይጽፋል። የመረጃ ደህንነት ቡድን መሪ እንደመሆኑ መጠን Wargamingን ከሰርጎ ገቦች ለመጠበቅ እና በኩባንያው ውስጥ ያሉትን ሁሉንም የጨዋታ አገልጋዮች አሠራር ለማረጋገጥ በምዝግብ ማስታወሻዎች ፣ በመጠባበቂያዎች እና በ R&D በመደበኛነት ይሰራል።

ታሪካዊ ዳራ

እንዴት እንዳደረግን ከመናገሬ በፊት, በመጀመሪያ ወደዚህ እንዴት እንደመጣን እና ለምን እንደሚያስፈልግ እነግርዎታለሁ. ይህንን ለማድረግ ወደ 9 ዓመታት እንመለስ፡- 2010 የዓለም ታንኮች ገና ታየ። Wargaming በግምት 50 አገልጋዮች ነበሩት።

ቆንስል + iptables = : 3
የኩባንያው አገልጋይ ዕድገት ገበታ.

የኔትወርክ ሞዴል ነበረን. ለዚያ ጊዜ በጣም ጥሩ ነበር.

ቆንስል + iptables = : 3
የኔትወርክ ሞዴል በ2010 ዓ.ም.

እኛን ለመስበር የሚፈልጉ መጥፎ ሰዎች ከፊት በኩል አሉ ፣ ግን ፋየርዎል አለው። በጀርባው ላይ ምንም ፋየርዎል የለም, ግን እዚያ 50 አገልጋዮች አሉ, ሁሉንም እናውቃቸዋለን. ሁሉም ነገር በደንብ ይሰራል.

በ 4 ዓመታት ውስጥ የአገልጋይ መርከቦች 100 እጥፍ አድጓል, ወደ 5000. የመጀመሪያው ገለልተኛ አውታረ መረቦች ታየ - ደረጃ: ወደ ምርት መሄድ አልቻሉም, እና ብዙ ጊዜ አደገኛ ሊሆኑ የሚችሉ ነገሮች እዚያ እየሮጡ ነበር.

ቆንስል + iptables = : 3
የኔትወርክ ሞዴል በ2014 ዓ.ም.

በ inertia ፣ እኛ ተመሳሳይ የሃርድዌር ቁርጥራጮችን እንጠቀማለን ፣ እና ሁሉም ስራዎች የተከናወኑት በገለልተኛ VLANs ላይ ነው-ኤሲኤሎች ለ VLANs የተፃፉ ሲሆን ይህም የሆነ ግንኙነትን የሚፈቅድ ወይም የሚክድ ነው።

እ.ኤ.አ. በ 2016 የአገልጋዮቹ ቁጥር 8000 ደርሷል ። Wargaming ሌሎች ስቱዲዮዎችን ወሰደ እና ተጨማሪ የተቆራኙ አውታረ መረቦች ታዩ። እነሱ የእኛ ይመስላሉ፣ ግን ሙሉ በሙሉ አይደሉም፡ VLAN ብዙ ጊዜ ለአጋሮች አይሰራም፣ VPNን በVRF መጠቀም አለቦት፣ ማግለል ይበልጥ የተወሳሰበ ይሆናል። የ ACL የኢንሱሌሽን ድብልቅ አድጓል።

ቆንስል + iptables = : 3
የኔትወርክ ሞዴል በ2016 ዓ.ም.

እ.ኤ.አ. በ 2018 መጀመሪያ ላይ የማሽኖቹ መርከቦች ወደ 16 አድጓል ። 000 ክፍሎች ነበሩ ፣ እና የተቀሩትን አልቆጠርንም ፣ የፋይናንስ መረጃ የተከማቸባቸውን ጨምሮ። የመያዣ ኔትወርኮች (Kubernetes)፣ DevOps፣ በ VPN የተገናኙ የደመና አውታረ መረቦች፣ ለምሳሌ ከ IVS፣ ብቅ አሉ። ብዙ ሕጎች ነበሩ - ህመም ነበር.

ቆንስል + iptables = : 3
የኔትወርክ ሞዴል እና የማግለል ዘዴዎች በ 2018.

ለገለልተኛነት፡ VLAN ከኤሲኤል በኤል 2፣ VRF ከኤሲኤል በኤል 3፣ ቪፒኤን እና ሌሎችንም ተጠቀምን። በጣም ብዙ.

ችግሮች

ሁሉም ሰው ACL እና VLAN ጋር ይኖራል. ምንድነው ችግሩ? ይህ ጥያቄ ህመሙን በመደበቅ በሃሮልድ መልስ ያገኛል.

ቆንስል + iptables = : 3

ብዙ ችግሮች ነበሩ, ግን አምስት ግዙፍ ችግሮች ነበሩ.

  • ለአዳዲስ ደንቦች ጂኦሜትሪክ የዋጋ ጭማሪ. እያንዳንዱ አዲስ ህግ ከቀዳሚው ጊዜ ለመጨመር ረዘም ያለ ጊዜ ወስዷል, ምክንያቱም መጀመሪያ ላይ እንደዚህ አይነት ደንብ መኖሩን ለማየት አስፈላጊ ነበር.
  • በክፍሎች ውስጥ ምንም ፋየርዎል የለም።. ክፍሎቹ በተወሰነ መልኩ እርስ በርስ ተለያይተዋል, እና ቀድሞውኑ በቂ ሀብቶች አልነበሩም.
  • ደንቦቹ ለረጅም ጊዜ ተተግብረዋል. ኦፕሬተሮች በአንድ ሰዓት ውስጥ አንድ የአካባቢ ህግን በእጅ ሊጽፉ ይችላሉ። ዓለም አቀፋዊው ብዙ ቀናት ፈጅቷል።
  • የኦዲት ደንቦችን በተመለከተ ችግሮች. የበለጠ በትክክል, የሚቻል አልነበረም. የመጀመሪያዎቹ ህጎች የተፃፉት በ 2010 ነው ፣ እና አብዛኛዎቹ ደራሲዎቻቸው ለኩባንያው አልሰሩም።
  • ዝቅተኛ የመሠረተ ልማት ቁጥጥር. ዋናው ችግር ይህ ነው - በአገራችን ውስጥ ምን እየተደረገ እንዳለ በደንብ አናውቅም ነበር.

እ.ኤ.አ. በ2018 አንድ የኔትወርክ መሐንዲስ “ተጨማሪ ኤሲኤል እፈልጋለሁ” ሲል በሰማ ጊዜ ይህን ይመስላል።

ቆንስል + iptables = : 3

መፍትሔዎች

በ 2018 መጀመሪያ ላይ አንድ ነገር ለማድረግ ተወስኗል.

የመዋሃድ ዋጋ በየጊዜው እያደገ ነው. የመነሻ ነጥቡ ትላልቅ የመረጃ ማእከሎች የተገለሉ VLANs እና ACLs መደገፍ ያቆሙት መሳሪያዎቹ የማህደረ ትውስታ ስላለባቸው ነው።

መፍትሄ፡- የሰውን አካል አስወግደናል እና ከፍተኛውን የመዳረሻ አቅርቦትን በራስ ሰር አደረግን።

አዲሶቹ ደንቦች ተግባራዊ ለማድረግ ረጅም ጊዜ ይወስዳሉ. መፍትሔው: የሕጎችን አተገባበር ያፋጥኑ, የተከፋፈለ እና ትይዩ ያድርጉ. ይህ ደንቦቹ እራሳቸው እንዲሰጡ የተከፋፈለ ስርዓት ያስፈልገዋል, ያለ rsync ወይም SFTP ወደ አንድ ሺህ ስርዓቶች.

በክፍሎች ውስጥ ምንም ፋየርዎል የለም። የተለያዩ አገልግሎቶች በተመሳሳይ አውታረ መረብ ውስጥ ሲታዩ በክፍሎች ውስጥ ያለው ፋየርዎል ወደ እኛ መምጣት ጀመረ። መፍትሄ: በአስተናጋጅ ደረጃ ፋየርዎልን ይጠቀሙ - በአስተናጋጅ ላይ የተመሰረተ ፋየርዎል. በሁሉም ቦታ ማለት ይቻላል ሊኑክስ ባለንበት እና iptables ባለንበት ቦታ ሁሉ ይህ ችግር አይደለም።

የኦዲት ደንቦችን በተመለከተ ችግሮች. መፍትሄ፡ ሁሉንም ደንቦች ለግምገማ እና አስተዳደር በአንድ ቦታ አስቀምጡ፣ ስለዚህ ሁሉንም ነገር ኦዲት ማድረግ እንችላለን።

በመሠረተ ልማት ላይ ዝቅተኛ ቁጥጥር. መፍትሄ፡ የሁሉንም አገልግሎቶች ክምችት እና በመካከላቸው ያሉ መዳረሻዎችን ይዘርዝሩ።

ይህ ከቴክኒካዊ አሠራር የበለጠ አስተዳደራዊ ሂደት ነው. አንዳንድ ጊዜ በሳምንት 200-300 አዲስ የተለቀቁ አሉን፣ በተለይም በማስተዋወቂያዎች እና በበዓላት ወቅት። ከዚህም በላይ ይህ ለአንድ የኛ DevOps ቡድን ብቻ ​​ነው። በጣም ብዙ ልቀቶች፣ ወደቦች፣ አይፒዎች እና ውህደቶች የሚያስፈልጉትን ለማየት አይቻልም። ስለዚህ ቡድኖቹን “ለመሆኑ ምን አለ እና ለምን አነሳሽው?” ብለው የሚጠይቁ ልዩ የሰለጠኑ የአገልግሎት አስተዳዳሪዎች ያስፈልጉን ነበር።

ሁሉንም ነገር ካስጀመርን በኋላ በ2019 የኔትወርክ መሐንዲስ ይህን መምሰል ጀመረ።

ቆንስል + iptables = : 3

ቆንጆ

በአገልግሎት አስተዳዳሪዎች እርዳታ ያገኘነውን ሁሉ ወደ ቆንስል እንድናስገባ ወስነናል እና ከዚያ የአይፕብል ህጎችን እንጽፋለን።

ይህን ለማድረግ እንዴት ወሰንን?

  • ሁሉንም አገልግሎቶች, አውታረ መረቦች እና ተጠቃሚዎች እንሰበስባለን.
  • በእነሱ ላይ በመመስረት የ iptables ደንቦችን እንፍጠር።
  • አውቶማቲክ ቁጥጥር እናደርጋለን.
  • ....
  • ትርፍ።

ቆንስል የርቀት ኤፒአይ አይደለም፣ በእያንዳንዱ መስቀለኛ መንገድ ላይ ሊሰራ እና ለአይፕቲፖች መፃፍ ይችላል። የቀረው ሁሉ አላስፈላጊ ነገሮችን የሚያጸዳ አውቶማቲክ መቆጣጠሪያዎችን ማምጣት ብቻ ነው, እና አብዛኛዎቹ ችግሮች መፍትሄ ያገኛሉ! የቀረውን ስንሄድ እንሰራዋለን።

ለምን ቆንስል?

እራሱን በሚገባ አረጋግጧል። እ.ኤ.አ. በ2014-15 የይለፍ ቃሎችን የምናከማችበት ለቮልት እንደ መደገፊያ ተጠቅመንበታል።

ውሂብ አያጣም።. ጥቅም ላይ በሚውልበት ጊዜ ቆንስል በአንድ አደጋ ጊዜ መረጃ አላጣም። ይህ ለፋየርዎል አስተዳደር ስርዓት ትልቅ ፕላስ ነው።

P2P ግንኙነቶች የለውጡን ስርጭት ያፋጥኑታል።. በP2P፣ ሁሉም ለውጦች በፍጥነት ይመጣሉ፣ ለሰዓታት መጠበቅ አያስፈልግም።

ምቹ REST ኤፒአይ Apache ZooKeeperንም ተመልክተናል፣ ግን REST API የለውም፣ ስለዚህ ክራንች መጫን አለቦት።

እንደ ኪይ ቮልት (KV) እና ማውጫ (የአገልግሎት ግኝት) ሆኖ ይሰራል።. አገልግሎቶችን፣ ካታሎጎችን እና የውሂብ ማዕከሎችን በአንድ ጊዜ ማከማቸት ይችላሉ። ይህ ለእኛ ብቻ ሳይሆን ለአጎራባች ቡድኖችም ምቹ ነው, ምክንያቱም ዓለም አቀፋዊ አገልግሎት ስንገነባ, ትልቅ እናስባለን.

የ Wargaming ቁልል አካል በሆነው በ Go ውስጥ ተፃፈ። ይህን ቋንቋ እንወዳለን፣ ብዙ የ Go ገንቢዎች አሉን።

ኃይለኛ የ ACL ስርዓት. በቆንስል ውስጥ፣ ማን ምን እንደሚጽፍ ለመቆጣጠር ኤሲኤሎችን መጠቀም ይችላሉ። የፋየርዎል ደንቦቹ ከማንኛውም ነገር ጋር እንደማይደራረቡ እና በዚህ ላይ ምንም ችግር እንደሌለብን እናረጋግጣለን።

ቆንስል ግን የራሱ ድክመቶች አሉት።

  • የንግድ ሥሪት ከሌለህ በቀር በመረጃ ማዕከል ውስጥ አይመዘንም። የሚለካው በፌዴሬሽን ብቻ ነው።
  • በአውታረ መረቡ ጥራት እና በአገልጋይ ጭነት ላይ በጣም ጥገኛ። ቆንስል በኔትወርኩ ውስጥ ምንም መዘግየት ካለ ፣ ለምሳሌ ፣ ያልተስተካከለ ፍጥነት ፣ በተጨናነቀ አገልጋይ ላይ እንደ አገልጋይ በትክክል አይሰራም። ይህ በP2P ግንኙነቶች እና የዝማኔ ስርጭት ሞዴሎች ምክንያት ነው።
  • የችግር ክትትል ተገኝነት. በቆንስላ ደረጃ ሁሉም ነገር ጥሩ ነው ማለት ይችላል, ግን ከረጅም ጊዜ በፊት ሞቷል.

አብዛኞቹን ችግሮች የፈታነው ቆንስል ስንጠቀም ነው ለዚህም ነው የመረጥነው። ኩባንያው ለአማራጭ ድጋፍ እቅድ አለው, ነገር ግን ችግሮችን መቋቋም ተምረናል እና በአሁኑ ጊዜ ከቆንስላ ጋር እየኖርን ነው.

ቆንስል እንዴት እንደሚሰራ

ሁኔታዊ በሆነ የመረጃ ማእከል ውስጥ ከሶስት እስከ አምስት አገልጋዮችን እንጭነዋለን። አንድ ወይም ሁለት ሰርቨሮች አይሰሩም፡ ምልአተ ጉባኤ አዘጋጅተው መረጃው በማይዛመድበት ጊዜ ማን ትክክል እንደሆነ እና ማን ስህተት እንደሆነ መወሰን አይችሉም። ከአምስት በላይ ምንም ትርጉም የለውም, ምርታማነት ይቀንሳል.

ቆንስል + iptables = : 3

ደንበኞች በማንኛውም ቅደም ተከተል ከአገልጋዮቹ ጋር ይገናኛሉ: ተመሳሳይ ወኪሎች, ከባንዲራ ጋር ብቻ server = false.

ቆንስል + iptables = : 3

ከዚህ በኋላ ደንበኞች የ P2P ግንኙነቶችን ዝርዝር ይቀበላሉ እና በመካከላቸው ግንኙነቶችን ይገነባሉ.

ቆንስል + iptables = : 3

በአለምአቀፍ ደረጃ, በርካታ የውሂብ ማዕከሎችን እናገናኛለን. እንዲሁም P2Pን ያገናኛሉ እና ይገናኛሉ።

ቆንስል + iptables = : 3

ከሌላ የመረጃ ማዕከል መረጃን ማምጣት ስንፈልግ ጥያቄው ከአገልጋይ ወደ አገልጋይ ይሄዳል። ይህ እቅድ ይባላል Serf ፕሮቶኮል. የሰርፍ ፕሮቶኮል ልክ እንደ ቆንስል በ HashiCorp ነው የተሰራው።

ስለ ቆንስል አንዳንድ ጠቃሚ እውነታዎች

ቆንስል እንዴት እንደሚሰራ የሚገልጽ ሰነድ አለው። ሊታወቁ የሚገባቸው የተመረጡ እውነታዎችን ብቻ እሰጣለሁ።

የቆንስል አገልጋዮች ከመራጮች መካከል ዋናን ይመርጣሉ. ቆንስል ለእያንዳንዱ የውሂብ ማዕከል ከአገልጋዮች ዝርዝር ውስጥ ጌታን ይመርጣል, እና ሁሉም ጥያቄዎች ወደ እሱ ብቻ ይሄዳሉ, የአገልጋዮች ብዛት ምንም ይሁን ምን. ማስተር ቅዝቃዜ ወደ ድጋሚ ምርጫ አያመራም። ጌታው ካልተመረጠ, ጥያቄዎች በማንም ሰው አይቀርቡም.

አግድም ልኬትን ይፈልጋሉ? ይቅርታ፣ አይ

ወደ ሌላ የመረጃ ማዕከል የሚቀርብ ጥያቄ ከየትኛውም አገልጋይ ጋር ቢመጣም ከማስተር ወደ ማስተር ይሄዳል። የተመረጠው ጌታ ከጭነቱ 100% ይቀበላል, ለቀጣይ ጥያቄዎች ጭነት ካልሆነ በስተቀር. በመረጃ ማዕከሉ ውስጥ ያሉ ሁሉም አገልጋዮች ወቅታዊ የሆነ የመረጃ ቅጂ አላቸው፣ ግን አንድ ብቻ ምላሽ ይሰጣል።

ለመለካት ብቸኛው መንገድ በደንበኛው ላይ የቆየ ሁነታን ማንቃት ነው።

በቆየ ሁነታ፣ ያለ ምልአተ ጉባኤ ምላሽ መስጠት ይችላሉ። ይህ የውሂብን ወጥነት የምንተውበት፣ ነገር ግን ከወትሮው ትንሽ በበለጠ ፍጥነት የምናነብበት ሁነታ ነው፣ ​​እና ማንኛውም አገልጋይ ምላሽ ይሰጣል። በተፈጥሮ, በመምህሩ በኩል ብቻ መቅዳት.

ቆንስል በመረጃ ማዕከሎች መካከል ያለውን መረጃ አይቀዳም።. ፌዴሬሽን ሲገጣጠም እያንዳንዱ አገልጋይ የራሱ ውሂብ ብቻ ይኖረዋል። ለሌሎች, እሱ ሁልጊዜ ወደ ሌላ ሰው ይመለሳል.

የክዋኔዎች አተያይነት ከግብይት ውጭ ዋስትና አይሰጥም. ነገሮችን መለወጥ የሚችሉት እርስዎ ብቻ እንዳልሆኑ ያስታውሱ። በተለየ መንገድ ከፈለጉ, ከመቆለፊያ ጋር ግብይት ያካሂዱ.

የማገድ ስራዎች ለመቆለፍ ዋስትና አይሰጡም. ጥያቄው ከማስተር ወደ ጌታ ነው እንጂ በቀጥታ አይደለም፡ ስለዚህ እገዳው እንደሚሰራ ምንም አይነት ዋስትና የለም፡ ሲከለክሉት ለምሳሌ በሌላ የመረጃ ማእከል።

ACL የመዳረሻ ዋስትና አይሰጥም (በብዙ ሁኔታዎች). በአንድ የፌዴሬሽን የመረጃ ማዕከል - በኤሲኤል የመረጃ ማዕከል (ዋና ዲሲ) ውስጥ ስለሚከማች ACL ላይሰራ ይችላል። ዲሲው ካልመለሰልህ፣ ACL አይሰራም።

አንድ የቀዘቀዘ ማስተር ፌዴሬሽኑ በሙሉ እንዲቀዘቅዝ ያደርገዋል. ለምሳሌ በፌዴሬሽኑ ውስጥ 10 የመረጃ ማዕከሎች አሉ, እና አንዱ መጥፎ አውታረ መረብ አለው, እና አንድ ጌታ አልተሳካም. ከእሱ ጋር የሚግባቡ ሁሉ በክበብ ውስጥ ይጣበቃሉ: ጥያቄ አለ, ለእሱ ምንም መልስ የለም, ክሩ ይቀዘቅዛል. ይህ መቼ እንደሚሆን ለማወቅ የሚያስችል መንገድ የለም በአንድ ወይም ሁለት ሰአት ውስጥ ፌዴሬሽኑ በሙሉ ይወድቃል። ምንም ልታደርጉት የምትችሉት ነገር የለም።

ሁኔታ፣ ምልአተ ጉባኤ እና ምርጫዎች በተለየ ክር ይያዛሉ። ድጋሚ ምርጫ አይከሰትም, ሁኔታው ​​ምንም አያሳይም. የቀጥታ ቆንስል እንዳለህ ታስባለህ፣ ትጠይቃለህ፣ እና ምንም ነገር አይከሰትም - መልስ የለም። በተመሳሳይ ጊዜ, ሁኔታው ​​ሁሉም ነገር ጥሩ መሆኑን ያሳያል.

ይህንን ችግር አጋጥሞናል እና እሱን ለማስወገድ የተወሰኑ የውሂብ ማእከሎችን ክፍሎች እንደገና መገንባት ነበረብን።

የቆንስል ኢንተርፕራይዝ የንግድ ሥሪት ከላይ ያሉት አንዳንድ ጉዳቶች የሉትም።. ብዙ ጠቃሚ ተግባራት አሉት-መራጮችን መምረጥ, ማሰራጨት, ማመጣጠን. አንድ "ግን" ብቻ አለ - ለተከፋፈለ ስርዓት የፈቃድ አሰጣጥ ስርዓት በጣም ውድ ነው.

የህይወት ጥልፍ: rm -rf /var/lib/consul - ለሁሉም የወኪሉ በሽታዎች ፈውስ. የሆነ ነገር ለእርስዎ የማይሰራ ከሆነ, በቀላሉ ውሂብዎን ይሰርዙ እና ውሂቡን ከቅጂ ያውርዱ. ምናልባት ቆንስል ይሰራል።

BEFW

አሁን ወደ ቆንስል የጨመርነውን እንነጋገር።

BEFW ምህጻረ ቃል ነው። BAckEndF.ርWሁሉም። የመጀመሪያውን ሙከራ ወደ ውስጥ ለማስገባት ማከማቻውን ስፈጥር ምርቱን እንደምንም መሰየም ነበረብኝ። ይህ ስም ይቀራል.

ደንብ አብነቶች

ደንቦቹ የተፃፉት በ iptables syntax ውስጥ ነው።

  • -ኤን BEFW
  • - ፒ ግቤት ጠብታ
  • -A INPUT -m ሁኔታ-ግዛት ተዛማጅ፣ተመሠረተ -j መቀበል
  • -A INPUT -i lo -j መቀበል
  • -አንድ ግቤት -j BEFW

ሁሉም ነገር ወደ BEFW ሰንሰለት ይገባል, በስተቀር ESTABLISHED, RELATED እና localhost. አብነት ማንኛውም ሊሆን ይችላል, ይህ ብቻ ምሳሌ ነው.

BEFW እንዴት ጠቃሚ ነው?

አገልግሎቶች

እኛ አገልግሎት አለን ፣ ሁል ጊዜ ወደብ ፣ የሚሄድበት መስቀለኛ መንገድ አለው። ከኛ መስቀለኛ መንገድ፣ ወኪሉን በአገር ውስጥ ልንጠይቅ እና አንድ ዓይነት አገልግሎት እንዳለን ማወቅ እንችላለን። እንዲሁም መለያዎችን ማድረግ ይችላሉ.

ቆንስል + iptables = : 3

በቆንስል የሚሰራ እና የተመዘገበ ማንኛውም አገልግሎት ወደ iptables ደንብ ይቀየራል። SSH አለን - ክፍት ወደብ 22. የ Bash ስክሪፕት ቀላል ነው: curl and iptables, ሌላ ምንም አያስፈልግም.

ደንበኞች

ለሁሉም ሰው መዳረሻን እንዴት መክፈት እንደሚቻል ፣ ግን በተመረጠው? በአገልግሎት ስም የአይፒ ዝርዝሮችን ወደ KV ማከማቻ ያክሉ።

ቆንስል + iptables = : 3

ለምሳሌ፣ በአሥረኛው አውታረ መረብ ላይ ያለ ሁሉም ሰው የSSH_TCP_22 አገልግሎት ማግኘት እንዲችል እንፈልጋለን። አንድ ትንሽ የቲቲኤል መስክ ይታከል? እና አሁን ጊዜያዊ ፈቃዶች አሉን, ለምሳሌ, ለአንድ ቀን.

መዳረሻዎች

አገልግሎቶችን እና ደንበኞችን እናገናኛለን: አገልግሎት አለን, KV ማከማቻ ለእያንዳንዱ ዝግጁ ነው. አሁን ለሁሉም ሰው መዳረሻን እንሰጣለን, ግን በመምረጥ.

ቆንስል + iptables = : 3

ቡድኖች

በእያንዳንዱ ጊዜ በሺዎች የሚቆጠሩ አይፒዎችን ከጻፍን, እንደክማለን. ከቡድን ጋር እንምጣ - የተለየ ንዑስ ስብስብ በKV። አሊያስ (ወይም ቡድኖች) ብለን እንጠራው እና ቡድኖችን እዚያው በተመሳሳይ መርህ እናከማቸው።

ቆንስል + iptables = : 3

እንገናኝ፡ አሁን SSH ን መክፈት የምንችለው ለP2P ሳይሆን ለሙሉ ቡድን ወይም ለብዙ ቡድኖች ነው። በተመሳሳይ መንገድ, ቲቲኤል አለ - ወደ ቡድን ማከል እና ለጊዜው ከቡድኑ ማስወገድ ይችላሉ.

ቆንስል + iptables = : 3

ውህደት

የእኛ ችግር የሰው አካል እና አውቶሜሽን ነው። እስካሁን በዚህ መንገድ ፈትነነዋል።

ቆንስል + iptables = : 3

ከአሻንጉሊት ጋር እንሰራለን, እና ከስርዓቱ (የመተግበሪያ ኮድ) ጋር የሚዛመዱትን ሁሉ ወደ እነርሱ እናስተላልፋለን. Puppetdb (መደበኛ PostgreSQL) እዚያ እየሰሩ ያሉ አገልግሎቶችን ዝርዝር ያከማቻል፣ በንብረት አይነት ሊገኙ ይችላሉ። እዚያ ማን የት እንደሚያመለክት ማወቅ ይችላሉ. ለዚህ ደግሞ የመጎተት ጥያቄ እና የውህደት ጥያቄ ስርዓት አለን።

መረጃን ለማስተላለፍ የሚረዳ ቀላል መፍትሄ befw-sync ጽፈናል። በመጀመሪያ፣ የማመሳሰል ኩኪዎች በ puppetdb ይደርሳሉ። የኤችቲቲፒ ኤፒአይ እዚያ ተዋቅሯል፡ ምን አይነት አገልግሎቶች እንዳሉን፣ ምን መደረግ እንዳለበት እንጠይቃለን። ከዚያም ለቆንስል ጥያቄ አቀረቡ።

ውህደት አለ? አዎ፡ ህጎቹን ጽፈው የፑል ጥያቄዎችን እንዲቀበሉ ፈቅደዋል። የተወሰነ ወደብ ይፈልጋሉ ወይም ለአንዳንድ ቡድን አስተናጋጅ ያክሉ? ጥያቄን ይጎትቱ፣ ይገምግሙ - ከእንግዲህ “200 ሌሎች ኤሲኤሎችን ይፈልጉ እና አንድ ነገር ለማድረግ ይሞክሩ።

ማትባት

በባዶ የደንብ ሰንሰለት ፒንግ ማድረግ 0,075 ms ይወስዳል።

ቆንስል + iptables = : 3

ወደዚህ ሰንሰለት 10 iptables አድራሻዎችን እንጨምር። በውጤቱም, ፒንግ 000 ጊዜ ይጨምራል: iptables ሙሉ በሙሉ መስመራዊ ነው, እያንዳንዱን አድራሻ ማካሄድ የተወሰነ ጊዜ ይወስዳል.

ቆንስል + iptables = : 3

በሺዎች የሚቆጠሩ ኤሲኤሎችን ለምንፈልስበት ፋየርዎል ብዙ ህጎች አሉን እና ይህ መዘግየትን ያስተዋውቃል። ይህ ለጨዋታ ፕሮቶኮሎች መጥፎ ነው።

ነገር ግን ካስቀመጥን በipset ውስጥ 10 አድራሻዎች ፒንግ እንኳን ይቀንሳል.

ቆንስል + iptables = : 3

ነጥቡ "O" (አልጎሪዝም ውስብስብነት) ለ ipset ሁልጊዜ ከ 1 ጋር እኩል ነው, ምንም ያህል ደንቦች ቢኖሩም. እውነት ነው, ገደብ አለ - ከ 65535 በላይ ደንቦች ሊኖሩ አይችሉም. አሁን ከዚህ ጋር እንኖራለን: እነሱን ማዋሃድ, ማስፋት, በአንድ ውስጥ ሁለት ipsets ማድረግ ይችላሉ.

ማከማቻ

የድግግሞሹ ሂደት ምክንያታዊ ቀጣይነት ስለ ደንበኞች መረጃ በipset ውስጥ ማከማቸት ነው።

ቆንስል + iptables = : 3

አሁን አንድ አይነት ኤስኤስኤች አለን, እና በአንድ ጊዜ 100 አይፒዎችን አንጽፍም, ነገር ግን መግባባት የሚያስፈልገንን የ ipset ስም ያዘጋጁ, እና የሚከተለው ህግ DROP. ወደ አንድ ህግ ሊቀየር ይችላል "ማን እዚህ የለም, DROP", ግን የበለጠ ግልጽ ነው.

አሁን ደንቦች እና ስብስቦች አሉን. ዋናው ተግባር ደንቡን ከመጻፍዎ በፊት አንድ ስብስብ ማዘጋጀት ነው, ምክንያቱም አለበለዚያ iptables ደንቡን አይጽፉም.

አጠቃላይ ዕቅድ

በዲያግራም መልክ፣ የተናገርኩት ሁሉ ይህን ይመስላል።

ቆንስል + iptables = : 3

ለአሻንጉሊት ቃል እንገባለን ፣ ሁሉም ነገር ወደ አስተናጋጁ ይላካል ፣ እዚህ አገልግሎቶች ፣ እዚያ አይፕሴት ፣ እና እዚያ ያልተመዘገበ ማንኛውም ሰው አይፈቀድም።

ፍቀድ እና እምቢ

ዓለምን በፍጥነት ለማዳን ወይም አንድን ሰው በፍጥነት ለማሰናከል በሁሉም ሰንሰለቶች መጀመሪያ ላይ ሁለት አይፕሴቶች ሠራን- rules_allow и rules_deny. እንዴት እንደሚሰራ?

ለምሳሌ፣ አንድ ሰው በቦቶች በድር ላይ ሸክም እየፈጠረ ነው። ከዚህ ቀደም የእሱን አይፒ ከመዝገቦች ውስጥ ማግኘት አለብዎት, ወደ አውታረ መረብ መሐንዲሶች ይውሰዱ, ይህም የትራፊክን ምንጭ እንዲያገኙ እና እንዲከለክሉት. አሁን የተለየ ይመስላል።

ቆንስል + iptables = : 3

ወደ ቆንስል እንልካለን, 2,5 ሰከንድ ይጠብቁ እና ተጠናቀቀ. ቆንስል በፒ2ፒ በኩል በፍጥነት ስለሚሰራጭ በየትኛውም የዓለም ክፍል በሁሉም ቦታ ይሰራል።

አንዴ በሆነ መንገድ በፋየርዎል ስህተት ምክንያት WOTን ሙሉ በሙሉ አቆምኩ። rules_allow - ይህ እንደዚህ ባሉ ጉዳዮች ላይ የእኛ መድን ነው። በፋየርዎል አንድ ቦታ ላይ ስህተት ከሰራን የሆነ ነገር የሆነ ቦታ ታግዷል፣ ሁሌም ሁኔታዊ መላክ እንችላለን 0.0/0ሁሉንም ነገር በፍጥነት ለማንሳት. በኋላ ሁሉንም ነገር በእጅ እናስተካክላለን.

ሌሎች ስብስቦች

በጠፈር ውስጥ ማንኛውንም ሌላ ስብስቦችን ማከል ይችላሉ። $IPSETS$.

ቆንስል + iptables = : 3

ለምንድነው? አንዳንድ ጊዜ አንድ ሰው ipset ያስፈልገዋል፣ ለምሳሌ፣ የቡድኑን የተወሰነ ክፍል መዘጋት ለመኮረጅ። ማንኛውም ሰው ማናቸውንም ስብስቦች ይዞ መጥቶ መሰየም ይችላል እና ከቆንስል ይወሰዳሉ። በተመሳሳይ ጊዜ ስብስቦች በ iptables ደንቦች ውስጥ ሊሳተፉ ወይም እንደ ቡድን ሊሠሩ ይችላሉ NOOP: ወጥነት በዴሞን ይጠበቃል።

ተጠቃሚዎች

ከዚህ ቀደም እንደዚህ ነበር-ተጠቃሚው ከአውታረ መረቡ ጋር የተገናኘ እና በጎራው በኩል ግቤቶችን ተቀብሏል. የአዲሱ ትውልድ ፋየርዎል ከመምጣቱ በፊት, Cisco ተጠቃሚው የት እንዳለ እና አይፒው የት እንዳለ እንዴት እንደሚረዳ አያውቅም ነበር. ስለዚህ መዳረሻ የተሰጠው በማሽኑ አስተናጋጅ ስም ብቻ ነው።

ምን አደረግን? አድራሻው በደረሰን ቅጽበት ተጣበቀናል። ብዙውን ጊዜ ይህ dot1x ፣ Wi-Fi ወይም VPN ነው - ሁሉም ነገር በ RADIUS በኩል ያልፋል። ለእያንዳንዱ ተጠቃሚ ቡድንን በተጠቃሚ ስም እንፈጥራለን እና በውስጡም አይፒን እናስቀምጠዋለን ከ dhcp.lease ጋር እኩል የሆነ አይፒ - ልክ ጊዜው እንዳለፈ ደንቡ ይጠፋል።

ቆንስል + iptables = : 3

አሁን የአገልግሎቶችን መዳረሻ እንደሌሎች ቡድኖች በተጠቃሚ ስም መክፈት እንችላለን። ከአስተናጋጅ ስሞች ሲቀየሩ ህመሙን አውጥተናል፣ እና ከኔትወርክ መሐንዲሶች ላይ ሸክሙን አውጥተናል ምክንያቱም ከአሁን በኋላ Cisco አያስፈልጋቸውም። አሁን መሐንዲሶች ራሳቸው በአገልጋዮቻቸው ላይ መዳረሻን ይመዘግባሉ.

መገልገያ

በተመሳሳይ ጊዜ መከላከያውን ማፍረስ ጀመርን. የአገልግሎት አስተዳዳሪዎች ክምችት ወስደዋል፣ እና ሁሉንም አውታረ መረቦችን ተንትነናል። እነሱን ወደ ተመሳሳይ ቡድኖች እንከፋፍላቸው, እና አስፈላጊ በሆኑ አገልጋዮች ላይ ቡድኖቹ ተጨምረዋል, ለምሳሌ, ለመካድ. አሁን ያው የመድረክ ማግለል የሚያበቃው በምርቱ ደንቦች_መካድ ላይ ነው፣ ነገር ግን በምርቱ ውስጥ አይደለም።

ቆንስል + iptables = : 3

መርሃግብሩ በፍጥነት እና በቀላል ይሰራል፡ ሁሉንም ኤሲኤሎችን ከአገልጋዮቹ ላይ እናስወግዳለን፣ ሃርድዌርን እናራግፋለን እና የተገለሉ VLAN ዎች ቁጥር እንቀንሳለን።

የታማኝነት ቁጥጥር

ከዚህ ቀደም አንድ ሰው የፋየርዎል ህግን በእጅ ሲቀይር የሚዘግብ ልዩ ቀስቅሴ ነበረን። የፋየርዎል ደንቦችን ለመፈተሽ አንድ ትልቅ ሊንተር እየጻፍኩ ነበር፣ አስቸጋሪ ነበር። ታማኝነት አሁን በ BEFW ቁጥጥር ስር ነው። የሚያወጣቸው ህጎች እንደማይለወጡ በቅንዓት ያረጋግጣል። አንድ ሰው የፋየርዎል ደንቦችን ከቀየረ, ሁሉንም ነገር ወደ ኋላ ይለውጣል. “ከቤት ሆኜ እንድሠራ ቶሎ ቶሎ ፕሮክሲ አዘጋጀሁ”—ከዚህ በኋላ እንደዚህ ዓይነት አማራጮች የሉም።

BEFW ipsetን ከአገልግሎቶቹ ይቆጣጠራል እና በ befw.conf ውስጥ ያለውን ዝርዝር, በ BEFW ሰንሰለት ውስጥ ያሉትን የአገልግሎት ደንቦች. ነገር ግን ሌሎች ሰንሰለቶችን እና ደንቦችን እና ሌሎች ipsets አይከታተልም.

የብልሽት ጥበቃ

BEFW ሁልጊዜ የመጨረሻውን የታወቀው ጥሩ ሁኔታ በቀጥታ በ state.bin binary structure ያከማቻል. የሆነ ችግር ከተፈጠረ፣ ሁልጊዜ ወደዚህ state.bin ይመለሳል።

ቆንስል + iptables = : 3

ይህ ያልተረጋጋ የቆንስላ ኦፕሬሽን፣ መረጃ ካልተላከ ወይም አንድ ሰው ስህተት ሲሰራ እና ሊተገበሩ የማይችሉ ህጎችን ሲጠቀም መድን ነው። ያለ ፋየርዎል እንዳንቀር ለማረጋገጥ BEFW በማንኛውም ደረጃ ላይ ስህተት ከተፈጠረ ወደ የቅርብ ጊዜው ሁኔታ ይመለሳል።

በአስቸጋሪ ሁኔታዎች ውስጥ, ይህ በሚሰራ ፋየርዎል እንድንተወን ዋስትና ነው. አስተዳዳሪው መጥቶ እንዲያስተካክለው በማሰብ ሁሉንም ግራጫ ኔትወርኮች እንከፍታለን። አንድ ቀን ይህንን በማዋቀሪያዎቹ ውስጥ አኖራለሁ ፣ ግን አሁን እኛ ሶስት ግራጫ አውታረ መረቦች አሉን 10/8 ፣ 172/12 እና 192.168/16። በእኛ ቆንስላ ውስጥ፣ ይህ የበለጠ እንድናድግ የሚረዳን ጠቃሚ ባህሪ ነው።

ማሳያ፡ በሪፖርቱ ወቅት ኢቫን የ BEFW ማሳያ ሁነታን አሳይቷል። ሠርቶ ማሳያውን መመልከት ቀላል ነው። видео. የማሳያ ምንጭ ኮድ ይገኛል። በ GitHub ላይ.

ልንርቃቸው

ስላጋጠሙን ስህተቶች እነግራችኋለሁ።

ipset አክል ስብስብ 0.0.0.0/0. ወደ አይፕሴት 0.0.0.0/0 ካከሉ ምን ይከሰታል? ሁሉም አይፒዎች ይታከላሉ? የበይነመረብ መዳረሻ ይኖር ይሆን?

አይ፣ ለሁለት ሰአታት የእረፍት ጊዜ የሚያስከፍለን ሳንካ ይደርስብናል። ከዚህም በላይ ስህተቱ ከ 2016 ጀምሮ አልሰራም, በ RedHat Bugzilla ውስጥ በቁጥር #1297092 ውስጥ ይገኛል, እና በአጋጣሚ ያገኘነው - ከገንቢ ዘገባ.

አሁን በ BEFW ላይ ጥብቅ ህግ ነው 0.0.0.0/0 ወደ ሁለት አድራሻዎች ይቀየራል 0.0.0.0/1 и 128.0.0.0/1.

ipset እነበረበት መልስ ስብስብ <ፋይል. ሲነግሩት ኢፕሴት ምን ያደርጋል restore? ልክ እንደ iptables ተመሳሳይ ይሰራል ብለው ያስባሉ? መረጃን መልሶ ያገኝ ይሆን?

እንደዚህ ያለ ነገር የለም - ውህደትን ያመጣል, እና የድሮ አድራሻዎች የትም አይሄዱም, መዳረሻን አያግዱም.

ማግለልን ስንሞክር ስህተት አግኝተናል። አሁን ይልቅ ውስብስብ ሥርዓት አለ - በምትኩ restore ተይ .ል create temp, ከዚያ restore flush temp и restore temp. በመቀያየር መጨረሻ ላይ: ለአቶሚቲቲ, ምክንያቱም መጀመሪያ ካደረጉት flush እና በዚህ ቅጽበት የተወሰነ ፓኬት ይመጣል፣ ይጣላል እና የሆነ ችግር ይከሰታል። ስለዚህ እዚያ ትንሽ ጥቁር አስማት አለ.

consul kv get -datacenter=ሌላ። እንዳልኩት፣ አንዳንድ መረጃዎችን የምንጠይቅ ይመስለናል፣ ነገር ግን ዳታ ወይም ስህተት እናገኛለን። ይህንን በአገር ውስጥ በቆንስል በኩል ማድረግ እንችላለን፣ በዚህ ሁኔታ ግን ሁለቱም ይቀዘቅዛሉ።

የአካባቢ ቆንስል ደንበኛ በኤችቲቲፒ ኤፒአይ ላይ መጠቅለያ ነው። ግን ዝም ብሎ ይንጠለጠላል እና ለ Ctrl+C፣ ወይም Ctrl+Z፣ ወይም ለማንኛውም ነገር፣ ብቻ ምላሽ አይሰጥም kill -9 በሚቀጥለው ኮንሶል ውስጥ. ትልቅ ክላስተር ስንገነባ ነው ያጋጠመን። ግን እስካሁን መፍትሄ የለንም፤ ይህንን ስህተት በቆንስል ለማስተካከል በዝግጅት ላይ ነን።

የቆንስል መሪ ምላሽ እየሰጠ አይደለም። በመረጃ ማዕከሉ ውስጥ ያለው ጌታችን ምላሽ እየሰጠ አይደለም ፣ እኛ እናስባለን-“ምናልባት ዳግም የተመረጠ ስልተ ቀመር አሁን ይሰራል?”

አይ, አይሰራም, እና ክትትል ምንም ነገር አያሳይም: ቆንስል የቁርጠኝነት መረጃ ጠቋሚ እንዳለ ይናገራል, መሪ ተገኝቷል, ሁሉም ነገር ጥሩ ነው.

ይህን እንዴት ነው የምንይዘው? service consul restart በየሰዓቱ ክሮን ውስጥ. 50 አገልጋዮች ካሉህ ምንም ትልቅ ነገር የለም። 16 የሚሆኑት ሲኖሩ, እንዴት እንደሚሰራ ይረዱዎታል.

መደምደሚያ

በውጤቱም, የሚከተሉትን ጥቅሞች አግኝተናል.

  • የሁሉም የሊኑክስ ማሽኖች 100% ሽፋን።
  • ፍጥነት።
  • አውቶማቲክ.
  • የሃርድዌር እና የኔትወርክ መሐንዲሶችን ከባርነት ነፃ አውጥተናል።
  • ከሞላ ጎደል ገደብ የለሽ የመዋሃድ እድሎች ታይተዋል፡ በ Kubernetes እንኳን፣ በ Ansible እንኳን፣ በፓይዘንም ቢሆን።

Минусыአሁን መኖር ያለብን ቆንስል እና በጣም ከፍተኛ የስህተት ዋጋ። እንደ ምሳሌ አንድ ጊዜ በ 6 pm (በሩሲያ ውስጥ የመጀመሪያ ጊዜ) በኔትወርኮች ዝርዝሮች ውስጥ የሆነ ነገር አርትዕ ነበር. በጊዜው BEFW ላይ መከላከያ እየገነባን ነበር። የሆነ ቦታ ላይ ስህተት ሰርቻለሁ፣ የተሳሳተ ጭምብል ያመለከትኩ ይመስላል፣ ነገር ግን ሁሉም ነገር በሁለት ሴኮንድ ውስጥ ወደቀ። ተቆጣጣሪው ይበራል፣ ተረኛ ላይ ያለው ደጋፊ እየሮጠ ይመጣል፡ “ሁሉንም ነገር አለን!” የመምሪያው ኃላፊ ይህ ለምን እንደተፈጠረ ለንግድ ሥራው ሲገልጽ ግራጫማ ሆነ።

የስህተት ዋጋ በጣም ከፍተኛ ስለሆነ የራሳችንን ውስብስብ የመከላከያ አሰራር አዘጋጅተናል. ይህንን በትልቅ የማምረቻ ቦታ ላይ ተግባራዊ ካደረጉ፣ በኮንሱል ላይ ዋና ቶከን ለሁሉም ሰው መስጠት አያስፈልግዎትም። ይህ በክፉ ያበቃል.

ወጭ ለ 400 ሰዓታት ብቻ ኮድ ጻፍኩ. የእኔ የ 4 ሰዎች ቡድን በወር 10 ሰአታት ለሁሉም ሰው ድጋፍ ያደርጋል። ከማንኛውም አዲስ ትውልድ ፋየርዎል ዋጋ ጋር ሲወዳደር ነፃ ነው።

ዕቅዶች. የረጅም ጊዜ ዕቅዱ ቆንስልን ለመተካት ወይም ለማሟላት አማራጭ መጓጓዣ መፈለግ ነው። ምናልባት ካፍካ ወይም ተመሳሳይ ነገር ሊሆን ይችላል. በሚቀጥሉት አመታት ግን በቆንስል እንኖራለን።

አፋጣኝ ዕቅዶች፡ ከ Fail2ban ጋር ውህደት፣ ከክትትል ጋር፣ ከ nftables ጋር፣ ምናልባትም ከሌሎች ስርጭቶች፣ መለኪያዎች፣ የላቀ ክትትል፣ ማመቻቸት። የኩበርኔትስ ድጋፍ በእቅዶቹ ውስጥ የሆነ ቦታ ነው, ምክንያቱም አሁን ብዙ ስብስቦች እና ፍላጎት አለን.

ከዕቅዶቹ ተጨማሪ፡-

  • በትራፊክ ውስጥ ያልተለመዱ ነገሮችን መፈለግ;
  • የአውታረ መረብ ካርታ አስተዳደር;
  • የኩበርኔትስ ድጋፍ;
  • ለሁሉም ስርዓቶች ፓኬጆችን መሰብሰብ;
  • ድር-UI

አወቃቀሩን በማስፋት፣ መለኪያዎችን በመጨመር እና ማመቻቸት ላይ በቋሚነት እየሰራን ነው።

ፕሮጀክቱን ይቀላቀሉ። ፕሮጀክቱ አሪፍ ሆኖ ተገኘ፣ ግን በሚያሳዝን ሁኔታ፣ አሁንም የአንድ ሰው ፕሮጀክት ነው። ና ወደ የፊልሙ እና የሆነ ነገር ለማድረግ ይሞክሩ፡ መፈጸም፣ ፈትኑ፣ የሆነ ነገር ይጠቁሙ፣ ግምገማዎን ይስጡ።

ይህ በእንዲህ እንዳለ እየተዘጋጀን ነው። ቅዱስ ሃይሎድ++በሴንት ፒተርስበርግ ኤፕሪል 6 እና 7 የሚካሄደው እና ከፍተኛ ጭነት የሚጫኑ ስርዓቶችን ገንቢዎችን እንጋብዛለን ለሪፖርት ማመልከት. ልምድ ያላቸው ተናጋሪዎች ምን ማድረግ እንዳለባቸው አስቀድመው ያውቃሉ፣ ነገር ግን ለመናገር አዲስ ለሆኑት ቢያንስ እንመክራለን ሞክር. በጉባኤው ላይ እንደ ተናጋሪ መሳተፍ ብዙ ጥቅሞች አሉት። የትኞቹን ለምሳሌ, መጨረሻ ላይ ማንበብ ይችላሉ ይህ ዓምድ.

ምንጭ: hab.com

አስተያየት ያክሉ