DUMP ኮንፈረንስ | grep 'backend|devops'

ባለፈው ሳምንት በየካተሪንበርግ ወደሚገኘው የ DUMP IT ኮንፈረንስ (https://dump-ekb.ru/) ሄጄ ነበር እና በBackend and Devops ክፍሎች ውስጥ የተወያየውን እና የክልል IT ኮንፈረንሶች ትኩረት ሊሰጣቸው የሚገቡ መሆናቸውን ልነግራችሁ እፈልጋለሁ።

Nikolay Sverchkov ከ Evil Martians ስለ Serverless

ለማንኛውም ምን ነበር?

በአጠቃላይ ጉባኤው 8 ክፍሎች ነበሩት፡- Backend፣ Frontend፣ Mobile፣ Testing and QA፣ Devops፣ Design፣ Science and Management።

በነገራችን ላይ ትልቁ አዳራሾች በሳይንስ እና አስተዳደር)) ለ ~ 350 ሰዎች እያንዳንዳቸው። Backend እና Frontend ብዙ ያነሱ አይደሉም። የዴቮፕስ ክፍል ትንሹ፣ ግን ንቁ ነበር።

ሪፖርቶቹን በዴቮፕስ እና ደጋፊ ክፍሎች ውስጥ አዳመጥኩ እና ከተናጋሪዎቹ ጋር ትንሽ ተነጋገርኩ። ስለተነሱት ርዕሰ ጉዳዮች ማውራት እና እነዚህን ክፍሎች በጉባኤው ላይ መገምገም እፈልጋለሁ።

የ SKB-Kontur፣ DataArt፣ Evil Martians፣ Ekaterinburg Web Studio Flag፣ Miro (RealTimeBoard) ተወካዮች በDevops እና Backend ክፍሎች ተናገሩ። በሲአይ/ሲዲ የተሸፈኑ ርዕሶች፣ ከወረፋ አገልግሎቶች ጋር መስራት፣ መግባት፣ አገልጋይ አልባ ርዕሶች እና ከPostgreSQL in Go ጋር አብሮ መስራት በደንብ የተሸፈነ ነበር።

በተጨማሪም በአቪቶ ፣ ቲንክኮፍ ፣ Yandex ፣ ጄትታይል ፣ ሜጋፎን ፣ አክ ባርስ ባንክ ሪፖርቶች ነበሩ ፣ ግን በአካል እነሱን ለመከታተል ጊዜ አላገኘሁም (የሪፖርቶቹ የቪዲዮ ቀረጻዎች እና ስላይዶች እስካሁን አይገኙም ፣ በ 2 ሳምንታት ውስጥ ለመለጠፍ ቃል ገብተዋል ። በ dump-ekb.ru ላይ).

Devops ክፍል

በጣም የሚያስደንቀው ግን ክፍሉ በትንሹ አዳራሽ ውስጥ 50 ያህል መቀመጫዎች ውስጥ መያዙ ነበር። ሰዎች በመተላለፊያው ውስጥ እንኳን ቆመው ነበር :) ለማዳመጥ የቻልኩትን ሪፖርቶች እነግራችኋለሁ.

ፔታባይት የሚመዝነው ላስቲክ

ክፍሉ የጀመረው በኮንቱር ውስጥ ስላለው ኢላስቲክ ፍለጋ በቭላድሚር ሊል (SKB-Kontur) ዘገባ ነው። በጣም ትልቅ እና የተጫነ ላስቲክ አላቸው (~ 800 ቴባ ውሂብ፣ ~ 1.3 ፔታባይት እንደገና መታደግን ከግምት ውስጥ በማስገባት)። ለሁሉም የኮንቱር አገልግሎቶች Elasticsearch ነጠላ ነው፣ 2 ዘለላዎችን (የ7 እና 9 አገልጋዮችን) ያቀፈ ነው፣ እና በጣም አስፈላጊ ከመሆኑ የተነሳ ኮንቱር ልዩ የElasticsearch መሐንዲስ አለው (በእውነቱ ቭላድሚር ራሱ)።

ቭላድሚር ስለ elasticsearch ጥቅሞች እና ስለሚያስከትላቸው ችግሮች ሀሳቡን አካፍሏል።

ጥቅም:

• ሁሉም ምዝግብ ማስታወሻዎች በአንድ ቦታ ላይ ናቸው, ለእነሱ ቀላል መዳረሻ
• ምዝግብ ማስታወሻዎችን ለአንድ አመት ማከማቸት እና በቀላሉ በመተንተን
• ከምዝግብ ማስታወሻዎች ጋር ለመስራት ከፍተኛ ፍጥነት
• አሪፍ የውሂብ እይታ ከሳጥኑ ውስጥ

ችግሮች፡-

• መልእክት ደላላ የግድ ነው (ለኮንቱር ሚናው በካፍካ ነው የሚጫወተው)
• ከ Elasticsearch Curator ጋር የመስራት ባህሪያት (በኩሬተር ውስጥ ከመደበኛ ስራዎች በየጊዜው ከፍተኛ ጭነት የተፈጠረ)
• አብሮ የተሰራ ፍቃድ የለም (ለተለየ፣ በጣም ትልቅ ገንዘብ ወይም እንደ ክፍት ምንጭ ተሰኪዎች የተለያየ ደረጃ ያላቸው ለምርት ዝግጁነት)

ስለ Open Distro for Elasticsearch አወንታዊ ግምገማዎች ብቻ ነበሩ :) ተመሳሳይ የፈቀዳ ጉዳይ እዚያ ተፈትቷል።

ፔታባይት ከየት ነው የሚመጣው?አንጓዎቻቸው 12*8 Tb SATA + 2*2 Tb SSD ያላቸው አገልጋዮችን ያቀፈ ነው። በ SATA ላይ ቀዝቃዛ ማከማቻ፣ ኤስኤስዲ ለሞቅ መሸጎጫ (ሙቅ ማከማቻ) ብቻ።
7+9 አገልጋዮች፣ (7 + 9) * 12 * 8 = 1536 ቴባ
የቦታው የተወሰነ ክፍል በመጠባበቂያ ላይ ነው, ለተደጋጋሚነት የተለየ, ወዘተ.
ሁሉንም የኮንቱር፣ ኤልባ፣ ወዘተ የሪፖርት ማድረጊያ አገልግሎቶችን ጨምሮ ከ90 የሚደርሱ ምዝግብ ማስታወሻዎች ወደ Elasticsearch ይላካሉ።

በአገልጋይ አልባ ላይ የእድገት ባህሪዎች

ቀጥሎ በሩስላን ሰርኪን ከ DataArt ስለ Serverless ያቀረበው ዘገባ ነው።

ሩስላን በአጠቃላይ ከአገልጋይ-አልባ አቀራረብ ጋር ያለው ልማት ምን እንደሆነ እና ባህሪያቱ ምን እንደሆነ ተናግሯል።

አገልጋይ አልባ የልማት አካሄድ ገንቢዎች መሠረተ ልማቱን በምንም መልኩ የማይነኩበት ነው። ምሳሌ - AWS Lambda Serverless፣ Kubeless.io (በኩበርኔትስ ውስጥ አገልጋይ የሌለው)፣ Google Cloud Functions።

ሃሳባዊ አገልጋይ አልባ መተግበሪያ በቀላሉ በልዩ ኤፒአይ ጌትዌይ በኩል ወደ አገልጋይ አልባ አገልግሎት አቅራቢ የሚላክ ተግባር ነው። በጣም ጥሩ የማይክሮ አገልግሎት፣ AWS Lambda ደግሞ ብዙ ቁጥር ያላቸውን ዘመናዊ የፕሮግራም ቋንቋዎችን ይደግፋል። የመሠረተ ልማት አውታሮችን የመንከባከብ እና የማሰማራት ዋጋ በደመና አቅራቢዎች ላይ ዜሮ ይሆናል ፣ አነስተኛ መተግበሪያዎችን መደገፍ እንዲሁ በጣም ርካሽ ይሆናል (AWS Lambda - $ 0.2 / 1 ሚሊዮን ቀላል ጥያቄዎች)።

የእንደዚህ አይነት ስርዓት መስፋፋት በጣም ጥሩ ነው - የደመና አቅራቢው ይህንን እራሱን ይንከባከባል ፣ Kubeless ሚዛኖችን በ Kubernetes ክላስተር ውስጥ በራስ-ሰር ይመዝናሉ።

ጉዳቶች አሉ-

• ትላልቅ አፕሊኬሽኖችን ማዘጋጀት የበለጠ አስቸጋሪ እየሆነ መጥቷል
• አፕሊኬሽኖችን በመግለፅ ላይ ችግር አለ (የምዝግብ ማስታወሻዎችን ብቻ ነው መዳረሻ ያለህ ፣ ግን በተለመደው ስሜት መገለጫ አይደለም)
• ምንም ስሪት የለም

እውነቱን ለመናገር ከጥቂት አመታት በፊት ስለ Serverless ሰማሁ፣ ግን እነዚህን ሁሉ አመታት እንዴት በትክክል መጠቀም እንዳለብኝ ግልጽ አልነበርኩም። ከሩስላን ዘገባ በኋላ ግንዛቤ ታየ እና ከጀርባው ክፍል የኒኮላይ ስቨርችኮቭ (Evil Martians) ዘገባ ከተዘገበ በኋላ ተጠናከረ። ወደ ጉባኤው የሄድኩት በከንቱ አልነበረም :)

CI ለድሆች ነው ወይስ የራስዎን CI ለድር ስቱዲዮ መጻፍ ጠቃሚ ነው?

ከየካተሪንበርግ የባንዲራ ድር ስቱዲዮ ኃላፊ የሆኑት ሚካሂል ራዲዮኖቭ ስለራሳቸው ስለ CI/CD ተናገሩ።

የእሱ ስቱዲዮ ከ"ማንዋል CI/CD" (በኤስኤስኤች በኩል ወደ ሰርቨር ይግቡ፣ git pull ያድርጉ፣ በቀን 100 ጊዜ ይድገሙት) ወደ ጄንኪንስ እና ኮድን ለመከታተል እና ፑልኪንስ የተባሉ ልቀቶችን ለማከናወን የሚያስችል በራስ የተጻፈ መሳሪያ ሄዷል። .

ጄንኪንስ ለምን አልሰራም? በነባሪነት በቂ ተለዋዋጭነት አላቀረበም እና ለማበጀት በጣም ከባድ ነበር።

"ባንዲራ" በላራቬል (PHP ማዕቀፍ) ውስጥ ይዘጋጃል. ሲአይ/ሲዲ አገልጋይ ሲገነቡ ሚካሂል እና ባልደረቦቹ ቴሌስኮፕ እና ኢንቮይ የተባሉትን የላራቬልን አብሮ የተሰሩ ዘዴዎችን ተጠቅመዋል። ውጤቱ በPHP ውስጥ ያለ አገልጋይ ነው (እባክዎ ያስተውሉ) የሚመጡትን የዌብ መንጠቆ ጥያቄዎችን የሚያስኬድ፣ የፊት ግንባር እና የኋላን መገንባት፣ ለተለያዩ አገልጋዮች ማሰማራት እና ለ Slack ሪፖርት ማድረግ ይችላል።

ከዚያም ሰማያዊ/አረንጓዴ ማሰማራትን ለማከናወን እና በdev-stage-prod አካባቢዎች ውስጥ ወጥ የሆነ መቼት እንዲኖራቸው ለማድረግ ወደ ዶከር ቀየሩ። ጥቅሞቹ አንድ አይነት ሆነው ቆይተዋል፣ አካባቢን በአንድነት የመሰብሰብ እና እንከን የለሽ የማሰማራት እድሎች ተጨምረዋል እና ዶከር በትክክል አብሮ ለመስራት የመማር አስፈላጊነት ታክሏል።

ፕሮጀክቱ Github ላይ ነው።

የአገልጋይ መለቀቅ ጥቅሎችን በ99% እንዴት እንደቀነስን

በዴቮፕስ ክፍል የመጨረሻው ዘገባ ከ Viktor Eremchenko, Lead devops Engineer በ Miro.com (የቀድሞው ሪልታይምቦርድ) ነበር.

RealTimeBoard፣ የሚሮ ቡድን ዋና ምርት፣ በአንድ ነጠላ የጃቫ መተግበሪያ ላይ የተመሰረተ ነው። ያለእረፍት ጊዜ መሰብሰብ, መሞከር እና ማሰማራት ከባድ ስራ ነው. በዚህ ሁኔታ, ወደ ኋላ እንዳይገለበጥ (ከባድ ሞኖሊቲ ነው) እንደዚህ አይነት የኮዱ ስሪት መዘርጋት አስፈላጊ ነው.

ይህንን ለማድረግ የሚያስችል ስርዓት ለመገንባት በሚሄድበት መንገድ ላይ ሚሮ በህንፃው ላይ መሥራትን ፣ ጥቅም ላይ የዋሉ መሳሪያዎችን (አትላሲያን ቀርከሃ ፣ ሊሳነን ፣ ወዘተ) እና የቡድኖቹን መዋቅር በሚያካትት መንገድ አልፏል (አሁን እነሱ አላቸው) ራሱን የቻለ Devops ቡድን + ብዙ የተለያዩ የ Scrum ቡድኖች ከተለያዩ መገለጫዎች ገንቢዎች)።

መንገዱ አስቸጋሪ እና እሾህ ሆኖ ተገኘ, እናም ቪክቶር እዚያ ያላበቃውን የተከማቸ ህመም እና ብሩህ ተስፋ አካፍሏል.

ለጥያቄዎች መጽሐፍ አሸንፈዋል

የኋላ ክፍል

2 ሪፖርቶችን መከታተል ችያለሁ - ከኒኮላይ ስቨርችኮቭ (ክፉ ማርቲስ) ፣ እንዲሁም ስለ አገልጋይ አልባ ፣ እና ከ Grigory Koshelev (ኮንቱር ኩባንያ) ስለ ቴሌሜትሪ።

ለሟች ሰዎች አገልጋይ አልባ

ሩስላን ሲርኪን ሰርቨር አልባው ምን እንደሆነ ከተናገረ ኒኮላይ አገልጋይ አልባ በመጠቀም ቀላል አፕሊኬሽኖችን አሳይቷል እና በAWS Lambda ውስጥ የመተግበሪያዎች ዋጋ እና ፍጥነት ላይ ተጽዕኖ ስለሚያሳድሩ ዝርዝሮች ተናግሯል።

አንድ አስደሳች ዝርዝር፡ ዝቅተኛው የሚከፈልበት ኤለመንት 128 ሜባ ማህደረ ትውስታ እና 100 ms CPU ነው፣ ዋጋው 0,000000208 ዶላር ነው። በተጨማሪም በወር 1 ሚሊዮን እንደዚህ ያሉ ጥያቄዎች ነፃ ናቸው።

አንዳንድ የኒኮላይ ተግባራት ብዙውን ጊዜ ከ 100 ms ገደብ አልፈዋል (ዋናው መተግበሪያ በሩቢ ነው የተፃፈው) ስለዚህ በ Go ውስጥ እንደገና መፃፍ ጥሩ ቁጠባዎችን ሰጥቷል።

ቮስቶክ ሄርኩለስ - ቴሌሜትሪ እንደገና ጥሩ ያድርጉት!

ስለ ቴሌሜትሪ ከ Grigory Koshelev (ኮንቱር ኩባንያ) የ Backend ክፍል የቅርብ ጊዜ ዘገባ። ቴሌሜትሪ ማለት ምዝግብ ማስታወሻዎች፣ መለኪያዎች፣ የመተግበሪያ ዱካዎች ማለት ነው።

ለዚሁ ዓላማ ኮንቱር በ Github ላይ የተለጠፈ የራስ-ጽሑፍ መሳሪያዎችን ይጠቀማል. መሳሪያ ከሪፖርቱ - ሄርኩለስ, github.com/vostok/hercules፣ የቴሌሜትሪ መረጃን ለማድረስ ይጠቅማል።

የቭላድሚር ሊላ ዘገባ በዴቮፕስ ክፍል ውስጥ በ Elasticsearch ውስጥ ምዝግብ ማስታወሻዎችን ማከማቸት እና ማቀናበር ተወያይቷል ፣ ግን አሁንም ከብዙ ሺዎች ከሚቆጠሩ መሳሪያዎች እና አፕሊኬሽኖች የምዝግብ ማስታወሻዎችን የማድረስ ተግባር አለ እና እንደ ቮስቶክ ሄርኩለስ ያሉ መሳሪያዎች እነሱን ይፈታሉ ።

ወረዳው በብዙዎች ዘንድ የታወቀ መንገድን ተከትሏል - ከ RabbitMQ እስከ Apache Kafka, ግን ሁሉም ነገር በጣም ቀላል አይደለም)) ወደ ወረዳው Zookeeper, ካሳንድራ እና ግራፋይት መጨመር ነበረባቸው. በዚህ ዘገባ ላይ ያለውን መረጃ ሙሉ በሙሉ አልገልጽም (የእኔ መገለጫ አይደለም)፣ ፍላጎት ካሎት፣ በኮንፈረንስ ድህረ ገጽ ላይ ስላይዶች እና ቪዲዮዎች መጠበቅ ይችላሉ።

ከሌሎች ጉባኤዎች ጋር እንዴት ይነጻጸራል?

በሞስኮ እና በሴንት ፒተርስበርግ ከሚገኙ ኮንፈረንሶች ጋር ማወዳደር አልችልም, በኡራል እና በ 404fest በሳማራ ውስጥ ካሉ ሌሎች ክስተቶች ጋር ማወዳደር እችላለሁ.

DAMP በ 8 ክፍሎች ተይዟል, ይህ ለኡራል ኮንፈረንስ መዝገብ ነው. በጣም ትልቅ የሳይንስ እና አስተዳደር ክፍሎች, ይህ ደግሞ ያልተለመደ ነው. የየካተሪንበርግ ታዳሚዎች በጣም የተዋቀሩ ናቸው - ከተማዋ ለ Yandex ፣ Kontur ፣ Tinkoff ትልቅ የልማት ክፍሎች አሏት ፣ እና ይህ በሪፖርቶቹ ላይ የራሱን ምልክት ይተዋል ።

ሌላው ትኩረት የሚስብ ነጥብ ብዙ ኩባንያዎች በአንድ ጊዜ በጉባኤው ላይ 3-4 ድምጽ ማጉያዎች አሏቸው (ይህ በኮንቱር, ኢቪል ማርቲስ, ቲንክኮፍ ነበር). ብዙዎቹ ስፖንሰር አድራጊዎች ነበሩ፣ ነገር ግን ሪፖርቶቹ ከሌሎች ጋር እኩል ናቸው፣ እነዚህ የማስታወቂያ ዘገባዎች አይደሉም።

መሄድ ወይም አለመሄድ? በኡራል ውስጥ ወይም በአቅራቢያው የሚኖሩ ከሆነ እድሉ አለዎት እና በርዕሰ ጉዳዩ ላይ ፍላጎት አለዎት - አዎ, በእርግጥ. ስለ ረጅም ጉዞ እያሰብክ ከሆነ ያለፉትን አመታት የሪፖርቶችን እና የቪዲዮ ዘገባዎችን እመለከት ነበር። www.youtube.com/user/videoitpeople/videos እና ውሳኔ አደረገ.
በክልሎች ውስጥ ያሉ ኮንፈረንሶች ሌላው ጠቀሜታ ከሪፖርቶች በኋላ ከተናጋሪው ጋር መገናኘት ቀላል ነው ፣ ለእንደዚህ ዓይነቱ ግንኙነት አመልካቾች ያነሱ ናቸው ።

ለ Dump እና Ekaterinburg እናመሰግናለን! )

ምንጭ: hab.com