DUMP மாநாடு | grep 'backend|devops'

கடந்த வாரம் நான் யெகாடெரின்பர்க்கில் நடந்த DUMP IT மாநாட்டிற்கு (https://dump-ekb.ru/) சென்றிருந்தேன், மேலும் பின்தளம் மற்றும் டெவொப்ஸ் பிரிவுகளில் என்ன விவாதிக்கப்பட்டது என்பதையும், பிராந்திய தகவல் தொழில்நுட்ப மாநாடுகள் கவனிக்கத்தக்கதா என்பதையும் நான் உங்களுக்குச் சொல்ல விரும்புகிறேன்.

சர்வர்லெஸ் பற்றி ஈவில் மார்டியன்ஸிலிருந்து நிகோலே ஸ்வெர்ச்கோவ்

எப்படியும் என்ன இருந்தது?

மொத்தத்தில், மாநாட்டில் 8 பிரிவுகள் இருந்தன: பின்தளம், முன்பக்கம், மொபைல், சோதனை மற்றும் QA, டெவொப்ஸ், வடிவமைப்பு, அறிவியல் மற்றும் மேலாண்மை.

மிகப்பெரிய அரங்குகள், அறிவியல் மற்றும் மேலாண்மையில் உள்ளன)) ஒவ்வொன்றும் ~350 பேருக்கு. பின்தளம் மற்றும் முன்பக்கம் மிகவும் சிறியதாக இல்லை. டெவொப்ஸ் அறை மிகவும் சிறியது, ஆனால் செயலில் இருந்தது.

Devops மற்றும் Backend பிரிவுகளில் உள்ள அறிக்கைகளைக் கேட்டு, பேச்சாளர்களுடன் கொஞ்சம் பேசினேன். மாநாட்டில் விவாதிக்கப்பட்ட தலைப்புகளைப் பற்றி பேசவும், இந்த பிரிவுகளை மதிப்பாய்வு செய்யவும் விரும்புகிறேன்.

SKB-Kontur, DataArt, Evil Martians, Ekaterinburg web studio Flag, Miro (RealTimeBoard) ஆகியவற்றின் பிரதிநிதிகள் Devops மற்றும் Backend பிரிவுகளில் பேசினர். CI/CD உள்ளடக்கிய தலைப்புகள், வரிசை சேவைகளுடன் பணிபுரிதல், பதிவு செய்தல்; சர்வர்லெஸ் தலைப்புகள் மற்றும் Goவில் PostgreSQL உடன் பணிபுரிதல் ஆகியவை நன்கு விவரிக்கப்பட்டுள்ளன.

Avito, Tinkoff, Yandex, Jetstyle, Megafon, Ak Bars Bank போன்றவற்றின் அறிக்கைகளும் இருந்தன, ஆனால் அவற்றில் கலந்துகொள்ள எனக்கு நேரமில்லை (வீடியோ பதிவுகள் மற்றும் அறிக்கைகளின் ஸ்லைடுகள் இன்னும் கிடைக்கவில்லை, 2 வாரங்களுக்குள் அவற்றை இடுகையிடுவதாக அவர்கள் உறுதியளிக்கிறார்கள் dump-ekb.ru இல்).

டெவொப்ஸ் பிரிவு

மிகச்சிறிய ஹாலில், சுமார் 50 இருக்கைகளில் அந்தப் பிரிவு நடத்தப்பட்டதுதான் ஆச்சரியம். மக்கள் இடைகழிகளில் கூட நின்று கொண்டிருந்தார்கள் :) நான் கேட்க முடிந்த அறிக்கைகளைப் பற்றி நான் உங்களுக்குச் சொல்கிறேன்.

ஒரு பெட்டாபைட் எடையுள்ள எலாஸ்டிக்

கோண்டூரில் எலாஸ்டிக் சர்ச் பற்றி விளாடிமிர் லில் (SKB-Kontur) அளித்த அறிக்கையுடன் பிரிவு தொடங்கியது. அவை மிகவும் பெரிய மற்றும் ஏற்றப்பட்ட எலாஸ்டிக் (~800 TB தரவு, ~1.3 பெட்டாபைட்கள் பணிநீக்கத்தை கணக்கில் எடுத்துக்கொள்கின்றன). அனைத்து கோண்டூர் சேவைகளுக்கான மீள் தேடல் ஒற்றை, 2 கிளஸ்டர்களைக் கொண்டுள்ளது (7 மற்றும் 9 சேவையகங்கள்), மேலும் கோண்டூரில் ஒரு சிறப்பு மீள் தேடல் பொறியாளர் இருக்கிறார் (உண்மையில், விளாடிமிர் அவரே).

விளாடிமிர் எலாஸ்டிக் சர்ச்சின் நன்மைகள் மற்றும் அது கொண்டு வரும் பிரச்சனைகள் பற்றிய தனது எண்ணங்களையும் பகிர்ந்து கொண்டார்.

பலன்கள்:

• அனைத்து பதிவுகளும் ஒரே இடத்தில் உள்ளன, அவற்றை எளிதாக அணுகலாம்
• ஒரு வருடத்திற்கு பதிவுகளை சேமித்து அவற்றை எளிதாக பகுப்பாய்வு செய்தல்
• பதிவுகளுடன் பணிபுரியும் அதிக வேகம்
• பெட்டிக்கு வெளியே கூல் தரவு காட்சிப்படுத்தல்

பிரச்சினைகள்:

• செய்தி தரகர் கண்டிப்பாக இருக்க வேண்டும் (கொண்டூருக்கு அதன் பாத்திரம் காஃப்காவால் செய்யப்படுகிறது)
• எலாஸ்டிக் சர்ச் கியூரேட்டருடன் பணிபுரியும் அம்சங்கள் (குரேட்டரில் வழக்கமான பணிகளில் இருந்து அதிக சுமைகளை அவ்வப்போது உருவாக்கியது)
• உள்ளமைக்கப்பட்ட அங்கீகாரம் இல்லை (தனி, மிகப் பெரிய பணத்திற்கு அல்லது உற்பத்திக்கான பல்வேறு அளவு தயார்நிலையின் திறந்த மூல செருகுநிரல்களுக்கு மட்டுமே)

எலாஸ்டிக் தேடலுக்கான ஓபன் டிஸ்ட்ரோ பற்றி நேர்மறையான மதிப்புரைகள் மட்டுமே இருந்தன :) அங்கீகரிப்பு தொடர்பான அதே சிக்கல் அங்கு தீர்க்கப்பட்டது.

பெட்டாபைட் எங்கிருந்து வருகிறது?அவற்றின் முனைகள் 12*8 Tb SATA + 2*2 Tb SSD கொண்ட சேவையகங்களைக் கொண்டிருக்கும். SATA இல் குளிர் சேமிப்பு, சூடான தற்காலிக சேமிப்பிற்கு (ஹாட் ஸ்டோரேஜ்) SSD மட்டுமே.
7+9 சர்வர்கள், (7 + 9) * 12 * 8 = 1536 Tb.
இடத்தின் ஒரு பகுதி கையிருப்பில் உள்ளது, பணிநீக்கத்திற்கு ஒதுக்கப்பட்டுள்ளது, முதலியன.
கோண்டூர், எல்பா போன்றவற்றின் அனைத்து அறிக்கையிடல் சேவைகள் உட்பட, சுமார் 90 விண்ணப்பங்களின் பதிவுகள் எலாஸ்டிக் தேடலுக்கு அனுப்பப்படுகின்றன.

சர்வர்லெஸ் மேம்பாட்டின் அம்சங்கள்

அடுத்தது சர்வர்லெஸ் பற்றி டேட்டாஆர்ட்டில் இருந்து ருஸ்லான் செர்கின் அறிக்கை.

சர்வர்லெஸ் அணுகுமுறையின் வளர்ச்சி பொதுவாக என்ன, அதன் அம்சங்கள் என்ன என்பது பற்றி ருஸ்லான் பேசினார்.

சர்வர்லெஸ் என்பது டெவலப்பர்கள் உள்கட்டமைப்பை எந்த வகையிலும் தொடாத வளர்ச்சிக்கான அணுகுமுறையாகும். உதாரணம் - AWS Lambda Serverless, Kubeless.io (Serverless inside Kubernetes), Google Cloud Functions.

ஒரு சிறந்த சர்வர்லெஸ் பயன்பாடு என்பது ஒரு சிறப்பு API கேட்வே மூலம் சர்வர்லெஸ் வழங்குநருக்கு கோரிக்கையை அனுப்பும் ஒரு செயல்பாடாகும். ஒரு சிறந்த மைக்ரோ சர்வீஸ், அதே நேரத்தில் AWS லாம்ப்டா அதிக எண்ணிக்கையிலான நவீன நிரலாக்க மொழிகளை ஆதரிக்கிறது. கிளவுட் வழங்குநர்களின் விஷயத்தில் உள்கட்டமைப்பைப் பராமரித்தல் மற்றும் பயன்படுத்துவதற்கான செலவு பூஜ்ஜியமாக மாறும், சிறிய பயன்பாடுகளை ஆதரிப்பதும் மிகவும் மலிவானதாக இருக்கும் (AWS Lambda - $0.2 / 1 மில்லியன் எளிய கோரிக்கைகள்).

அத்தகைய அமைப்பின் அளவிடுதல் ஏறக்குறைய சிறந்தது - கிளவுட் வழங்குநர் இதைத் தானே கவனித்துக்கொள்கிறார், குபெர்னெட்டஸ் கிளஸ்டருக்குள் குபெலெஸ் தானாக அளவிடுகிறது.

தீமைகள் உள்ளன:

• பெரிய பயன்பாடுகளை உருவாக்குவது மிகவும் கடினமாகி வருகிறது
• பயன்பாடுகளை விவரக்குறிப்பதில் சிரமம் உள்ளது (பதிவுகள் மட்டுமே உங்களுக்குக் கிடைக்கும், ஆனால் வழக்கமான அர்த்தத்தில் விவரக்குறிப்பு இல்லை)
• பதிப்பு இல்லை

உண்மையைச் சொல்வதானால், சில ஆண்டுகளுக்கு முன்பு நான் சர்வர்லெஸ் பற்றி கேள்விப்பட்டேன், ஆனால் இத்தனை ஆண்டுகளில் அதை எவ்வாறு சரியாகப் பயன்படுத்துவது என்பது எனக்கு தெளிவாகத் தெரியவில்லை. ருஸ்லானின் அறிக்கைக்குப் பிறகு, புரிதல் தோன்றியது, மற்றும் பின்தளத்தில் இருந்து நிகோலாய் ஸ்வெர்ச்ச்கோவ் (தீய செவ்வாய்க்காரர்கள்) அறிக்கைக்குப் பிறகு, அது ஒருங்கிணைக்கப்பட்டது. மாநாட்டுக்கு போனது வீண் போகவில்லை :)

CI என்பது ஏழைகளுக்கானது, அல்லது வலை ஸ்டுடியோவிற்கு உங்கள் சொந்த CI எழுதுவது மதிப்புள்ளதா?

யெகாடெரின்பர்க்கிலிருந்து ஃபிளாக் வெப் ஸ்டுடியோவின் தலைவரான மிகைல் ரேடியோனோவ் சுயமாக எழுதப்பட்ட CI/CD பற்றி பேசினார்.

அவரது ஸ்டுடியோ "மேனுவல் CI/CD" (SSH வழியாக சர்வரில் உள்நுழைந்து, ஒரு கிட் புல்லைச் செய்யுங்கள், ஒரு நாளைக்கு 100 முறை மீண்டும் செய்யவும்) ஜென்கின்ஸ் மற்றும் புல்கின்ஸ் எனப்படும் குறியீட்டைக் கண்காணிக்கவும் வெளியீடுகளைச் செய்யவும் உங்களை அனுமதிக்கும் சுயமாக எழுதப்பட்ட கருவியாக மாறியுள்ளது. .

ஜென்கின்ஸ் ஏன் வேலை செய்யவில்லை? இது இயல்பாகவே போதுமான நெகிழ்வுத்தன்மையை வழங்கவில்லை மற்றும் தனிப்பயனாக்க மிகவும் கடினமாக இருந்தது.

"கொடி" Laravel (PHP கட்டமைப்பு) இல் உருவாகிறது. CI/CD சேவையகத்தை உருவாக்கும் போது, ​​Mikhail மற்றும் அவரது சக பணியாளர்கள் Laravel இன் டெலஸ்கோப் மற்றும் Envoy எனப்படும் உள்ளமைக்கப்பட்ட வழிமுறைகளைப் பயன்படுத்தினர். இதன் விளைவாக PHP இல் உள்ள ஒரு சர்வர் (தயவுசெய்து கவனிக்கவும்) உள்வரும் வெப்ஹூக் கோரிக்கைகளை செயலாக்குகிறது, முன்பக்கம் மற்றும் பின்தளத்தை உருவாக்கலாம், வெவ்வேறு சேவையகங்களுக்கு வரிசைப்படுத்தலாம் மற்றும் ஸ்லாக்கிற்கு அறிக்கை செய்யலாம்.

பின்னர், நீலம்/பச்சை வரிசைப்படுத்தல் மற்றும் dev-stage-prod சூழல்களில் ஒரே மாதிரியான அமைப்புகளைப் பெற, அவர்கள் டோக்கருக்கு மாறினர். நன்மைகள் அப்படியே இருந்தன, சுற்றுச்சூழலை ஒரே மாதிரியாக மாற்றுவதற்கான சாத்தியக்கூறுகள் மற்றும் தடையற்ற வரிசைப்படுத்தல் சேர்க்கப்பட்டது, மேலும் அதனுடன் சரியாக வேலை செய்ய டோக்கரைக் கற்றுக்கொள்ள வேண்டிய அவசியம் சேர்க்கப்பட்டது.

திட்டம் கிதுப்பில் உள்ளது

சர்வர் ரிலீஸ் ரோல்பேக்குகளின் எண்ணிக்கையை 99% குறைத்தோம்

Devops பிரிவில் உள்ள கடைசி அறிக்கை Miro.com (முன்னர் RealTimeBoard) இல் முன்னணி டெவொப்ஸ் பொறியாளர் விக்டர் எரெம்செங்கோவிடமிருந்து வந்தது.

RealTimeBoard, Miro குழுவின் முதன்மை தயாரிப்பு, ஒரு ஒற்றை ஜாவா பயன்பாட்டை அடிப்படையாகக் கொண்டது. வேலையில்லா நேரம் இல்லாமல் அதைச் சேகரித்து, சோதித்து, வரிசைப்படுத்துவது கடினமான பணி. இந்த வழக்கில், குறியீட்டின் அத்தகைய பதிப்பை வரிசைப்படுத்துவது முக்கியம், அதனால் அது மீண்டும் உருட்டப்பட வேண்டியதில்லை (இது ஒரு கனமான ஒற்றைக்கல்).

இதைச் செய்ய உங்களை அனுமதிக்கும் ஒரு அமைப்பை உருவாக்குவதற்கான வழியில், கட்டிடக்கலை, பயன்படுத்தப்பட்ட கருவிகள் (அட்லாசியன் மூங்கில், அன்சிபிள், முதலியன) மற்றும் குழுக்களின் கட்டமைப்பில் பணிபுரிவது (இப்போது அவர்களிடம் உள்ளது) ஆகியவற்றை உள்ளடக்கிய பாதையில் மிரோ சென்றார். ஒரு பிரத்யேக டெவொப்ஸ் குழு + வெவ்வேறு சுயவிவரங்களின் டெவலப்பர்களிடமிருந்து பல தனித்தனி ஸ்க்ரம் குழுக்கள்).

பாதை கடினமாகவும் முள்ளாகவும் மாறியது, மேலும் விக்டர் அங்கு முடிவடையாத திரட்டப்பட்ட வலியையும் நம்பிக்கையையும் பகிர்ந்து கொண்டார்.

கேள்விகளைக் கேட்டதற்காக ஒரு புத்தகத்தை வென்றார்

பின்பகுதி பகுதி

நிகோலே ஸ்வெர்ச்கோவ் (ஈவில் மார்டியன்ஸ்), சர்வர்லெஸ் மற்றும் கிரிகோரி கோஷெலெவ் (கொன்டூர் நிறுவனம்) டெலிமெட்ரி பற்றிய 2 அறிக்கைகளில் கலந்து கொள்ள முடிந்தது.

வெறும் மனிதர்களுக்கு சேவையில்லாதது

சர்வர்லெஸ் என்றால் என்ன என்பதைப் பற்றி ருஸ்லான் சிர்கின் பேசினால், நிகோலே சர்வர்லெஸைப் பயன்படுத்தி எளிய பயன்பாடுகளைக் காட்டினார், மேலும் AWS லாம்ப்டாவில் பயன்பாடுகளின் விலை மற்றும் வேகத்தைப் பாதிக்கும் விவரங்களைப் பற்றி பேசினார்.

ஒரு சுவாரஸ்யமான விவரம்: குறைந்தபட்ச கட்டண உறுப்பு 128 Mb நினைவகம் மற்றும் 100 ms CPU ஆகும், இதன் விலை $0,000000208. மேலும், மாதத்திற்கு 1 மில்லியன் கோரிக்கைகள் இலவசம்.

நிகோலாயின் சில செயல்பாடுகள் பெரும்பாலும் 100 எம்எஸ் வரம்பை மீறுகின்றன (முக்கிய பயன்பாடு ரூபியில் எழுதப்பட்டது), எனவே அவற்றை கோவில் மீண்டும் எழுதுவது சிறந்த சேமிப்பை வழங்கியது.

வோஸ்டாக் ஹெர்குலஸ் - டெலிமெட்ரியை மீண்டும் சிறந்ததாக்குங்கள்!

டெலிமெட்ரி பற்றிய கிரிகோரி கோஷெலேவின் (கொன்டூர் நிறுவனம்) பின்பகுதியின் சமீபத்திய அறிக்கை. டெலிமெட்ரி என்றால் பதிவுகள், அளவீடுகள், பயன்பாட்டு தடயங்கள்.

இந்த நோக்கத்திற்காக, Github இல் இடுகையிடப்பட்ட சுயமாக எழுதப்பட்ட கருவிகளைப் பயன்படுத்துகிறது. அறிக்கையிலிருந்து கருவி - ஹெர்குலஸ், github.com/vostok/hercules, டெலிமெட்ரி தரவை வழங்க பயன்படுகிறது.

Devops பிரிவில் உள்ள விளாடிமிர் லீலாவின் அறிக்கை, Elasticsearch இல் பதிவுகளை சேமித்து செயலாக்குவது பற்றி விவாதித்தது, ஆனால் இன்னும் பல ஆயிரக்கணக்கான சாதனங்கள் மற்றும் பயன்பாடுகளிலிருந்து பதிவுகளை வழங்கும் பணி உள்ளது, மேலும் Vostok Hercules போன்ற கருவிகள் அவற்றை தீர்க்கின்றன.

சுற்று பலருக்குத் தெரிந்த பாதையைப் பின்பற்றியது - RabbitMQ இலிருந்து Apache Kafka வரை, ஆனால் எல்லாம் அவ்வளவு எளிதல்ல)) அவர்கள் ஜூகீப்பர், கசாண்ட்ரா மற்றும் கிராஃபைட்டை சர்க்யூட்டில் சேர்க்க வேண்டியிருந்தது. இந்த அறிக்கையின் தகவலை நான் முழுமையாக வெளியிடமாட்டேன் (எனது சுயவிவரம் அல்ல), நீங்கள் ஆர்வமாக இருந்தால், மாநாட்டு இணையதளத்தில் ஸ்லைடுகள் மற்றும் வீடியோக்களுக்காக காத்திருக்கலாம்.

மற்ற மாநாடுகளுடன் ஒப்பிடுவது எப்படி?

மாஸ்கோ மற்றும் செயின்ட் பீட்டர்ஸ்பர்க்கில் நடந்த மாநாடுகளுடன் ஒப்பிட முடியாது, யூரல்களில் உள்ள மற்ற நிகழ்வுகள் மற்றும் சமாராவில் 404 ஃபெஸ்ட் உடன் ஒப்பிடலாம்.

DAMP 8 பிரிவுகளில் நடைபெறுகிறது, இது யூரல் மாநாடுகளுக்கான பதிவு. மிகப் பெரிய அறிவியல் மற்றும் மேலாண்மைப் பிரிவுகள், இதுவும் அசாதாரணமானது. யெகாடெரின்பர்க்கில் உள்ள பார்வையாளர்கள் மிகவும் கட்டமைக்கப்பட்டவர்கள் - நகரத்தில் யாண்டெக்ஸ், கோண்டூர், டின்காஃப் ஆகியவற்றிற்கான பெரிய மேம்பாட்டுத் துறைகள் உள்ளன, மேலும் இது அறிக்கைகளில் அதன் அடையாளத்தை விட்டுச்செல்கிறது.

மற்றொரு சுவாரஸ்யமான விஷயம் என்னவென்றால், பல நிறுவனங்கள் மாநாட்டில் ஒரே நேரத்தில் 3-4 ஸ்பீக்கர்களைக் கொண்டுள்ளன (இதுதான் கொந்தூர், ஈவில் மார்டியன்ஸ், டின்காஃப்). அவர்களில் பலர் ஸ்பான்சர்களாக இருந்தனர், ஆனால் அறிக்கைகள் மற்றவர்களுக்கு இணையாக உள்ளன, இவை விளம்பர அறிக்கைகள் அல்ல.

போகலாமா போக வேண்டாமா? நீங்கள் யூரல்ஸ் அல்லது அருகில் வசிக்கிறீர்கள் என்றால், உங்களுக்கு வாய்ப்பு உள்ளது மற்றும் தலைப்புகளில் ஆர்வமாக உள்ளது - ஆம், நிச்சயமாக. நீங்கள் ஒரு நீண்ட பயணத்தைப் பற்றி நினைத்தால், முந்தைய ஆண்டுகளின் அறிக்கைகள் மற்றும் வீடியோ அறிக்கைகளின் தலைப்புகளைப் பார்ப்பேன் www.youtube.com/user/videoitpeople/videos மற்றும் ஒரு முடிவை எடுத்தார்.
பிராந்தியங்களில் மாநாடுகளின் மற்றொரு நன்மை, ஒரு விதியாக, அறிக்கைகளுக்குப் பிறகு பேச்சாளருடன் தொடர்புகொள்வது எளிது; அத்தகைய தகவல்தொடர்புக்கு குறைவான விண்ணப்பதாரர்கள் உள்ளனர்.

Dump மற்றும் Ekaterinburg க்கு நன்றி! )

ஆதாரம்: www.habr.com