ডাম্প সম্মেলন | grep 'ব্যাকএন্ড|devops'

গত সপ্তাহে আমি ইয়েকাটেরিনবার্গে DUMP IT সম্মেলনে (https://dump-ekb.ru/) গিয়েছিলাম এবং আমি আপনাকে বলতে চাই ব্যাকএন্ড এবং ডেভপস বিভাগে কী আলোচনা হয়েছিল এবং আঞ্চলিক আইটি সম্মেলনগুলি মনোযোগের যোগ্য কিনা।

Serverless সম্পর্কে Evil Martians থেকে Nikolay Sverchkov

যাইহোক সেখানে কি ছিল?

মোট, সম্মেলনে 8টি বিভাগ ছিল: ব্যাকএন্ড, ফ্রন্টএন্ড, মোবাইল, টেস্টিং এবং QA, ডেভপস, ডিজাইন, বিজ্ঞান এবং ব্যবস্থাপনা।

যাইহোক, সবচেয়ে বড় হলগুলি বিজ্ঞান এবং ব্যবস্থাপনায়)) প্রত্যেকে ~350 জনের জন্য। ব্যাকএন্ড এবং ফ্রন্টএন্ড খুব ছোট নয়। Devops রুম ছিল সবচেয়ে ছোট, কিন্তু সক্রিয়।

আমি ডেভপস এবং ব্যাকএন্ড বিভাগে প্রতিবেদনগুলি শুনেছি এবং স্পিকারদের সাথে একটু কথা বলেছি। আমি কভার করা বিষয়গুলি সম্পর্কে কথা বলতে চাই এবং সম্মেলনে এই বিভাগগুলি পর্যালোচনা করতে চাই৷

SKB-Kontur, DataArt, Evil Martians, Ekaterinburg web studio Flag, Miro (RealTimeBoard) এর প্রতিনিধিরা ডেভপস এবং ব্যাকএন্ড বিভাগে বক্তৃতা করেছেন। CI/CD কভার করা বিষয়গুলি, সারি পরিষেবাগুলির সাথে কাজ করা, লগিং করা; সার্ভারহীন বিষয়গুলি এবং Go-তে PostgreSQL এর সাথে কাজ করা ভালভাবে কভার করা হয়েছে৷

অ্যাভিটো, টিংকফ, ইয়ানডেক্স, জেটস্টাইল, মেগাফোন, আক বারস ব্যাঙ্কের রিপোর্টও ছিল, কিন্তু আমার কাছে শারীরিকভাবে উপস্থিত হওয়ার সময় ছিল না (ভিডিও রেকর্ডিং এবং প্রতিবেদনের স্লাইড এখনও উপলব্ধ নেই, তারা 2 সপ্তাহের মধ্যে পোস্ট করার প্রতিশ্রুতি দিয়েছে dump-ekb.ru এ)।

ডিভোপস বিভাগ

আশ্চর্যের বিষয় ছিল যে বিভাগটি সবচেয়ে ছোট হলে, প্রায় 50 টি আসনের মধ্যে অনুষ্ঠিত হয়েছিল। লোকেরা এমনকি আইলে দাঁড়িয়ে ছিল :) আমি আপনাকে সেই প্রতিবেদনগুলি সম্পর্কে বলব যা আমি শুনতে পেরেছি।

একটি পেটাবাইট ওজনের ইলাস্টিক

বিভাগটি ভ্লাদিমির লিল (SKB-কন্টুর) এর ইলাস্টিকসার্চ সম্পর্কে কন্টুরের একটি প্রতিবেদন দিয়ে শুরু হয়েছিল। তাদের একটি মোটামুটি বড় এবং লোড ইলাস্টিক (~800 TB ডেটা, ~1.3 পেটাবাইট রিডানডেন্সি বিবেচনা করে)। সমস্ত Kontur পরিষেবার জন্য ইলাস্টিকসার্চ একক, 2 টি ক্লাস্টার (7 এবং 9 সার্ভারের) নিয়ে গঠিত এবং এটি এতই গুরুত্বপূর্ণ যে কনটুরের একজন বিশেষ ইলাস্টিকসার্চ প্রকৌশলী (আসলে, ভ্লাদিমির নিজেই) রয়েছেন।

ভ্লাদিমির ইলাস্টিকসার্চের উপকারিতা এবং এটি যে সমস্যাগুলি নিয়ে আসে সে সম্পর্কে তার চিন্তাভাবনাও শেয়ার করেছেন।

সুবিধা:

• সমস্ত লগ এক জায়গায়, তাদের সহজ অ্যাক্সেস
• এক বছরের জন্য লগ সংরক্ষণ করা এবং সহজেই তাদের বিশ্লেষণ
• লগ সঙ্গে কাজ উচ্চ গতি
• বাক্সের বাইরে দুর্দান্ত ডেটা ভিজ্যুয়ালাইজেশন

সমস্যাগুলি হ'ল:

• বার্তা ব্রোকার অবশ্যই থাকতে হবে (কন্টুরের জন্য এর ভূমিকা কাফকা অভিনয় করেছেন)
• ইলাস্টিকসার্চ কিউরেটরের সাথে কাজ করার বৈশিষ্ট্য (কিউরেটরের নিয়মিত কাজগুলি থেকে পর্যায়ক্রমে উচ্চ লোড তৈরি করা)
• কোন অন্তর্নির্মিত অনুমোদন নেই (শুধুমাত্র পৃথক, বেশ বড় অর্থের জন্য, বা উৎপাদনের জন্য বিভিন্ন মাত্রার প্রস্তুতির ওপেন সোর্স প্লাগইন হিসাবে)

ইলাস্টিকসার্চের জন্য ওপেন ডিস্ট্রো সম্পর্কে শুধুমাত্র ইতিবাচক পর্যালোচনা ছিল :) অনুমোদনের একই সমস্যাটি সেখানে সমাধান করা হয়েছে।

পেটাবাইট কোথা থেকে আসে?তাদের নোড 12*8 Tb SATA + 2*2 Tb SSD সহ সার্ভার নিয়ে গঠিত। SATA, SSD-এ কোল্ড স্টোরেজ শুধুমাত্র হট ক্যাশে (হট স্টোরেজ) এর জন্য।
7+9 সার্ভার, (7 + 9) * 12 * 8 = 1536 Tb.
জায়গার কিছু অংশ রিজার্ভে আছে, রিডানডেন্সির জন্য আলাদা করে রাখা হয়েছে ইত্যাদি।
Kontur, Elba, ইত্যাদির সমস্ত রিপোর্টিং পরিষেবা সহ প্রায় 90 টি অ্যাপ্লিকেশনের লগ ইলাস্টিকসার্চে পাঠানো হয়।

সার্ভারহীন উন্নয়নের বৈশিষ্ট্য

পরবর্তী সার্ভারহীন সম্পর্কে DataArt থেকে Ruslan Serkin দ্বারা একটি প্রতিবেদন.

রুসলান সার্ভারলেস পদ্ধতির সাথে সাধারণভাবে কী উন্নয়ন হয় এবং এর বৈশিষ্ট্যগুলি কী তা নিয়ে কথা বলেছেন।

সার্ভারলেস হল উন্নয়নের একটি পদ্ধতি যেখানে বিকাশকারীরা কোনোভাবেই অবকাঠামোকে স্পর্শ করে না। উদাহরণ - AWS Lambda Serverless, Kubeless.io (Kubernetes-এর ভিতরে সার্ভারহীন), Google ক্লাউড ফাংশন।

একটি আদর্শ সার্ভারলেস অ্যাপ্লিকেশন কেবল একটি ফাংশন যা একটি বিশেষ API গেটওয়ের মাধ্যমে একটি সার্ভারহীন প্রদানকারীকে একটি অনুরোধ পাঠায়। একটি আদর্শ মাইক্রোসার্ভিস, যখন AWS Lambda এছাড়াও প্রচুর সংখ্যক আধুনিক প্রোগ্রামিং ভাষা সমর্থন করে। ক্লাউড প্রদানকারীদের ক্ষেত্রে পরিকাঠামো রক্ষণাবেক্ষণ এবং স্থাপনের খরচ শূন্য হয়ে যায়, ছোট অ্যাপ্লিকেশন সমর্থন করাও খুব সস্তা হবে (AWS Lambda - $0.2 / 1 মিলিয়ন সাধারণ অনুরোধ)।

এই ধরনের সিস্টেমের মাপযোগ্যতা প্রায় আদর্শ - ক্লাউড প্রদানকারী নিজেই এটির যত্ন নেয়, কুবেলেস স্বয়ংক্রিয়ভাবে কুবারনেটস ক্লাস্টারের মধ্যে স্কেল করে।

অসুবিধা আছে:

• বড় অ্যাপ্লিকেশন উন্নয়ন আরো কঠিন হয়ে উঠছে
• প্রোফাইলিং অ্যাপ্লিকেশনের সাথে অসুবিধা আছে (শুধুমাত্র লগ আপনার জন্য উপলব্ধ, কিন্তু স্বাভাবিক অর্থে প্রোফাইলিং নয়)
• কোনো সংস্করণ নেই

সত্যি কথা বলতে, আমি কয়েক বছর আগে সার্ভারলেস সম্পর্কে শুনেছিলাম, কিন্তু এই সমস্ত বছর এটি কীভাবে সঠিকভাবে ব্যবহার করা যায় তা আমার কাছে পরিষ্কার ছিল না। রুসলানের প্রতিবেদনের পরে, বোঝাপড়া উপস্থিত হয়েছিল এবং ব্যাকএন্ড বিভাগ থেকে নিকোলাই সার্চকভ (এভিল মার্টিয়ান্স) এর রিপোর্টের পরে, এটি একত্রিত হয়েছিল। এটা বৃথা ছিল না যে আমি সম্মেলনে গিয়েছিলাম :)

সিআই দরিদ্রদের জন্য, নাকি ওয়েব স্টুডিওর জন্য আপনার নিজের সিআই লেখার যোগ্য?

ইয়েকাটেরিনবার্গের ফ্ল্যাগ ওয়েব স্টুডিওর প্রধান মিখাইল রেডিওনভ স্ব-লিখিত CI/CD সম্পর্কে কথা বলেছেন।

তার স্টুডিও "ম্যানুয়াল CI/CD" (SSH এর মাধ্যমে সার্ভারে লগ ইন করুন, একটি গিট টান করুন, দিনে 100 বার পুনরাবৃত্তি করুন) থেকে জেনকিন্স এবং একটি স্ব-লিখিত টুলে চলে গেছে যা আপনাকে কোড নিরীক্ষণ করতে এবং পুলকিনস নামক রিলিজ সম্পাদন করতে দেয়। .

কেন জেনকিন্স কাজ করেনি? এটি ডিফল্টরূপে যথেষ্ট নমনীয়তা প্রদান করেনি এবং কাস্টমাইজ করা খুব কঠিন ছিল।

"পতাকা" Laravel (PHP ফ্রেমওয়ার্ক) এ বিকশিত হয়। একটি CI/CD সার্ভার তৈরি করার সময়, মিখাইল এবং তার সহকর্মীরা টেলিস্কোপ এবং এনভয় নামক লারাভেলের অন্তর্নির্মিত মেকানিজম ব্যবহার করেছিলেন। ফলাফল হল PHP-তে একটি সার্ভার (দয়া করে মনে রাখবেন) যা ইনকামিং ওয়েবহুক অনুরোধগুলিকে প্রক্রিয়া করে, ফ্রন্টএন্ড এবং ব্যাকএন্ড তৈরি করতে পারে, বিভিন্ন সার্ভারে স্থাপন করতে পারে এবং স্ল্যাকে রিপোর্ট করতে পারে।

তারপরে, নীল/সবুজ স্থাপনা সম্পাদন করতে এবং ডেভ-স্টেজ-প্রোড পরিবেশে অভিন্ন সেটিংস করতে সক্ষম হওয়ার জন্য, তারা ডকারে স্যুইচ করেছে। সুবিধাগুলি একই রয়ে গেছে, পরিবেশকে একজাত করার সম্ভাবনা এবং বিরামবিহীন স্থাপনার যোগ করা হয়েছে এবং ডকারকে সঠিকভাবে কাজ করার জন্য শেখার প্রয়োজনীয়তা যুক্ত করা হয়েছে।

প্রকল্পটি গিথুবে রয়েছে

কিভাবে আমরা সার্ভার রিলিজ রোলব্যাকের সংখ্যা 99% কমিয়েছি

Devops বিভাগে শেষ রিপোর্টটি Viktor Eremchenko, Miro.com-এর প্রধান ডেভপস প্রকৌশলী (পূর্বে রিয়েলটাইমবোর্ড) থেকে এসেছে।

রিয়েলটাইমবোর্ড, মিরো দলের ফ্ল্যাগশিপ পণ্য, একটি একচেটিয়া জাভা অ্যাপ্লিকেশনের উপর ভিত্তি করে। ডাউনটাইম ছাড়া এটি সংগ্রহ করা, পরীক্ষা করা এবং স্থাপন করা একটি কঠিন কাজ। এই ক্ষেত্রে, কোডের এই ধরনের একটি সংস্করণ স্থাপন করা গুরুত্বপূর্ণ যাতে এটিকে ফিরিয়ে আনতে না হয় (এটি একটি ভারী মনোলিথ)।

একটি সিস্টেম তৈরি করার পথে যা আপনাকে এটি করতে দেয়, মিরো এমন একটি পথের মধ্য দিয়ে গিয়েছিলেন যাতে স্থাপত্যের উপর কাজ করা, ব্যবহৃত সরঞ্জামগুলি (অ্যাটলাসিয়ান ব্যাম্বু, অ্যানসিবল, ইত্যাদি) এবং দলগুলির কাঠামোর উপর কাজ করা অন্তর্ভুক্ত ছিল (তাদের এখন রয়েছে একটি ডেডিকেটেড Devops দল + বিভিন্ন প্রোফাইলের ডেভেলপারদের থেকে অনেকগুলি আলাদা স্ক্রাম দল)।

পথটি কঠিন এবং কাঁটাযুক্ত হয়ে উঠল এবং ভিক্টর জমা হওয়া ব্যথা এবং আশাবাদ ভাগ করে নিলেন যা সেখানে শেষ হয়নি।

প্রশ্ন জিজ্ঞাসা করার জন্য একটি বই জিতেছে

ব্যাকএন্ড বিভাগ

আমি 2টি প্রতিবেদনে অংশ নিতে পেরেছি - নিকোলে সার্চকভ (ইভিল মার্টিয়ান্স), সার্ভারলেস সম্পর্কে এবং গ্রিগরি কোশেলেভ (কন্টুর কোম্পানি) থেকে টেলিমেট্রি সম্পর্কে।

নিছক মানুষের জন্য সার্ভারহীন

যদি রুসলান সিরকিন সার্ভারলেস কী তা নিয়ে কথা বলতেন, নিকোলে সার্ভারলেস ব্যবহার করে সহজ অ্যাপ্লিকেশনগুলি দেখিয়েছেন এবং AWS Lambda-তে অ্যাপ্লিকেশনের খরচ এবং গতিকে প্রভাবিত করে এমন বিশদ বিবরণ সম্পর্কে কথা বলেছেন।

একটি আকর্ষণীয় বিশদ: সর্বনিম্ন প্রদত্ত উপাদান হল 128 Mb মেমরি এবং 100 ms CPU, এর দাম $0,000000208৷ তাছাড়া, প্রতি মাসে 1 মিলিয়ন এই ধরনের অনুরোধ বিনামূল্যে।

Nikolai-এর কিছু ফাংশন প্রায়শই 100 ms সীমা অতিক্রম করে (মূল অ্যাপ্লিকেশনটি রুবিতে লেখা ছিল), তাই Go-তে সেগুলি পুনরায় লেখার ফলে চমৎকার সঞ্চয় হয়।

ভস্টক হারকিউলিস — টেলিমেট্রিকে আবার দুর্দান্ত করুন!

টেলিমেট্রি সম্পর্কে গ্রিগরি কোশেলেভ (কন্টুর কোম্পানি) থেকে ব্যাকএন্ড বিভাগের সর্বশেষ প্রতিবেদন। টেলিমেট্রি মানে লগ, মেট্রিক্স, অ্যাপ্লিকেশন ট্রেস।

এই উদ্দেশ্যে, কনট্যুর Github এ পোস্ট করা স্ব-লিখিত সরঞ্জাম ব্যবহার করে। রিপোর্ট থেকে টুল - হারকিউলিস, github.com/vostok/hercules, টেলিমেট্রি ডেটা সরবরাহ করতে ব্যবহৃত হয়।

Devops বিভাগে ভ্লাদিমির লীলার প্রতিবেদনে ইলাস্টিকসার্চে লগ সংরক্ষণ এবং প্রক্রিয়াকরণের বিষয়ে আলোচনা করা হয়েছে, তবে এখনও হাজার হাজার ডিভাইস এবং অ্যাপ্লিকেশন থেকে লগ সরবরাহ করার কাজ রয়েছে এবং ভোস্টক হারকিউলিসের মতো সরঞ্জামগুলি তাদের সমাধান করে।

সার্কিটটি অনেকের কাছে পরিচিত একটি পথ অনুসরণ করেছিল - RabbitMQ থেকে Apache Kafka পর্যন্ত, কিন্তু সবকিছু এত সহজ নয়)) তাদের সার্কিটে জুকিপার, ক্যাসান্ড্রা এবং গ্রাফাইট যোগ করতে হয়েছিল। আমি এই প্রতিবেদনে তথ্য সম্পূর্ণরূপে প্রকাশ করব না (আমার প্রোফাইল নয়), আপনি যদি আগ্রহী হন তবে আপনি সম্মেলনের ওয়েবসাইটে স্লাইড এবং ভিডিওগুলির জন্য অপেক্ষা করতে পারেন।

এটি অন্যান্য সম্মেলনের সাথে কীভাবে তুলনা করে?

আমি এটিকে মস্কো এবং সেন্ট পিটার্সবার্গের সম্মেলনের সাথে তুলনা করতে পারি না, আমি এটিকে ইউরালের অন্যান্য ইভেন্ট এবং সামারার 404 ফেস্টের সাথে তুলনা করতে পারি।

DAMP 8 টি বিভাগে অনুষ্ঠিত হয়, এটি ইউরাল সম্মেলনের জন্য একটি রেকর্ড। খুব বড় বিজ্ঞান এবং ব্যবস্থাপনা বিভাগ, এটিও অস্বাভাবিক। ইয়েকাটেরিনবার্গের শ্রোতারা বেশ সুগঠিত - শহরটিতে ইয়ানডেক্স, কনটুর, টিঙ্কফের জন্য বড় উন্নয়ন বিভাগ রয়েছে এবং এটি রিপোর্টগুলিতে তার ছাপ ফেলে।

আরেকটি মজার বিষয় হল যে অনেক কোম্পানির সম্মেলনে একবারে 3-4 জন স্পিকার থাকে (কন্টুর, ইভিল মার্টিয়ান্স, টিঙ্কফের ক্ষেত্রে এটি ছিল)। তাদের মধ্যে অনেকেই স্পনসর ছিলেন, কিন্তু প্রতিবেদনগুলি অন্যদের সাথে বেশ সমান, এগুলি বিজ্ঞাপনের প্রতিবেদন নয়।

যাবেন কি অথবা যাবেন না? আপনি যদি ইউরাল বা কাছাকাছি বাস করেন তবে আপনার কাছে সুযোগ রয়েছে এবং আপনি বিষয়গুলিতে আগ্রহী - হ্যাঁ, অবশ্যই। আপনি যদি দীর্ঘ ভ্রমণের কথা ভাবছেন, আমি পূর্ববর্তী বছরের প্রতিবেদন এবং ভিডিও প্রতিবেদনের বিষয়গুলি দেখব www.youtube.com/user/videoitpeople/videos এবং একটি সিদ্ধান্ত নিয়েছে।
অঞ্চলগুলিতে সম্মেলনের আরেকটি সুবিধা, একটি নিয়ম হিসাবে, রিপোর্টের পরে স্পিকারের সাথে যোগাযোগ করা সহজ; এই ধরনের যোগাযোগের জন্য খুব কম আবেদনকারী রয়েছে।

ডাম্প এবং একাটেরিনবার্গকে ধন্যবাদ! )

উত্স: www.habr.com