ব্যাকএন্ড, মেশিন লার্নিং এবং সার্ভারহীন - জুলাই হাবর সম্মেলনের সবচেয়ে আকর্ষণীয় জিনিস

হাবর সম্মেলন কোনো আত্মপ্রকাশের গল্প নয়। পূর্বে, আমরা 300-400 জনের জন্য মোটামুটি বড় টোস্টার ইভেন্টগুলি আয়োজন করেছি, কিন্তু এখন আমরা সিদ্ধান্ত নিয়েছি যে ছোট থিম্যাটিক মিটিংগুলি প্রাসঙ্গিক হবে, যার দিকটি আপনি সেট করতে পারেন, উদাহরণস্বরূপ, মন্তব্যগুলিতে। এই বিন্যাসের প্রথম সম্মেলন জুলাই মাসে অনুষ্ঠিত হয়েছিল এবং এটি ব্যাকএন্ড উন্নয়নের জন্য নিবেদিত ছিল। অংশগ্রহণকারীরা ব্যাকএন্ড থেকে ML-এ রূপান্তরের বৈশিষ্ট্য এবং স্টেট সার্ভিসেস পোর্টালে কোয়াড্রুপেল পরিষেবার নকশা সম্পর্কে প্রতিবেদনগুলি শুনেছিল এবং সার্ভারলেসকে উত্সর্গীকৃত একটি গোল টেবিলেও অংশ নিয়েছিল৷ যারা ব্যক্তিগতভাবে ইভেন্টে যোগ দিতে অক্ষম ছিলেন তাদের জন্য, এই পোস্টে আমরা আপনাকে সবচেয়ে আকর্ষণীয় জিনিসগুলি বলব।

ব্যাকএন্ড ডেভেলপমেন্ট থেকে মেশিন লার্নিং পর্যন্ত

এমএল-এ ডেটা ইঞ্জিনিয়াররা কী করেন? কিভাবে একটি ব্যাকএন্ড বিকাশকারী এবং একটি এমএল ইঞ্জিনিয়ারের কাজ একই এবং ভিন্ন? আপনার প্রথম পেশাকে দ্বিতীয়তে পরিবর্তন করতে আপনাকে কোন পথটি নিতে হবে? এটি আলেকজান্ডার পারিনভ বলেছিলেন, যিনি 10 বছর ব্যাকএন্ড কাজের পরে মেশিন লার্নিংয়ে গিয়েছিলেন।

আলেকজান্ডার পারিনভ

আজ আলেকজান্ডার X5 রিটেল গ্রুপে কম্পিউটার ভিশন সিস্টেম আর্কিটেক্ট হিসাবে কাজ করেন এবং কম্পিউটার ভিশন এবং গভীর শিক্ষার সাথে সম্পর্কিত ওপেন সোর্স প্রকল্পগুলিতে অবদান রাখেন (github.com/creafz)। মেশিন লার্নিং প্রতিযোগিতার সবচেয়ে জনপ্রিয় প্ল্যাটফর্ম, Kaggle Master (kaggle.com/creafz) এর বিশ্ব র‌্যাঙ্কিংয়ের শীর্ষ 100-এ তার অংশগ্রহণের মাধ্যমে তার দক্ষতা নিশ্চিত হয়।

কেন মেশিন লার্নিং এ স্যুইচ করুন

দেড় বছর আগে, Google-এর গভীর শিক্ষা-ভিত্তিক কৃত্রিম বুদ্ধিমত্তা গবেষণা প্রকল্প, Google ব্রেইনের প্রধান জেফ ডিন বর্ণনা করেছিলেন যে কীভাবে Google অনুবাদের অর্ধ মিলিয়ন লাইন কোডের টেনসর ফ্লো নিউরাল নেটওয়ার্ক দ্বারা প্রতিস্থাপিত হয়েছিল মাত্র 500 লাইনের সমন্বয়ে। নেটওয়ার্ক প্রশিক্ষণের পর, ডেটার মান বৃদ্ধি পায় এবং পরিকাঠামো সহজতর হয়। দেখে মনে হবে এটি আমাদের উজ্জ্বল ভবিষ্যত: আমাদের আর কোড লিখতে হবে না, এটি নিউরন তৈরি করতে এবং ডেটা দিয়ে পূরণ করার জন্য যথেষ্ট। কিন্তু বাস্তবে সবকিছু অনেক বেশি জটিল।

Google এ ML পরিকাঠামো

নিউরাল নেটওয়ার্কগুলি অবকাঠামোর একটি ছোট অংশ মাত্র (উপরের ছবিতে ছোট কালো বর্গক্ষেত্র)। ডেটা গ্রহণ, এটি প্রক্রিয়াকরণ, সংরক্ষণ, গুণমান পরীক্ষা ইত্যাদির জন্য আরও অনেক সহায়ক সিস্টেমের প্রয়োজন, আমাদের প্রশিক্ষণের জন্য পরিকাঠামো প্রয়োজন, উৎপাদনে মেশিন লার্নিং কোড স্থাপন করা এবং এই কোডটি পরীক্ষা করা। এই সমস্ত কাজগুলি ব্যাকএন্ড বিকাশকারীরা যা করে তার সাথে ঠিক একই রকম।

মেশিন লার্নিং প্রক্রিয়া

এমএল এবং ব্যাকএন্ডের মধ্যে পার্থক্য কী?

ক্লাসিক্যাল প্রোগ্রামিংয়ে, আমরা কোড লিখি এবং এটি প্রোগ্রামের আচরণ নির্দেশ করে। এমএল-এ, আমাদের কাছে একটি ছোট মডেল কোড এবং প্রচুর ডেটা রয়েছে যা আমরা মডেলটিতে নিক্ষেপ করি। এমএল-এ ডেটা খুবই গুরুত্বপূর্ণ: বিভিন্ন ডেটাতে প্রশিক্ষিত একই মডেল সম্পূর্ণ ভিন্ন ফলাফল দেখাতে পারে। সমস্যা হল যে ডেটা প্রায় সবসময় ছড়িয়ে ছিটিয়ে থাকে এবং বিভিন্ন সিস্টেমে (রিলেশনাল ডাটাবেস, NoSQL ডাটাবেস, লগ, ফাইল) সংরক্ষণ করা হয়।

ডেটা সংস্করণ

ML-এর জন্য ক্লাসিক্যাল ডেভেলপমেন্টের মতো শুধুমাত্র কোডের সংস্করণই নয়, ডেটারও প্রয়োজন: মডেলটি কী বিষয়ে প্রশিক্ষিত হয়েছিল তা স্পষ্টভাবে বোঝা দরকার। এটি করার জন্য, আপনি জনপ্রিয় ডেটা সায়েন্স সংস্করণ কন্ট্রোল লাইব্রেরি (dvc.org) ব্যবহার করতে পারেন।

ডেটা মার্কআপ

পরবর্তী কাজটি ডেটা লেবেলিং। উদাহরণস্বরূপ, ছবির সমস্ত বস্তু চিহ্নিত করুন বা বলুন এটি কোন শ্রেণীর অন্তর্গত। এটি Yandex.Toloka-এর মতো বিশেষ পরিষেবা দ্বারা করা হয়, যার সাথে কাজটি একটি API-এর উপস্থিতি দ্বারা ব্যাপকভাবে সরলীকৃত হয়। "মানব ফ্যাক্টর" এর কারণে অসুবিধাগুলি দেখা দেয়: আপনি ডেটার গুণমান উন্নত করতে পারেন এবং একই কাজটি বেশ কয়েকটি পারফর্মারকে অর্পণ করে ত্রুটিগুলি ন্যূনতম পর্যন্ত কমাতে পারেন।

টেনসর বোর্ডে ভিজ্যুয়ালাইজেশন

ফলাফলের তুলনা করতে এবং কিছু মেট্রিক্সের উপর ভিত্তি করে সেরা মডেল নির্বাচন করার জন্য পরীক্ষার লগিং করা প্রয়োজন। ভিজ্যুয়ালাইজেশনের জন্য সরঞ্জামগুলির একটি বড় সেট রয়েছে - উদাহরণস্বরূপ, টেনসর বোর্ড। কিন্তু পরীক্ষা সংরক্ষণ করার কোন আদর্শ উপায় নেই। ছোট কোম্পানিগুলো প্রায়ই এক্সেল স্প্রেডশীট দিয়ে কাজ করে, যখন বড় কোম্পানিগুলো ডাটাবেসে ফলাফল সংরক্ষণের জন্য বিশেষ প্ল্যাটফর্ম ব্যবহার করে।

মেশিন লার্নিংয়ের জন্য অনেকগুলি প্ল্যাটফর্ম রয়েছে, কিন্তু সেগুলির কোনওটিই 70% চাহিদা কভার করে না

একটি প্রশিক্ষিত মডেলকে উৎপাদনে বসানোর সময় প্রথম যে সমস্যাটির মুখোমুখি হতে হয় তা ডেটা বিজ্ঞানীদের প্রিয় টুল - জুপিটার নোটবুকের সাথে সম্পর্কিত। এটিতে কোনও মডুলারিটি নেই, অর্থাৎ, আউটপুটটি এমন একটি কোডের "ফুটক্লথ" যা লজিক্যাল টুকরা - মডিউলগুলিতে বিভক্ত নয়। সবকিছু মিশ্রিত করা হয়েছে: ক্লাস, ফাংশন, কনফিগারেশন ইত্যাদি। এই কোডটি সংস্করণ এবং পরীক্ষা করা কঠিন।

এটা কিভাবে মোকাবেলা করতে? আপনি নেটফ্লিক্সের মতো নিজেই পদত্যাগ করতে পারেন এবং আপনার নিজস্ব প্ল্যাটফর্ম তৈরি করতে পারেন যা আপনাকে এই ল্যাপটপগুলিকে সরাসরি উৎপাদনে লঞ্চ করতে, ইনপুট হিসাবে ডেটা স্থানান্তর করতে এবং ফলাফল পেতে দেয়। আপনি ডেভেলপারদের বাধ্য করতে পারেন যারা মডেলটিকে প্রোডাকশনে নিয়ে যাচ্ছেন তারা কোডটিকে স্বাভাবিকভাবে পুনরায় লিখতে, এটিকে মডিউলে ভেঙে দিতে পারেন। কিন্তু এই পদ্ধতির সাথে একটি ভুল করা সহজ, এবং মডেলটি উদ্দেশ্য হিসাবে কাজ করবে না। অতএব, আদর্শ বিকল্প হল মডেল কোডের জন্য জুপিটার নোটবুক ব্যবহার নিষিদ্ধ করা। যদি, অবশ্যই, ডেটা বিজ্ঞানীরা এটির সাথে একমত হন।

একটি কালো বাক্স হিসাবে মডেল

একটি মডেল উৎপাদনে পাওয়ার সবচেয়ে সহজ উপায় হল এটিকে ব্ল্যাক বক্স হিসেবে ব্যবহার করা। আপনার এক ধরণের মডেল ক্লাস রয়েছে, আপনাকে মডেলের ওজন দেওয়া হয়েছিল (প্রশিক্ষিত নেটওয়ার্কের নিউরনের পরামিতি), এবং আপনি যদি এই ক্লাসটি শুরু করেন (ভবিষ্যদ্বাণী পদ্ধতিতে কল করুন, এটিকে একটি ছবি দিন), আপনি একটি নির্দিষ্ট পাবেন একটি আউটপুট হিসাবে ভবিষ্যদ্বাণী। ভিতরে কি হয় কোন ব্যাপার না.

মডেলের সাথে আলাদা সার্ভার প্রক্রিয়া

এছাড়াও আপনি একটি নির্দিষ্ট পৃথক প্রক্রিয়া বাড়াতে পারেন এবং এটি একটি RPC সারির মাধ্যমে পাঠাতে পারেন (ছবি বা অন্যান্য উত্স ডেটা সহ। আউটপুটে আমরা ভবিষ্যদ্বাণী পাব।

ফ্লাস্কে একটি মডেল ব্যবহার করার একটি উদাহরণ:

@app.route("/predict", methods=["POST"])
def predict():
image = flask.request.files["image"].read()
image = preprocess_image(image)
predictions = model.predict(image)
return jsonify_prediction(predictions)

এই পদ্ধতির সমস্যা হল কর্মক্ষমতা সীমাবদ্ধতা। ধরা যাক আমাদের কাছে ডেটা বিজ্ঞানীদের দ্বারা লিখিত ফাইটন কোড আছে যা ধীরগতির, এবং আমরা সর্বোচ্চ কার্যক্ষমতা বের করতে চাই। এটি করার জন্য, আপনি এমন সরঞ্জামগুলি ব্যবহার করতে পারেন যা কোডটিকে নেটিভে রূপান্তর করে বা উত্পাদনের জন্য তৈরি করা অন্য কাঠামোতে রূপান্তর করে। প্রতিটি কাঠামোর জন্য এই জাতীয় সরঞ্জাম রয়েছে, তবে কোনও আদর্শ নেই; আপনাকে সেগুলি নিজেকে যুক্ত করতে হবে।

ML-এর পরিকাঠামো নিয়মিত ব্যাকএন্ডের মতোই। ডকার এবং কুবারনেটস রয়েছে, শুধুমাত্র ডকারের জন্য আপনাকে NVIDIA থেকে রানটাইম ইনস্টল করতে হবে, যা কন্টেইনারের ভিতরে থাকা প্রক্রিয়াগুলি হোস্টে ভিডিও কার্ডগুলি অ্যাক্সেস করতে দেয়। Kubernetes এর একটি প্লাগইন প্রয়োজন যাতে এটি ভিডিও কার্ড সহ সার্ভার পরিচালনা করতে পারে।

ক্লাসিক্যাল প্রোগ্রামিং-এর বিপরীতে, ML-এর ক্ষেত্রে পরিকাঠামোতে বিভিন্ন চলমান উপাদান রয়েছে যেগুলি পরীক্ষা করা এবং পরীক্ষা করা প্রয়োজন - উদাহরণস্বরূপ, ডেটা প্রসেসিং কোড, মডেল প্রশিক্ষণ পাইপলাইন এবং উত্পাদন (উপরের চিত্র দেখুন)। পাইপলাইনগুলির বিভিন্ন অংশকে সংযুক্ত করে এমন কোডটি পরীক্ষা করা গুরুত্বপূর্ণ: অনেকগুলি টুকরো রয়েছে এবং মডিউলের সীমানায় প্রায়শই সমস্যা দেখা দেয়।

কিভাবে AutoML কাজ করে

অটোএমএল পরিষেবাগুলি আপনার উদ্দেশ্যগুলির জন্য সর্বোত্তম মডেল নির্বাচন করার এবং প্রশিক্ষণ দেওয়ার প্রতিশ্রুতি দেয়। কিন্তু আপনাকে বুঝতে হবে: এমএল-এ ডেটা খুবই গুরুত্বপূর্ণ, ফলাফল তার প্রস্তুতির উপর নির্ভর করে। মার্কআপ লোকেদের দ্বারা করা হয়, যা ত্রুটিপূর্ণ। কঠোর নিয়ন্ত্রণ ব্যতীত, ফলাফলটি আবর্জনা হতে পারে এবং প্রক্রিয়াটিকে স্বয়ংক্রিয় করা এখনও সম্ভব নয়; বিশেষজ্ঞদের দ্বারা যাচাইকরণ - ডেটা বিজ্ঞানী - প্রয়োজন। এখানেই AutoML ভেঙ্গে যায়। কিন্তু এটি একটি আর্কিটেকচার নির্বাচনের জন্য উপযোগী হতে পারে - যখন আপনি ইতিমধ্যে ডেটা প্রস্তুত করেছেন এবং সেরা মডেলটি খুঁজে পেতে একাধিক পরীক্ষা চালাতে চান।

কিভাবে মেশিন লার্নিং এ প্রবেশ করবেন

ML-এ যাওয়ার সবচেয়ে সহজ উপায় হল আপনি যদি পাইথনে বিকাশ করেন, যা সমস্ত গভীর শিক্ষার কাঠামোতে (এবং নিয়মিত ফ্রেমওয়ার্ক) ব্যবহার করা হয়। কার্যকলাপের এই ক্ষেত্রের জন্য এই ভাষাটি কার্যত বাধ্যতামূলক। C++ কিছু কম্পিউটার ভিশন কাজের জন্য ব্যবহার করা হয়, উদাহরণস্বরূপ, স্ব-ড্রাইভিং গাড়ির নিয়ন্ত্রণ ব্যবস্থায়। জাভাস্ক্রিপ্ট এবং শেল - ভিজ্যুয়ালাইজেশন এবং ব্রাউজারে নিউরন চালানোর মতো অদ্ভুত জিনিসগুলির জন্য। বিগ ডেটার সাথে কাজ করার সময় এবং মেশিন লার্নিংয়ের জন্য Java এবং Scala ব্যবহার করা হয়। আর এবং জুলিয়া গাণিতিক পরিসংখ্যান অধ্যয়নকারী লোকেরা পছন্দ করে।

শুরুতে ব্যবহারিক অভিজ্ঞতা পাওয়ার সবচেয়ে সুবিধাজনক উপায় হল Kaggle; একটি প্ল্যাটফর্মের প্রতিযোগিতায় অংশগ্রহণ তত্ত্ব অধ্যয়নের এক বছরেরও বেশি সময় দেয়। এই প্ল্যাটফর্মে আপনি অন্য কারও পোস্ট করা এবং মন্তব্য করা কোড নিতে পারেন এবং এটিকে উন্নত করার চেষ্টা করতে পারেন, আপনার উদ্দেশ্যে এটিকে অপ্টিমাইজ করতে পারেন। বোনাস - আপনার Kaggle পদ আপনার বেতন প্রভাবিত করে.

আরেকটি বিকল্প হল ব্যাকএন্ড ডেভেলপার হিসেবে ML টিমে যোগদান করা। অনেক মেশিন লার্নিং স্টার্টআপ আছে যেখানে আপনি আপনার সহকর্মীদের তাদের সমস্যা সমাধানে সাহায্য করে অভিজ্ঞতা অর্জন করতে পারেন। অবশেষে, আপনি ডেটা সায়েন্টিস্ট সম্প্রদায়গুলির মধ্যে একটিতে যোগ দিতে পারেন - ওপেন ডেটা সায়েন্স (ods.ai) এবং অন্যান্য।

স্পিকার লিঙ্কে বিষয়টির উপর অতিরিক্ত তথ্য পোস্ট করেছেন https://bit.ly/backend-to-ml

"কোয়াড্রুপেল" - পোর্টাল "স্টেট সার্ভিসেস" এর লক্ষ্যযুক্ত বিজ্ঞপ্তিগুলির একটি পরিষেবা

ইভগেনি স্মিরনোভ

পরবর্তী বক্তা ছিলেন ই-গভর্নমেন্ট অবকাঠামো উন্নয়ন বিভাগের প্রধান, এভজেনি স্মিরনভ, যিনি চতুর্পল সম্পর্কে কথা বলেছিলেন। এটি Gosuslugi পোর্টাল (gosuslugi.ru) এর জন্য একটি লক্ষ্যযুক্ত বিজ্ঞপ্তি পরিষেবা, যা রুনেটে সবচেয়ে বেশি পরিদর্শন করা সরকারি সংস্থান। দৈনিক শ্রোতা 2,6 মিলিয়ন, মোট সাইটে 90 মিলিয়ন নিবন্ধিত ব্যবহারকারী রয়েছে, যার মধ্যে 60 মিলিয়ন নিশ্চিত। পোর্টাল এপিআইতে লোড 30 হাজার আরপিএস।

রাষ্ট্রীয় পরিষেবাগুলির ব্যাকএন্ডে ব্যবহৃত প্রযুক্তি

"কোয়াড্রুপেল" একটি লক্ষ্যযুক্ত বিজ্ঞপ্তি পরিষেবা, যার সাহায্যে ব্যবহারকারী বিশেষ বিজ্ঞপ্তি নিয়ম সেট আপ করে তার জন্য সবচেয়ে উপযুক্ত মুহুর্তে একটি পরিষেবার জন্য একটি অফার পান। পরিষেবাটি বিকাশ করার সময় প্রধান প্রয়োজনীয়তা ছিল নমনীয় সেটিংস এবং মেইলিংয়ের জন্য পর্যাপ্ত সময়।

কিভাবে Quadrupel কাজ করে?

উপরের চিত্রটি চালকের লাইসেন্স প্রতিস্থাপনের প্রয়োজনীয়তার সাথে পরিস্থিতির উদাহরণ ব্যবহার করে কোয়াড্রুপেলের পরিচালনার একটি নিয়ম দেখায়। প্রথমত, পরিষেবাটি এমন ব্যবহারকারীদের সন্ধান করে যাদের মেয়াদ শেষ হওয়ার তারিখ এক মাসে শেষ হয়ে যায়। তাদের উপযুক্ত পরিষেবা পাওয়ার প্রস্তাব সহ একটি ব্যানার দেখানো হয় এবং ইমেলের মাধ্যমে একটি বার্তা পাঠানো হয়। সেই ব্যবহারকারীদের জন্য যাদের সময়সীমা ইতিমধ্যেই শেষ হয়ে গেছে, ব্যানার এবং ইমেল পরিবর্তন। অধিকারের সফল বিনিময়ের পরে, ব্যবহারকারী অন্যান্য বিজ্ঞপ্তিগুলি পায় - পরিচয়ে ডেটা আপডেট করার প্রস্তাব সহ।

প্রযুক্তিগত দৃষ্টিকোণ থেকে, এগুলি হল গ্রোভি স্ক্রিপ্ট যাতে কোড লেখা হয়। ইনপুটটি ডেটা, আউটপুটটি সত্য/মিথ্যা, মিলিত/মেলেনি। মোট 50 টিরও বেশি নিয়ম রয়েছে - ব্যবহারকারীর জন্মদিন নির্ধারণ থেকে শুরু করে জটিল পরিস্থিতিতে (বর্তমান তারিখটি ব্যবহারকারীর জন্ম তারিখের সমান)। প্রতিদিন, এই নিয়মগুলি প্রায় এক মিলিয়ন ম্যাচকে চিহ্নিত করে—যাদের অবহিত করা প্রয়োজন।

চতুর্মুখ বিজ্ঞপ্তি চ্যানেল

কোয়াড্রুপেলের হুডের অধীনে একটি ডাটাবেস রয়েছে যেখানে ব্যবহারকারীর ডেটা সংরক্ষণ করা হয় এবং তিনটি অ্যাপ্লিকেশন: 

• কর্মী ডেটা আপডেট করার উদ্দেশ্যে।
• রেস্ট এপিআই পোর্টাল এবং মোবাইল অ্যাপ্লিকেশনে ব্যানারগুলি তুলে নেয় এবং বিতরণ করে।
• নির্ধারণকারী ব্যানার বা গণ মেইলিং পুনরায় গণনা করার কাজ শুরু করে।

ডেটা আপডেট করতে, ব্যাকএন্ডটি ইভেন্ট-চালিত। দুটি ইন্টারফেস - বিশ্রাম বা JMS। অনেক ইভেন্ট আছে; সংরক্ষণ এবং প্রক্রিয়াকরণের আগে, সেগুলি একত্রিত করা হয় যাতে অপ্রয়োজনীয় অনুরোধ না করা যায়। ডাটাবেস নিজেই, যে সারণীতে ডেটা সংরক্ষণ করা হয়, সেটি একটি মূল মূল্যের দোকানের মতো দেখায় - ব্যবহারকারীর কী এবং মান নিজেই: প্রাসঙ্গিক নথির উপস্থিতি বা অনুপস্থিতি নির্দেশ করে পতাকা, তাদের বৈধতার সময়কাল, পরিষেবার ক্রম অনুসারে সমষ্টিগত পরিসংখ্যান এই ব্যবহারকারী, এবং তাই.

ডেটা সংরক্ষণ করার পরে, JMS-এ একটি টাস্ক সেট করা হয়েছে যাতে ব্যানারগুলি অবিলম্বে পুনরায় গণনা করা হয় - এটি অবিলম্বে ওয়েবে প্রদর্শিত হতে হবে। সিস্টেমটি রাতে শুরু হয়: ব্যবহারকারীর ব্যবধানে কাজগুলি JMS-এ নিক্ষিপ্ত হয়, সেই অনুযায়ী নিয়মগুলি পুনরায় গণনা করা প্রয়োজন। এটি পুনঃগণনার সাথে জড়িত প্রসেসরদের দ্বারা নেওয়া হয়। এর পরে, প্রক্রিয়াকরণের ফলাফলগুলি পরবর্তী সারিতে যায়, যা হয় ডাটাবেসে ব্যানার সংরক্ষণ করে বা পরিষেবাতে ব্যবহারকারীর বিজ্ঞপ্তির কাজগুলি পাঠায়। প্রক্রিয়াটি 5-7 ঘন্টা সময় নেয়, আপনি সর্বদা হ্যান্ডলার যোগ করতে পারেন বা নতুন হ্যান্ডলারের সাথে উদাহরণ বাড়াতে পারেন এই কারণে এটি সহজেই মাপযোগ্য।

পরিষেবাটি বেশ ভাল কাজ করে। কিন্তু বেশি ব্যবহারকারী থাকায় ডেটার পরিমাণ বাড়ছে। এটি ডাটাবেসের লোড বৃদ্ধির দিকে পরিচালিত করে - এমনকি রেস্ট এপিআই প্রতিরূপটি দেখে এই বিষয়টিও বিবেচনা করে। দ্বিতীয় পয়েন্টটি হ'ল জেএমএস, যা এটি পরিণত হয়েছে, এটির উচ্চ মেমরি ব্যবহারের কারণে খুব উপযুক্ত নয়। কিউ ওভারফ্লো হওয়ার একটি উচ্চ ঝুঁকি রয়েছে যার ফলে জেএমএস ক্র্যাশ এবং প্রক্রিয়াকরণ বন্ধ হয়ে যায়। লগগুলি সাফ না করে এর পরে জেএমএস বাড়ানো অসম্ভব।

এটি শার্ডিং ব্যবহার করে সমস্যাগুলি সমাধান করার পরিকল্পনা করা হয়েছে, যা ডাটাবেসের উপর ভারসাম্য বজায় রাখার অনুমতি দেবে। ডাটা স্টোরেজ স্কিম পরিবর্তন করার এবং JMS কে কাফকাতে পরিবর্তন করার পরিকল্পনাও রয়েছে - একটি আরও ত্রুটি-সহনশীল সমাধান যা মেমরি সমস্যার সমাধান করবে।

ব্যাকএন্ড-এ-সার্ভিস বনাম সার্ভারহীন

বাম থেকে ডানে: আলেকজান্ডার বোরগার্ট, আন্দ্রে টমিলেঙ্কো, নিকোলে মার্কভ, আরা ইস্রায়েলিয়ান

একটি পরিষেবা বা সার্ভারহীন সমাধান হিসাবে ব্যাকএন্ড? রাউন্ড টেবিলে এই প্রেসিং ইস্যুটির আলোচনায় অংশগ্রহণকারীরা ছিলেন:

• আরা ইসরায়েলিয়ান, সিটিও সিটিও এবং স্কোরোকোডের প্রতিষ্ঠাতা।
• নিকোলে মার্কভ, অ্যালাইনড রিসার্চ গ্রুপের সিনিয়র ডেটা ইঞ্জিনিয়ার।
• আন্দ্রে টমিলেঙ্কো, RUVDS উন্নয়ন বিভাগের প্রধান। 

কথোপকথনটি পরিচালনা করেছিলেন সিনিয়র ডেভেলপার আলেকজান্ডার বোরগার্ট। আমরা সেই বিতর্কগুলি উপস্থাপন করি যেখানে শ্রোতারাও একটি সংক্ষিপ্ত সংস্করণে অংশগ্রহণ করেছিলেন।

- আপনার বোঝার মধ্যে সার্ভারহীন কি?

অ্যান্ড্রু: এটি একটি কম্পিউটিং মডেল - একটি ল্যাম্বডা ফাংশন যা ডেটা প্রক্রিয়া করতে হবে যাতে ফলাফল শুধুমাত্র ডেটার উপর নির্ভর করে। শব্দটি Google থেকে বা Amazon এবং এর AWS Lambda পরিষেবা থেকে এসেছে। একটি প্রদানকারীর পক্ষে এটির জন্য ক্ষমতার একটি পুল বরাদ্দ করে এই জাতীয় ফাংশন পরিচালনা করা সহজ। একই সার্ভারে বিভিন্ন ব্যবহারকারীদের স্বাধীনভাবে হিসাব করা যেতে পারে।
নিকোলাস: সহজভাবে বলতে গেলে, আমরা আমাদের আইটি অবকাঠামো এবং ব্যবসায়িক যুক্তির কিছু অংশ ক্লাউডে, আউটসোর্সিং-এ স্থানান্তর করছি।
আমেরিকার কাকাতুয়া: ডেভেলপারদের পক্ষ থেকে - সম্পদ সংরক্ষণের একটি ভাল প্রচেষ্টা, বিপণনকারীদের পক্ষ থেকে - আরও অর্থ উপার্জন করার জন্য।

— সার্ভারলেস কি মাইক্রোসার্ভিসের মতোই?

নিকোলাস: না, সার্ভারলেস একটি আর্কিটেকচার প্রতিষ্ঠানের বেশি। একটি মাইক্রোসার্ভিস কিছু যুক্তির একটি পারমাণবিক একক। সার্ভারহীন একটি পদ্ধতি, একটি "পৃথক সত্তা" নয়।
আমেরিকার কাকাতুয়া: একটি সার্ভারহীন ফাংশন একটি মাইক্রোসার্ভিসে প্যাকেজ করা যেতে পারে, কিন্তু এটি আর সার্ভারবিহীন থাকবে না, এটি একটি ল্যাম্বডা ফাংশন থেকে বিরত থাকবে৷ সার্ভারলেস, একটি ফাংশন শুধুমাত্র অনুরোধ করা মুহুর্তে কাজ শুরু করে।
অ্যান্ড্রু: তারা তাদের জীবদ্দশায় ভিন্ন। আমরা ল্যাম্বডা ফাংশন চালু করেছি এবং এটি ভুলে গেছি। এটি কয়েক সেকেন্ডের জন্য কাজ করেছে এবং পরবর্তী ক্লায়েন্ট অন্য একটি শারীরিক মেশিনে এর অনুরোধ প্রক্রিয়া করতে পারে।

- কোন স্কেল ভাল?

আমেরিকার কাকাতুয়া: অনুভূমিকভাবে স্কেলিং করার সময়, Lambda ফাংশনগুলি মাইক্রোসার্ভিসের মতোই আচরণ করে।
নিকোলাস: আপনি যত সংখ্যক প্রতিলিপি সেট করুন, তার মধ্যে অনেকগুলিই থাকবে; সার্ভারলেস স্কেলিং নিয়ে কোনও সমস্যা নেই। আমি Kubernetes-এ একটি রেপ্লিকা সেট তৈরি করেছি, 20টি উদাহরণ "কোথাও" চালু করেছি এবং 20টি বেনামী লিঙ্ক আপনাকে ফেরত দেওয়া হয়েছে৷ ফরোয়ার্ড !

— সার্ভারলেস একটি ব্যাকএন্ড লেখা সম্ভব?

অ্যান্ড্রু: তাত্ত্বিকভাবে, কিন্তু এর কোন মানে নেই। Lambda ফাংশনগুলি একটি একক সংগ্রহস্থলের উপর নির্ভর করবে - আমাদের গ্যারান্টি নিশ্চিত করতে হবে। উদাহরণস্বরূপ, যদি একজন ব্যবহারকারী একটি নির্দিষ্ট লেনদেন সম্পন্ন করে থাকে, তাহলে পরের বার যখন তিনি যোগাযোগ করবেন তখন তাকে দেখতে হবে: লেনদেনটি সম্পন্ন হয়েছে, তহবিল জমা হয়েছে। সমস্ত Lambda ফাংশন এই কলে ব্লক করবে। প্রকৃতপক্ষে, সার্ভারহীন ফাংশনগুলির একটি গুচ্ছ ডাটাবেসের একটি বাধা অ্যাক্সেস পয়েন্ট সহ একটি একক পরিষেবাতে পরিণত হবে।

— কোন পরিস্থিতিতে সার্ভারবিহীন আর্কিটেকচার ব্যবহার করা মানে?

অ্যান্ড্রু: যে কাজগুলির জন্য শেয়ার্ড স্টোরেজ প্রয়োজন হয় না - একই মাইনিং, ব্লকচেইন। যেখানে আপনাকে অনেক গুনতে হবে। আপনার যদি প্রচুর কম্পিউটিং ক্ষমতা থাকে, তাহলে আপনি একটি ফাংশন সংজ্ঞায়িত করতে পারেন যেমন "সেখানে কিছুর হ্যাশ গণনা করুন..." তবে আপনি ডেটা স্টোরেজ নিয়ে সমস্যার সমাধান করতে পারেন, উদাহরণস্বরূপ, অ্যামাজন থেকে ল্যাম্বডা ফাংশন এবং তাদের বিতরণ করা স্টোরেজ . এবং দেখা যাচ্ছে যে আপনি একটি নিয়মিত পরিষেবা লিখছেন। Lambda ফাংশন স্টোরেজ অ্যাক্সেস করবে এবং ব্যবহারকারীকে এক ধরনের প্রতিক্রিয়া প্রদান করবে।
নিকোলাস: যে কন্টেইনারগুলি সার্ভারলেস চলে তা অত্যন্ত সীমিত সম্পদে। সামান্য স্মৃতি এবং অন্য সব কিছু আছে। কিন্তু যদি আপনার সম্পূর্ণ অবকাঠামো সম্পূর্ণরূপে কিছু ক্লাউডে স্থাপন করা হয় - Google, Amazon - এবং তাদের সাথে আপনার একটি স্থায়ী চুক্তি থাকে, এই সবের জন্য একটি বাজেট থাকে, তাহলে কিছু কাজের জন্য আপনি সার্ভারহীন পাত্র ব্যবহার করতে পারেন। এই অবকাঠামোর ভিতরে থাকা প্রয়োজন, কারণ সবকিছু একটি নির্দিষ্ট পরিবেশে ব্যবহারের জন্য তৈরি করা হয়েছে। অর্থাৎ, আপনি যদি মেঘের পরিকাঠামোর সাথে সবকিছু বেঁধে রাখতে প্রস্তুত হন তবে আপনি পরীক্ষা করতে পারেন। সুবিধা হল আপনাকে এই পরিকাঠামো পরিচালনা করতে হবে না।
আমেরিকার কাকাতুয়া: সার্ভারলেস-এর জন্য আপনাকে কুবারনেটস, ডকার, কাফকা ইন্সটল ইত্যাদি পরিচালনা করার প্রয়োজন হয় না তা হল আত্মপ্রতারণা। একই অ্যামাজন এবং গুগল এটি ইনস্টল করছে। আরেকটি বিষয় হল আপনার একটি SLA আছে। আপনি নিজেই কোডিং করার পরিবর্তে সবকিছু আউটসোর্স করতে পারেন।
অ্যান্ড্রু: সার্ভারহীন নিজেই সস্তা, তবে আপনাকে অন্যান্য আমাজন পরিষেবাগুলির জন্য অনেক অর্থ প্রদান করতে হবে - উদাহরণস্বরূপ, ডাটাবেস৷ লোকেরা ইতিমধ্যে তাদের বিরুদ্ধে মামলা করেছে কারণ তারা এপিআই গেটের জন্য পাগল পরিমাণে টাকা নিয়েছে।
আমেরিকার কাকাতুয়া: যদি আমরা অর্থের বিষয়ে কথা বলি, তাহলে আপনাকে এই পয়েন্টটি বিবেচনায় নিতে হবে: সমস্ত কোড সার্ভারলেস-এ স্থানান্তর করার জন্য আপনাকে কোম্পানির সম্পূর্ণ বিকাশ পদ্ধতিটি 180 ডিগ্রি ঘুরিয়ে দিতে হবে। এতে অনেক সময় এবং অর্থ লাগবে।

— Amazon এবং Google থেকে পেইড সার্ভারলেস করার কোন উপযুক্ত বিকল্প আছে কি?

নিকোলাস: Kubernetes-এ, আপনি কিছু ধরণের কাজ চালু করেন, এটি চলে এবং মারা যায় - এটি একটি স্থাপত্যের দৃষ্টিকোণ থেকে বেশ সার্ভারহীন। আপনি যদি সারি এবং ডাটাবেসগুলির সাথে সত্যিই আকর্ষণীয় ব্যবসায়িক যুক্তি তৈরি করতে চান তবে আপনাকে এটি সম্পর্কে আরও কিছুটা ভাবতে হবে। এই সব Kubernetes ছাড়াই সমাধান করা যেতে পারে. আমি অতিরিক্ত বাস্তবায়ন টেনে আনতে বিরক্ত করব না।

— সার্ভারলেস কী ঘটছে তা পর্যবেক্ষণ করা কতটা গুরুত্বপূর্ণ?

আমেরিকার কাকাতুয়া: সিস্টেম আর্কিটেকচার এবং ব্যবসার প্রয়োজনীয়তার উপর নির্ভর করে। মূলত, প্রদানকারীকে অবশ্যই প্রতিবেদন প্রদান করতে হবে যা ডেভপস দলকে সম্ভাব্য সমস্যাগুলি বুঝতে সাহায্য করবে।
নিকোলাস: অ্যামাজনে ক্লাউডওয়াচ রয়েছে, যেখানে ল্যাম্বদা সহ সমস্ত লগ স্ট্রিম করা হয়৷ লগ ফরওয়ার্ডিংকে একীভূত করুন এবং দেখার জন্য, সতর্ক করার জন্য একটি পৃথক টুল ব্যবহার করুন। আপনি শুরু পাত্রে এজেন্ট স্টাফ করতে পারেন.

- চলুন এটা যোগ করা যাক.

অ্যান্ড্রু: Lambda ফাংশন সম্পর্কে চিন্তা করা দরকারী. আপনি যদি নিজে থেকে একটি পরিষেবা তৈরি করেন - একটি মাইক্রোসার্ভিস নয়, তবে একটি যা একটি অনুরোধ লিখে, ডাটাবেস অ্যাক্সেস করে এবং একটি প্রতিক্রিয়া পাঠায় - ল্যাম্বডা ফাংশনটি বেশ কয়েকটি সমস্যার সমাধান করে: মাল্টিথ্রেডিং, স্কেলেবিলিটি ইত্যাদি সহ। যদি আপনার যুক্তি এইভাবে নির্মিত হয়, তাহলে ভবিষ্যতে আপনি এই Lambdasগুলিকে মাইক্রোসার্ভিসে স্থানান্তর করতে পারবেন বা Amazon-এর মতো তৃতীয় পক্ষের পরিষেবাগুলি ব্যবহার করতে পারবেন৷ প্রযুক্তিটি দরকারী, ধারণাটি আকর্ষণীয়। এটি ব্যবসার জন্য কতটা ন্যায়সঙ্গত তা এখনও একটি খোলা প্রশ্ন।
নিকোলে: সার্ভারহীন কিছু ব্যবসায়িক যুক্তি গণনা করার চেয়ে অপারেশন কাজের জন্য ভাল ব্যবহার করা হয়। আমি সবসময় ইভেন্ট প্রসেসিং হিসাবে এটি মনে করি। আপনার যদি এটি অ্যামাজনে থাকে, যদি আপনি কুবারনেটসে থাকেন, হ্যাঁ। অন্যথায়, আপনাকে সার্ভারলেস আপ এবং আপনার নিজের উপর চালানোর জন্য অনেক প্রচেষ্টা করতে হবে। এটি একটি নির্দিষ্ট ব্যবসা ক্ষেত্রে তাকান প্রয়োজন. উদাহরণস্বরূপ, এখন আমার কাজগুলির মধ্যে একটি হল: যখন ফাইলগুলি একটি নির্দিষ্ট বিন্যাসে ডিস্কে উপস্থিত হয়, তখন আমাকে সেগুলি কাফকাতে আপলোড করতে হবে। আমি WatchDog বা Lambda ব্যবহার করতে পারি। যৌক্তিক দৃষ্টিকোণ থেকে, উভয় বিকল্পই উপযুক্ত, তবে বাস্তবায়নের ক্ষেত্রে, সার্ভারলেস আরও জটিল, এবং আমি ল্যাম্বডা ছাড়াই সহজ উপায় পছন্দ করি।
আমেরিকার কাকাতুয়া: সার্ভারহীন একটি আকর্ষণীয়, প্রযোজ্য, এবং খুব প্রযুক্তিগতভাবে সুন্দর ধারণা৷ শীঘ্রই বা পরে, প্রযুক্তি এমন জায়গায় পৌঁছে যাবে যেখানে 100 মিলিসেকেন্ডেরও কম সময়ে যেকোনো ফাংশন চালু হবে। তারপরে, নীতিগতভাবে, ব্যবহারকারীর জন্য অপেক্ষার সময়টি সমালোচনামূলক কিনা তা নিয়ে কোনও প্রশ্ন থাকবে না। একই সময়ে, সার্ভারলেস এর প্রযোজ্যতা, সহকর্মীরা ইতিমধ্যে বলেছে, সম্পূর্ণরূপে ব্যবসায়িক সমস্যার উপর নির্ভর করে।

আমরা আমাদের স্পনসরদের ধন্যবাদ যারা আমাদের অনেক সাহায্য করেছেন:

• আইটি কনফারেন্স স্পেস «বসন্ত» কনফারেন্স সাইটের জন্য।
• আইটি ইভেন্টের ক্যালেন্ডার রুনেট-আইডি এবং প্রকাশনা "সংখ্যায় ইন্টারনেট»  তথ্য সহায়তা এবং খবরের জন্য।
• «অ্যাক্রোনিস"উপহারের জন্য।
• অ্যাভিটো সহ-সৃষ্টির জন্য।
• "ইলেক্ট্রনিক যোগাযোগের জন্য সমিতি" RAEC সম্পৃক্ততা এবং অভিজ্ঞতার জন্য।
• প্রধান পৃষ্ঠপোষক RUVDS - সবার জন্য!

উত্স: www.habr.com