19 হাইড্রা হেড। প্রোগ্রামের মহান ওভারভিউ

সেন্ট পিটার্সবার্গে 11-12 জুলাই একটি সম্মেলন অনুষ্ঠিত হবে হাইড্রার, সমান্তরাল এবং বিতরণ সিস্টেমের উন্নয়নে নিবেদিত. হাইড্রার কৌশলটি হল এটি দুর্দান্ত বিজ্ঞানীদের (যারা সাধারণত শুধুমাত্র বিদেশী বৈজ্ঞানিক সম্মেলনে পাওয়া যায়) এবং বিখ্যাত অনুশীলনকারী ইঞ্জিনিয়ারদের বিজ্ঞান এবং অনুশীলনের সংযোগস্থলে একটি বড় প্রোগ্রামে একত্রিত করে।

হাইড্রা গত কয়েক বছরে আমাদের সবচেয়ে গুরুত্বপূর্ণ সম্মেলনগুলির মধ্যে একটি। এর আগে ছিল অত্যন্ত গুরুতর প্রস্তুতি, বক্তা নির্বাচন এবং প্রতিবেদন। এ নিয়ে গত সপ্তাহে ড হ্যাব্রো সাক্ষাৎকার বেরিয়েছে JUG.ru গ্রুপের পরিচালক আলেক্সি ফেডোরভের সাথে (23 ডিরেভো).

আমরা ইতিমধ্যে বলা হয়েছে প্রায় তিনজন গুরুত্বপূর্ণ অংশগ্রহণকারী, বিতরণ করা সিস্টেমের তত্ত্বের প্রতিষ্ঠাতা - লেসলি ল্যামপোর্ট, মরিস হারলিহি এবং মাইকেল স্কট। পুরো প্রোগ্রাম সম্পর্কে আরও বিশদে কথা বলার সময় এসেছে!

প্রেরণা

আপনি যদি প্রোগ্রামিং এর সাথে জড়িত হন, তাহলে আপনি এক বা অন্য উপায়ে মাল্টিথ্রেডিং এবং ডিস্ট্রিবিউটেড কম্পিউটিং নিয়ে কাজ করছেন। প্রাসঙ্গিক ক্ষেত্রের বিশেষজ্ঞরা সরাসরি তাদের সাথে কাজ করে, কিন্তু স্পষ্টভাবে, বিতরণ আমাদের সব জায়গা থেকে দেখছে: যেকোনো মাল্টি-কোর কম্পিউটার বা বিতরণ করা পরিষেবাতে এমন কিছু আছে যা সমান্তরালভাবে গণনা করে।

অ্যাপ্লিকেশন প্রোগ্রামিং বিভিন্ন দিক কভার যে অনেক সম্মেলন আছে. বর্ণালীর অন্য দিকে, আমাদের বিশেষ বৈজ্ঞানিক বিদ্যালয় রয়েছে যা লেকচার ফরম্যাটে প্রচুর পরিমাণে জটিল তত্ত্ব প্রকাশ করে। উদাহরণস্বরূপ, সেন্ট পিটার্সবার্গে হাইড্রার সাথে সমান্তরালভাবে আছে এসপিটিডিসি স্কুল. হাইড্রা কনফারেন্সে, আমরা কঠোর অনুশীলন, বিজ্ঞান এবং সবকিছুকে তাদের সংযোগস্থলে একত্রিত করার চেষ্টা করেছি।

এটি সম্পর্কে চিন্তা করুন: আমরা একটি আশ্চর্যজনক সময়ে বাস করি যখন আপনি বিজ্ঞান এবং প্রকৌশল ক্ষেত্রের প্রতিষ্ঠাতাদের সাথে দেখা করতে পারেন যা আমরা অধ্যয়ন করি। পদার্থবিজ্ঞানীরা নিউটন বা আইনস্টাইনের সাথে দেখা করবেন না - ট্রেন চলে গেছে। তবে আমাদের পাশে এখনও তারা বাস করেন যারা বিতরণ করা সিস্টেমের তত্ত্বের ভিত্তি তৈরি করেছেন, জনপ্রিয় প্রোগ্রামিং ভাষা আবিষ্কার করেছেন এবং প্রথমবারের মতো এই সমস্ত কিছু কার্যকরী প্রোটোটাইপে মূর্ত করেছেন। এই লোকেরা তাদের চাকরি অর্ধেক ছেড়ে দেয়নি, তারা এখন বিশ্ব-বিখ্যাত বিশ্ববিদ্যালয় এবং কোম্পানিগুলিতে চাপের সমস্যা নিয়ে কাজ করছে এবং তারা আজ জ্ঞান ও অভিজ্ঞতার সবচেয়ে বড় উৎস।

অন্যদিকে, তাদের সাথে দেখা করার সুযোগটি সাধারণত বিশুদ্ধভাবে তাত্ত্বিক থেকে যায়: আমাদের মধ্যে কয়েকজন ক্রমাগত কিছু রচেস্টার বিশ্ববিদ্যালয়ে পাবলিক ইভেন্টগুলি পর্যবেক্ষণ করতে পারে এবং তারপরে মার্কিন যুক্তরাষ্ট্রে ছুটে যেতে পারে এবং মাইকেল স্কটের সাথে একটি বক্তৃতার জন্য ফিরে আসে। সমস্ত হাইড্রার সদস্যদের দেখার জন্য একটি ছোট ভাগ্য ব্যয় হবে, নষ্ট সময়ের অতল গহ্বর গণনা করা হবে না (যদিও এটি একটি আকর্ষণীয় অনুসন্ধানের মতো শোনাচ্ছে)।

অন্যদিকে, আমাদের অনেক শীর্ষ প্রকৌশলী আছেন যারা এই মুহূর্তে বিতরণ করা সিস্টেমে সমস্যাগুলি চাপানোর জন্য কাজ করছেন এবং তাদের কাছে অবশ্যই অনেক কিছু বলার আছে। কিন্তু এখানে সমস্যা - তারা работают, এবং তাদের সময় মূল্যবান. হ্যাঁ, আপনি যদি Microsoft, Google বা JetBrains-এর একজন কর্মচারী হন, তাহলে একটি অভ্যন্তরীণ ইভেন্টে বিখ্যাত বক্তাদের একজনের সাথে সাক্ষাতের সম্ভাবনা তীব্রভাবে বৃদ্ধি পায়, কিন্তু সাধারণভাবে, না, এটি প্রতিদিন ঘটে না।

এইভাবে, হাইড্রা কনফারেন্স একটি গুরুত্বপূর্ণ কাজ সম্পাদন করে যা আমাদের বেশিরভাগই নিজের থেকে করতে পারে না - এক জায়গায় এবং এক সময়ে, এটি এমন লোকদের একত্রিত করে যাদের ধারণা বা মিথস্ক্রিয়া যাদের সাথে আপনার জীবন পরিবর্তন করতে পারে। আমি স্বীকার করি যে প্রত্যেকের বিতরণ সিস্টেম বা কিছু জটিল মৌলিক জিনিসের প্রয়োজন হয় না। আপনি আপনার বাকি জীবনের জন্য PHP-তে CRUD প্রোগ্রাম করতে পারেন এবং সম্পূর্ণ সুখী থাকতে পারেন। কিন্তু যার এটি প্রয়োজন, এটি আপনার সুযোগ।

হাবরে হাইড্রা সম্মেলনের প্রথম ঘোষণার পর বেশ দীর্ঘ সময় কেটে গেছে। এই সময়ের মধ্যে, অনেক কাজ করা হয়েছে - এবং এখন আমাদের কাছে প্রায় সমস্ত প্রতিবেদনের একটি তালিকা রয়েছে। কোন অলস একক-থ্রেডেড অ্যালগরিদম নেই, শুধু বিশুদ্ধ বিতরণ করা হার্ডকোর! আসুন সাধারণ শব্দ দিয়ে শেষ করি এবং দেখি এখন আমাদের হাতে কী আছে।

কীনোটস

মূল বক্তব্য সম্মেলনের দিনগুলি শুরু এবং শেষ হয়। সাধারণত একটি উদ্বোধনী মূল বক্তব্যের বিষয় হল সম্মেলনের সাধারণ চেতনা এবং দিকনির্দেশনা নির্ধারণ করা। সমাপনী মূল বক্তব্যটি একটি রেখা আঁকে এবং ব্যাখ্যা করে যে কীভাবে আমরা সম্মেলনের সময় অর্জিত জ্ঞান এবং দক্ষতা নিয়ে বাঁচতে পারি। শুরু এবং শেষ: যা সর্বোত্তমভাবে মনে রাখা হয়, এবং সাধারণভাবে, তা তাত্পর্য বৃদ্ধি করেছে।

ক্লিফ ক্লিক H2O K/V অ্যালগরিদম বিতরণ করেছে

ক্লিফ জাভা বিশ্বের একটি কিংবদন্তি। 90 এর দশকের শেষের দিকে, তার পিএইচডি থিসিসের জন্য, তিনি শিরোনামে একটি গবেষণাপত্র লিখেছিলেন "সম্মিলিত বিশ্লেষণ, অপ্টিমাইজেশন একত্রিত করা", যা কিছু সময় পরে HotSpot JVM সার্ভার কম্পাইলারের ভিত্তি হয়ে ওঠে। দুই বছর পরে, তিনি ইতিমধ্যে JVM-এ Sun Microsystems-এ কাজ করছিলেন এবং সমগ্র বিশ্বকে দেখিয়েছিলেন যে JIT-এর অস্তিত্বের অধিকার রয়েছে। ক্লিফ ক্লিক থেকে সবচেয়ে স্মার্ট এবং দ্রুততম অপ্টিমাইজেশান সহ জাভা দ্রুততম আধুনিক রানটাইমগুলির মধ্যে একটি কিভাবে এই পুরো গল্পটি এসেছে। একেবারে শুরুতে, এটি বিশ্বাস করা হয়েছিল যে যদি কোনও স্ট্যাটিক কম্পাইলারের কাছে কিছু অ্যাক্সেসযোগ্য হয় তবে আপনাকে এটি জিট করার চেষ্টাও করতে হবে না। ক্লিফ এবং দলের কাজের জন্য ধন্যবাদ, ডিফল্টরূপে জেআইটি সংকলনের ধারণার সাথে সমস্ত নতুন ভাষা তৈরি করা শুরু হয়েছিল। অবশ্যই, এটি কোনও এক ব্যক্তির কাজ ছিল না, তবে ক্লিফ এতে খুব গুরুত্বপূর্ণ ভূমিকা পালন করেছিলেন।

উদ্বোধনী মূল বক্তব্যে, ক্লিফ তার অন্য প্রচেষ্টা সম্পর্কে কথা বলবেন - H20, শিল্প অ্যাপ্লিকেশনের জন্য বিতরণ করা এবং মাপযোগ্য মেশিন লার্নিংয়ের জন্য একটি ইন-মেমরি প্ল্যাটফর্ম। বা আরও স্পষ্টভাবে, এটির ভিতরে কী-মান জোড়ার বিতরণ করা স্টোরেজ সম্পর্কে। এটি অনেক আকর্ষণীয় বৈশিষ্ট্য সহ একটি খুব দ্রুত স্টোরেজ (সঠিক তালিকাটি রয়েছে বর্ণনা), যা বড় ডেটা স্ট্রিমিংয়ের গণিতে অনুরূপ সমাধান ব্যবহারের অনুমতি দেয়।

আরেকটি প্রতিবেদন যা ক্লিফ দেবে তা হল- আজুল হার্ডওয়্যার লেনদেন মেমরি অভিজ্ঞতা. তার জীবনীর আরেকটি অংশ - দশ বছর Azul এ কাজ করুন, যেখানে তিনি Azul হার্ডওয়্যার এবং প্রযুক্তি স্ট্যাকের অনেক কিছু আপডেট এবং উন্নত করেছেন: JIT কম্পাইলার, রানটাইম, থ্রেড মডেল, ত্রুটি হ্যান্ডলিং, স্ট্যাক হ্যান্ডলিং, হার্ডওয়্যার বাধা, ক্লাস লোডিং এবং আরও অনেক কিছু - ভাল, আপনি পাবেন ধারণা.

সবচেয়ে আকর্ষণীয় অংশ শুরু হয়েছিল যখন তারা একটি বড় ব্যবসার জন্য হার্ডওয়্যার তৈরি করেছিল - জাভা চালানোর জন্য একটি সুপার কম্পিউটার। এটি একটি বরং উদ্ভাবনী জিনিস ছিল, যা জাভার জন্য বিশেষভাবে তৈরি করা হয়েছে, যার বিশেষ প্রয়োজনীয়তা রয়েছে - লো-পজ আবর্জনা সংগ্রহের জন্য মেমরি বাধা পড়ুন, বাউন্ড চেকিং সহ অ্যারে, ভার্চুয়াল কল... একটি দুর্দান্ত প্রযুক্তি হল হার্ডওয়্যার লেনদেন মেমরি। 1 কোরের যেকোনো একটি সম্পূর্ণ L864 লেনদেনমূলক লেখায় অংশগ্রহণ করতে পারে, যা জাভাতে লকগুলির সাথে কাজ করার জন্য বিশেষভাবে গুরুত্বপূর্ণ (সিঙ্ক্রোনাইজড ব্লকগুলি সমান্তরালভাবে কাজ করতে পারে যতক্ষণ পর্যন্ত কোনও বাস্তব মেমরির দ্বন্দ্ব না থাকে)। কিন্তু সুন্দর ধারণাটি রূঢ় বাস্তবতার দ্বারা চূর্ণ করা হয়েছিল - এবং এই আলোচনায় ক্লিফ আপনাকে বলবে কেন HTM এবং STM মাল্টি-থ্রেডেড কম্পিউটিংয়ের ব্যবহারিক প্রয়োজনের জন্য খুব উপযুক্ত নয়।

মাইকেল স্কট - ডুয়াল ডেটা স্ট্রাকচার

মাইকেল স্কট - রচেস্টার বিশ্ববিদ্যালয়ের কম্পিউটার বিজ্ঞানের অধ্যাপক, যার সাথে ভাগ্য তাকে সংযুক্ত করেছিল ইতিমধ্যে 34 বছর বয়সী, এবং তার হোম ইউনিভার্সিটি অফ উইসকনসিন-ম্যাডিসন, তিনি পাঁচ বছর ডিন ছিলেন। তিনি সমান্তরাল এবং বিতরণকৃত প্রোগ্রামিং এবং ভাষা নকশা সম্পর্কে শিক্ষার্থীদের গবেষণা এবং শেখান।

পুরো বিশ্ব মাইকেলকে জানে পাঠ্যপুস্তকের জন্য ধন্যবাদ "প্রোগ্রামিং ল্যাঙ্গুয়েজ প্রাগমেটিকস", যার সর্বশেষ সংস্করণটি তুলনামূলকভাবে সম্প্রতি প্রকাশিত হয়েছিল - 2015 সালে। তার চাকরি "শেয়ার করা-মেমরি মাল্টিপ্রসেসরে স্কেলেবল সিঙ্ক্রোনাইজেশনের জন্য অ্যালগরিদম" আমি পেয়েছি Dijkstra পুরস্কার ডিস্ট্রিবিউটেড কম্পিউটিং ক্ষেত্রে সবচেয়ে বিখ্যাত এক হিসাবে এবং প্রকাশ্যে মিথ্যা ইউনিভার্সিটি অফ রচেস্টার অনলাইন লাইব্রেরিতে। আপনি তাকে খুব মাইকেল-স্কট অ্যালগরিদমের লেখক হিসাবেও জানেন "সহজ, দ্রুত, এবং ব্যবহারিক নন-ব্লকিং এবং ব্লকিং কনকারেন্ট কিউ অ্যালগরিদম".

জাভা বিশ্বের জন্য, এটি একটি বিশেষ কেস: ডগ লিয়ার সাথে একসাথে, তিনি নন-ব্লকিং অ্যালগরিদম এবং সিঙ্ক্রোনাস সারি তৈরি করেছেন যার উপর জাভা লাইব্রেরি কাজ করে। "দ্বৈত ডেটা স্ট্রাকচার" কীনোটটি ঠিক এটিই হবে - Java SE 6-এ এই কাঠামোগুলির প্রবর্তন কার্যক্ষমতা 10 গুণ উন্নত করেছে java.util.concurrent.ThreadPoolExecutor. আপনি যদি আগে থেকেই ভাবছেন যে এই "দ্বৈত ডেটা স্ট্রাকচার" কী, তবে এটি সম্পর্কে তথ্য রয়েছে সম্পর্কিত কাজ.

মরিস হারলিহি - ব্লকচেইন এবং ডিস্ট্রিবিউটেড কম্পিউটিং এর ভবিষ্যত

মরিস হারলিহি - দুটি ডিজকস্ট্রা পুরস্কারের বিজয়ী। প্রথমটি কাজের জন্য "অপেক্ষা-মুক্ত সিঙ্ক্রোনাইজেশন" (ব্রাউন ইউনিভার্সিটি), এবং দ্বিতীয়, আরও সাম্প্রতিক - "ট্রানজ্যাকশনাল মেমরি: লক-ফ্রি ডেটা স্ট্রাকচারের জন্য আর্কিটেকচারাল সাপোর্ট" (ভার্জিনিয়া টেক ইউনিভার্সিটি)। ডিজকস্ট্রা পুরস্কার সেই কাজের স্বীকৃতি দেয় যার তাৎপর্য এবং প্রভাব কমপক্ষে দশ বছর ধরে দৃশ্যমান, এবং মরিস স্পষ্টতই এই ক্ষেত্রের সবচেয়ে বিখ্যাত বিশেষজ্ঞদের একজন। তিনি বর্তমানে ব্রাউন ইউনিভার্সিটিতে একজন অধ্যাপক হিসেবে কাজ করেন এবং তার কৃতিত্বের একটি অনুচ্ছেদ-দীর্ঘ তালিকা রয়েছে।

এই সমাপনী মূল বক্তব্যে, মরিস ডিস্ট্রিবিউটেড কম্পিউটিং এর ক্লাসিকের দৃষ্টিকোণ থেকে ব্লকচেইন ডিস্ট্রিবিউটেড সিস্টেমের তত্ত্ব এবং অনুশীলন সম্পর্কে কথা বলবেন এবং কীভাবে এটি অনেক সম্পর্কিত সমস্যাগুলিকে সহজ করে তোলে। এটি কনফারেন্সের বিষয়বস্তুর উপর একচেটিয়াভাবে একটি প্রতিবেদন - মাইনিং হাইপ সম্পর্কে নয়, বরং বিভিন্ন কাজের সাথে সম্পর্কিত আমাদের জ্ঞানকে কীভাবে আশ্চর্যজনকভাবে কার্যকর এবং যথাযথভাবে ব্যবহার করা যেতে পারে সে সম্পর্কে।

জুলাই 2017-এ, মরিস ইতিমধ্যেই রাশিয়ায় এসপিটিডিসি স্কুলে যোগ দিতে এসেছিলেন, JUG.ru মিটআপে অংশগ্রহণ করেছিলেন এবং রেকর্ডিংটি YouTube-এ দেখা যেতে পারে:

প্রধান প্রোগ্রাম

পরবর্তীতে প্রোগ্রামে অন্তর্ভুক্ত প্রতিবেদনগুলির একটি সংক্ষিপ্ত বিবরণ থাকবে। কিছু প্রতিবেদন এখানে বিস্তারিত বর্ণনা করা হয়েছে, অন্যগুলো আরও সংক্ষিপ্তভাবে। দীর্ঘ বর্ণনা প্রধানত ইংরেজি-ভাষায় রিপোর্টে যায় যেগুলির জন্য বৈজ্ঞানিক কাগজপত্র, উইকিপিডিয়ার শর্তাবলী এবং আরও অনেক কিছুর লিঙ্ক প্রয়োজন। সম্পূর্ণ তালিকা পাওয়া যায় সম্মেলনের ওয়েবসাইটে দেখুন. ওয়েবসাইটে তালিকা আপডেট এবং পরিপূরক করা হবে.

লেসলি ল্যামপোর্ট - প্রশ্নোত্তর

লেসলি ল্যামপোর্ট ডিস্ট্রিবিউটেড কম্পিউটিং এর সেমিনাল কাজের লেখক। "ল্যাটেক্স" "Lamport TeX" এর অর্থ। তিনিই প্রথম, 1979 সালে, ধারণাটি চালু করেছিলেন অনুক্রমিক ধারাবাহিকতা, এবং তার নিবন্ধ "কিভাবে একটি মাল্টিপ্রসেসর কম্পিউটার তৈরি করবেন যা সঠিকভাবে মাল্টিপ্রসেস প্রোগ্রামগুলি চালায়" ডিজকস্ট্রা পুরস্কার পেয়েছেন।

বিন্যাসের দিক থেকে এটি প্রোগ্রামের সবচেয়ে অস্বাভাবিক অংশ, কারণ এটি এমনকি একটি প্রতিবেদন নয়, কিন্তু একটি প্রশ্ন ও উত্তর সেশন। যখন শ্রোতাদের একটি উল্লেখযোগ্য অংশ ইতিমধ্যেই "ল্যামপোর্টের তত্ত্ব", তার নিজস্ব নিবন্ধ এবং প্রতিবেদনের উপর ভিত্তি করে সমস্ত ধরণের কাজের সাথে পরিচিত (বা পরিচিত হতে পারে), তখন সরাসরি যোগাযোগের জন্য উপলব্ধ সমস্ত সময় ব্যয় করা আরও গুরুত্বপূর্ণ।

ধারণাটি সহজ - আপনি YouTube এ দুটি প্রতিবেদন দেখেন: "প্রোগ্রামিং কোডিংয়ের চেয়ে বেশি হওয়া উচিত" и "যদি আপনি একটি প্রোগ্রাম লিখছেন না, একটি প্রোগ্রামিং ভাষা ব্যবহার করবেন না" এবং অন্তত একটি প্রশ্ন প্রস্তুত করুন, এবং লেসলি উত্তর দেয়।

এই দুটি ভিডিওর মধ্যে প্রথমটি আমরা ইতিমধ্যেই পেয়েছি একটি হ্যাব্রো নিবন্ধে পরিণত হয়েছে. ভিডিওটি দেখার জন্য আপনার কাছে এক ঘণ্টা সময় না থাকলে, আপনি দ্রুত পাঠ্য আকারে এটি পড়তে পারেন।

দ্রষ্টব্য: ইউটিউবে আরও অনেক লেসলি ল্যামপোর্ট ভিডিও রয়েছে। উদাহরণস্বরূপ, একটি চমৎকার আছে TLA+ কোর্স. এই সম্পূর্ণ কোর্সের একটি অফলাইন সংস্করণ এখানে উপলব্ধ লেখকের হোম পেজ, এবং মোবাইল ডিভাইসে সহজে দেখার জন্য তিনি এটি YouTube-এ আপলোড করেছেন৷

মার্টিন ক্লেপম্যান - বিতরণ করা সহযোগিতার জন্য ব্যবহারকারীর ডিভাইস জুড়ে ডেটা সিঙ্ক করা হচ্ছে

মার্টিন ক্লেপম্যান ক্যামব্রিজ বিশ্ববিদ্যালয়ের একজন গবেষক যিনি সিআরডিটি এবং অ্যালগরিদমের আনুষ্ঠানিক যাচাইকরণ নিয়ে কাজ করছেন। মার্টিনের বই "ডেটা-ইনটেনসিভ অ্যাপ্লিকেশন ডিজাইন করা", 2017 সালে প্রকাশিত, অত্যন্ত সফল প্রমাণিত হয়েছে এবং এটি ডেটা স্টোরেজ এবং প্রক্রিয়াকরণের ক্ষেত্রে বেস্টসেলার তালিকায় স্থান করে নিয়েছে। কেভিন স্কট, মাইক্রোসফ্টের সিটিও, একদা বলেছিল: “এই বইটি সফ্টওয়্যার ইঞ্জিনিয়ারদের জন্য অবশ্যই থাকা উচিত। এটি একটি বিরল সংস্থান যা তত্ত্ব এবং অনুশীলনকে একত্রিত করে বিকাশকারীদের পরিকাঠামো এবং ডেটা সিস্টেমগুলি ডিজাইন এবং বাস্তবায়নে আরও দক্ষ সাহায্য করে।" কাফকার স্রষ্টা এবং কনফ্লুয়েন্টের সিটিও জে ক্রেপস একই রকম কিছু বলেছেন।

একাডেমিক গবেষণায় যাওয়ার আগে, মার্টিন শিল্পে কাজ করেছিলেন এবং দুটি সফল স্টার্ট-আপ সহ-প্রতিষ্ঠা করেছিলেন:

• সম্পর্কযুক্ত, আপনার ইমেল থেকে পরিচিতিগুলির সামাজিক প্রোফাইল প্রদর্শনের জন্য নিবেদিত, যা লিঙ্কডইন 2012 সালে কিনেছিল;
• Go Test It, বিভিন্ন ব্রাউজারে স্বয়ংক্রিয়ভাবে ওয়েবসাইট পরীক্ষা করার জন্য একটি পরিষেবা, যা RedGate 2009 সালে কিনেছিল।

সাধারণভাবে, মার্টিন, যদিও আমাদের মূল নোটের তুলনায় কম বিখ্যাত, ইতিমধ্যেই বিতরণ করা কম্পিউটিং এবং শিল্পের উন্নয়নে কিছু অবদান রাখতে সক্ষম হয়েছে।

এই আলোচনায়, মার্টিন তার একাডেমিক গবেষণার কাছাকাছি একটি বিষয় সম্পর্কে কথা বলবেন। Google ডক্স এবং অনুরূপ নথির সহ-সম্পাদনা সোফাগুলিতে, "সহযোগী সম্পাদনা" একটি প্রতিলিপি কাজকে বোঝায়: প্রতিটি ব্যবহারকারীর ভাগ করা নথির নিজস্ব প্রতিরূপ থাকে, যা তারা পরে সংশোধন করে এবং সমস্ত পরিবর্তনগুলি নেটওয়ার্ক জুড়ে বাকিদের কাছে পাঠানো হয়। অংশগ্রহণকারীদের অফলাইনে নথিতে পরিবর্তন অন্যান্য অংশগ্রহণকারীদের সাথে দস্তাবেজের অস্থায়ী অসঙ্গতির দিকে নিয়ে যায় এবং পুনরায় সিঙ্ক্রোনাইজেশনের জন্য দ্বন্দ্ব পরিচালনার প্রয়োজন হয়। যে জন্য তারা বিদ্যমান ঠিক কি দ্বন্দ্ব-মুক্ত প্রতিলিপিকৃত ডেটা প্রকার (CRDT), আসলে, একটি মোটামুটি নতুন জিনিস, যার সারমর্ম শুধুমাত্র 2011 সালে প্রণয়ন করা হয়েছিল। এই আলোচনায় CRDT-এর বিশ্বে তখন থেকে কী ঘটেছে, সাম্প্রতিক অগ্রগতিগুলি কী, সাধারণভাবে স্থানীয়-প্রথম অ্যাপ্লিকেশন তৈরির পদ্ধতি এবং একটি ওপেন সোর্স লাইব্রেরির ব্যবহার নিয়ে আলোচনা করা হয়েছে। অটোমার্জ নির্দিষ্টভাবে.

পরের সপ্তাহে আমরা হাব্রে মার্টিনের সাথে একটি দীর্ঘ সাক্ষাৎকার প্রকাশ করব, এটি আকর্ষণীয় হবে।

পেদ্রো রামালহেতে - অপেক্ষা-মুক্ত ডেটা কাঠামো এবং অপেক্ষা-মুক্ত লেনদেন

Pedro Cisco-এ কাজ করে এবং গত দশ বছর ধরে সমান্তরাল অ্যালগরিদম তৈরি করে চলেছে, যার মধ্যে সিঙ্ক্রোনাইজেশন মেকানিজম, লক-ফ্রি এবং অপেক্ষা-মুক্ত ডেটা স্ট্রাকচার এবং আপনি এই বিষয়ে যা কল্পনা করতে পারেন। তার বর্তমান গবেষণা এবং প্রকৌশল আগ্রহগুলি ইউনিভার্সাল কনস্ট্রাকশন, সফ্টওয়্যার লেনদেন মেমরি, স্থায়ী মেমরি এবং অনুরূপ প্রযুক্তিগুলির উপর ফোকাস করে যা সঠিক, মাপযোগ্য এবং ত্রুটি-সহনশীল অ্যাপ্লিকেশনগুলিকে সক্ষম করে। তিনি সংকীর্ণ চেনাশোনাগুলিতে ব্যাপকভাবে পরিচিত একটি ব্লগের লেখকও কনকারেন্সি ফ্রিকস.

বেশিরভাগ মাল্টিথ্রেডেড অ্যাপ্লিকেশনগুলি এখন সমান্তরাল ডেটা স্ট্রাকচারে চালিত হয়, অভিনেতাদের মধ্যে বার্তা সারি ব্যবহার থেকে শুরু করে কী-ভ্যালু স্টোরগুলিতে ইনডেক্স করা ডেটা স্ট্রাকচার পর্যন্ত। তারা অনেক বছর ধরে জাভা JDK-তে সফলভাবে কাজ করছে এবং সেগুলি ধীরে ধীরে C++ এ যুক্ত হচ্ছে।

একটি সমান্তরাল ডেটা কাঠামো বাস্তবায়নের সবচেয়ে সহজ উপায় হল একটি অনুক্রমিক (একক-থ্রেডেড) বাস্তবায়ন যেখানে পদ্ধতিগুলি মিউটেক্স দ্বারা সুরক্ষিত থাকে। এটি যে কোনও জুনে অ্যাক্সেসযোগ্য, তবে স্কেলিং এবং কার্যকারিতা নিয়ে স্পষ্ট সমস্যা রয়েছে। একই সময়ে, লক-মুক্ত এবং অপেক্ষা-মুক্ত ডেটা স্ট্রাকচারগুলি কেবল ত্রুটিগুলির সাথে আরও ভালভাবে মোকাবেলা করে না, তবে একটি ভাল পারফরম্যান্স প্রোফাইলও রয়েছে - তবে, তাদের বিকাশের জন্য গভীর দক্ষতা এবং একটি নির্দিষ্ট অ্যাপ্লিকেশনের সাথে অভিযোজন প্রয়োজন। কোডের একটি ভুল লাইন সবকিছু ভাঙ্গার জন্য যথেষ্ট।

আমরা কীভাবে এটি তৈরি করতে পারি যাতে একজন অ-বিশেষজ্ঞও এই ধরনের ডেটা স্ট্রাকচার ডিজাইন এবং বাস্তবায়ন করতে পারে? এটা জানা যায় যে যেকোন ক্রমিক অ্যালগরিদম যেকোন একটি ব্যবহার করে থ্রেড নিরাপদ করা যেতে পারে সার্বজনীন নকশা, বা লেনদেন মেমরি। এক জিনিসের জন্য, তারা এই সমস্যা সমাধানে প্রবেশের বাধা কমাতে পারে। যাইহোক, উভয় সমাধান সাধারণত অকার্যকর বাস্তবায়নের দিকে পরিচালিত করে। কীভাবে তারা এই ডিজাইনগুলিকে আরও দক্ষ করে তুলতে পেরেছে এবং আপনি কীভাবে আপনার অ্যালগরিদমের জন্য সেগুলি ব্যবহার করতে পারেন সে সম্পর্কে পেড্রো কথা বলবেন৷

হেইডি হাওয়ার্ড - মুক্ত করা বিতরিত ঐক্যমত

হেইডি হাওয়ার্ড, মার্টিনের মতো, কেমব্রিজ বিশ্ববিদ্যালয়ের একজন বিতরণ সিস্টেম গবেষক। তার বিশেষত্ব হল ধারাবাহিকতা, দোষ সহনশীলতা, কর্মক্ষমতা এবং বিতরণকৃত ঐক্যমত। তিনি প্যাক্সোস অ্যালগরিদমের সাধারণীকরণের জন্য সবচেয়ে বেশি পরিচিত নমনীয় প্যাক্সোস.

মনে আছে প্যাকসোস লেসলি ল্যামপোর্টের কাজের উপর ভিত্তি করে অবিশ্বস্ত কম্পিউটারের নেটওয়ার্কে ঐক্যমতের সমস্যা সমাধানের জন্য প্রোটোকলের একটি পরিবার। এইভাবে, আমাদের কিছু স্পিকার এমন সমস্যা নিয়ে কাজ করছে যা মূলত আমাদের অন্যান্য বক্তারা প্রস্তাব করেছিলেন - এবং এটি দুর্দান্ত।

একাধিক হোস্টের মধ্যে ঐকমত্য খুঁজে পাওয়ার ক্ষমতা - সম্বোধন, নেতা নির্বাচন, অবরোধ বা সমন্বয় - আধুনিক বিতরণ ব্যবস্থায় একটি মৌলিক সমস্যা। প্যাক্সোস এখন ঐক্যমতের সমস্যা সমাধানের প্রধান উপায়, এবং বিভিন্ন ব্যবহারিক প্রয়োজনের জন্য অ্যালগরিদমকে প্রসারিত এবং অপ্টিমাইজ করার জন্য এটির চারপাশে প্রচুর গবেষণা চলছে।

এই আলোচনায়, আমরা Paxos-এর তাত্ত্বিক ভিত্তিকে আবার দেখব, মূল প্রয়োজনীয়তাগুলি শিথিল করে এবং অ্যালগরিদমকে সাধারণীকরণ করব। আমরা দেখব যে প্যাক্সোস মূলত একমত পদ্ধতির বিশাল পরিসরের মধ্যে একটি বিকল্প, এবং স্পেকট্রামের অন্যান্য পয়েন্টগুলিও ভাল বিতরণ করা সিস্টেম তৈরির জন্য খুব দরকারী।

অ্যালেক্স পেট্রোভ - ক্ষণস্থায়ী প্রতিলিপি এবং সস্তা কোরামের মাধ্যমে আপনার স্টোরেজ খরচ হ্রাস করুন

অ্যালেক্স একজন ডাটাবেস এবং স্টোরেজ সিস্টেম বিশেষজ্ঞ, এবং আমাদের জন্য আরও গুরুত্বপূর্ণ, একজন প্রতিশ্রুতিবদ্ধ কাসান্দ্রা. তিনি বর্তমানে ও'রিলির সাথে ডাটাবেস ইন্টারনালস নামে একটি বইতে কাজ করছেন।

সঙ্গে সিস্টেমের জন্য চূড়ান্ত ঐক্য (রাশিয়ান পরিভাষায় - "চূড়ান্ত সামঞ্জস্য"), একটি নোড ক্র্যাশ বা নেটওয়ার্ক বিভক্ত হওয়ার পরে, আপনাকে নিম্নলিখিত দ্বিধাগুলি সমাধান করতে হবে: হয় অনুরোধগুলি সম্পাদন করা চালিয়ে যান, ধারাবাহিকতা বলিদান করা, বা সেগুলি কার্যকর করতে অস্বীকার করুন এবং প্রাপ্যতা ত্যাগ করুন৷ এই ধরনের সিস্টেমে, কোরাম, নোডের ওভারল্যাপিং উপসেট এবং অন্তত একটি নোডে সাম্প্রতিক মান রয়েছে তা নিশ্চিত করা, একটি ভাল প্রান্ত সমাধান হতে পারে। আপনি ব্যর্থতা থেকে বেঁচে থাকতে পারেন এবং কিছু নোডের সাথে সংযোগ হারানোর পরেও সাম্প্রতিক মানগুলির সাথে প্রতিক্রিয়া জানাতে পারেন।

যাইহোক, সবকিছুর দাম আছে। একটি কোরাম রেপ্লিকেশন স্কিম মানে স্টোরেজ খরচ বেড়ে যাওয়া: কোনো সমস্যা হলে পর্যাপ্ত কপি পাওয়া যায় কিনা তা নিশ্চিত করার জন্য অপ্রয়োজনীয় ডেটা একবারে একাধিক নোডে সংরক্ষণ করতে হবে। দেখা যাচ্ছে যে আপনাকে সমস্ত প্রতিলিপিতে সমস্ত ডেটা সংরক্ষণ করতে হবে না। আপনি স্টোরেজের উপর লোড কমাতে পারেন যদি আপনি শুধুমাত্র নোডের অংশে ডেটা সঞ্চয় করেন এবং ব্যর্থতার পরিস্থিতি পরিচালনার জন্য বিশেষ নোড (ট্রানজিয়েন্ট রেপ্লিকা) ব্যবহার করেন।

প্রতিবেদনের সময় আমরা বিবেচনা করব সাক্ষী প্রতিরূপ, প্রতিলিপি স্কিম ব্যবহার করা হয় সাঁড়াশিবিশেষ и মেগাস্টোর, এবং অ্যাপাচি ক্যাসান্দ্রা নামে এই ধারণার বাস্তবায়ন ক্ষণস্থায়ী প্রতিলিপি এবং সস্তা কোরাম.

দিমিত্রি ভিউকভ - Goroutines উন্মুক্ত

দিমিত্রি হচ্ছেন Google-এর একজন ডেভেলপার যিনি C/C++ এবং Go - ঠিকানা/মেমরি/থ্রেড স্যানিটাইজার এবং লিনাক্স কার্নেলের জন্য অনুরূপ সরঞ্জামগুলির জন্য গতিশীল পরীক্ষায় কাজ করছেন। Go একটি স্কেলযোগ্য গোরুটিন শিডিউলার, একটি নেটওয়ার্ক পোলার এবং একটি সমান্তরাল আবর্জনা সংগ্রহকারীতে অবদান রেখেছে। তিনি মাল্টিথ্রেডিংয়ের একজন বিশেষজ্ঞ, এক ডজন নতুন নন-ব্লকিং অ্যালগরিদমের লেখক এবং এর মালিক ব্ল্যাক বেল্ট ইন্টেল।

এখন রিপোর্ট নিজেই সম্পর্কে একটু. গো ভাষার গোরুটিন (হালকা থ্রেড) এবং চ্যানেল (ফিফো সারি) আকারে মাল্টিথ্রেডিংয়ের জন্য স্থানীয় সমর্থন রয়েছে। এই প্রক্রিয়াগুলি ব্যবহারকারীদের জন্য আধুনিক মাল্টি-থ্রেডেড অ্যাপ্লিকেশনগুলি লেখার জন্য এটিকে খুব সহজ এবং উপভোগ্য করে তোলে এবং এটি ম্যাজিকের মতো দেখায়। আমরা বুঝতে পারি, এখানে কোন জাদু নেই। এই আলাপে, দিমিত্রি গো শিডিউলারের জটিলতাগুলি সন্ধান করবেন এবং এই "জাদু" বাস্তবায়নের গোপনীয়তা দেখাবেন। প্রথমে, তিনি শিডিউলারের প্রধান উপাদানগুলির একটি সংক্ষিপ্ত বিবরণ দেবেন এবং এটি কীভাবে কাজ করে তা আপনাকে বলবেন। এর পরে, আমরা পার্কিং/আনপার্কিং কৌশল এবং ব্লকিং সিস্টেম কলগুলি পরিচালনা করার মতো পৃথক দিকগুলি ঘনিষ্ঠভাবে দেখব। অবশেষে, দিমিত্রি শিডিউলারের সম্ভাব্য উন্নতি সম্পর্কে একটু কথা বলবেন।

দিমিত্রি বুগাইচেঙ্কো - সম্ভাব্য স্কেচ এবং আরও অনেক কিছু সহ বিতরণকৃত গ্রাফ বিশ্লেষণকে ত্বরান্বিত করুন

দিমিত্রি বিশ্ববিদ্যালয় এবং বৈজ্ঞানিক সম্প্রদায়ের সাথে যোগাযোগ না হারিয়ে প্রায় 9 বছর ধরে আউটসোর্সিংয়ে কাজ করেছিলেন। ওডনোক্লাসনিকিতে বড় ডেটা বিশ্লেষণ তার জন্য তাত্ত্বিক প্রশিক্ষণ এবং বৈজ্ঞানিক ভিত্তিকে বাস্তব, চাহিদাযুক্ত পণ্যগুলির বিকাশের সাথে একত্রিত করার একটি অনন্য সুযোগ হয়ে উঠেছে।

ডিস্ট্রিবিউটেড গ্রাফ বিশ্লেষণ একটি কঠিন কাজ ছিল এবং রয়ে গেছে: যখন একটি প্রতিবেশী শীর্ষের সংযোগ সম্পর্কে তথ্য প্রাপ্ত করার প্রয়োজন হয়, তখন প্রায়শই ডেটাগুলিকে মেশিনগুলির মধ্যে স্থানান্তর করতে হয়, যা কার্যকর করার সময় বৃদ্ধি করে এবং নেটওয়ার্ক অবকাঠামোতে লোড বাড়ায়। এই আলোচনায়, আমরা দেখব কীভাবে আপনি সম্ভাব্য ডেটা স্ট্রাকচার বা সামাজিক নেটওয়ার্কে বন্ধুত্বের গ্রাফের প্রতিসাম্যের মতো তথ্য ব্যবহার করে উল্লেখযোগ্য প্রক্রিয়াকরণের গতি পেতে পারেন। এই সব Apache Spark এ কোড উদাহরণ দিয়ে চিত্রিত করা হয়েছে।

ডেনিস রিস্টসভ - ক্ষণস্থায়ী প্রতিলিপি এবং সস্তা কোরামের মাধ্যমে আপনার স্টোরেজ খরচ হ্রাস করুন

ডেনিস - বিকাশকারী কসমস ডিবি, সামঞ্জস্যপূর্ণ মডেল, ঐক্যমত্য অ্যালগরিদম এবং বিতরণকৃত লেনদেন পরীক্ষা করার একজন বিশেষজ্ঞ। তিনি বর্তমানে মাইক্রোসফ্টে কাজ করেন এবং এর আগে তিনি অ্যামাজন এবং ইয়ানডেক্সে বিতরণ সিস্টেমে কাজ করেছিলেন।

এই আলোচনায়, আমরা বিগত কয়েক বছরে উদ্ভাবিত বিতরণকৃত লেনদেন প্রোটোকলগুলির দিকে নজর দেব, যা শর্তসাপেক্ষ আপডেট (তুলনা এবং সেট) সমর্থন করে এমন যেকোনো ডেটা স্টোরের উপরে ক্লায়েন্ট সাইডে প্রয়োগ করা যেতে পারে। মূল কথা হল জীবন দুই-পর্যায়ের প্রতিশ্রুতি দিয়ে শেষ হয় না, লেনদেন যেকোনো ডাটাবেসের উপরে যোগ করা যেতে পারে - অ্যাপ্লিকেশন স্তরে, কিন্তু বিভিন্ন প্রোটোকলের (2PC, পারকোলেটর, RAMP) বিভিন্ন ট্রেডঅফ রয়েছে এবং আমাদের দেওয়া হয় না। বিনামুল্যে.

আলেক্সি জিনোভিয়েভ - সমস্ত ML অ্যালগরিদম বিতরণ করা স্বর্গে এটি তৈরি করে না

আলেক্সি (zaleslaw) দীর্ঘদিনের স্পিকার এবং অন্যান্য সম্মেলনে প্রোগ্রাম কমিটির সদস্য। EPAM সিস্টেমে প্রশিক্ষক অনুশীলন করছেন, এবং 2012 সাল থেকে Hadoop/Spark এবং অন্যান্য বড় ডেটার সাথে বন্ধুত্ব করেছেন।

এই আলোচনায়, অ্যালেক্সি Apache Spark ML, Apache Mahout, Apache Flink ML এর সাথে কাজ করার অভিজ্ঞতা এবং Apache Ignite ML তৈরির অভিজ্ঞতার ভিত্তিতে বিতরণ করা মোডে এক্সিকিউশনের জন্য ক্লাসিক্যাল মেশিন লার্নিং অ্যালগরিদমগুলিকে অভিযোজিত করার সমস্যাগুলি সম্পর্কে কথা বলবেন। আলেক্সি এই ফ্রেমওয়ার্কগুলিতে বিতরণ করা এমএল অ্যালগরিদমগুলির বাস্তবায়ন সম্পর্কেও কথা বলবেন।

এবং অবশেষে, ইয়ানডেক্স ডাটাবেস সম্পর্কে ইয়ানডেক্স থেকে দুটি প্রতিবেদন।

ভ্লাদিস্লাভ কুজনেটসভ - ইয়ানডেক্স ডেটাবেস - আমরা কীভাবে দোষ সহনশীলতা নিশ্চিত করি

ভ্লাদিস্লাভ বিতরণ করা প্ল্যাটফর্ম গ্রুপে ইয়ানডেক্সের একজন বিকাশকারী। ইয়ানডেক্স ডেটাবেস হল একটি অনুভূমিকভাবে স্কেলযোগ্য, জিও-ডিস্ট্রিবিউটেড, ফল্ট-সহনশীল DBMS যা ধারাবাহিকতা না হারিয়ে ডিস্ক, সার্ভার, র্যাক এবং ডেটা সেন্টারের ব্যর্থতা সহ্য করতে পারে। ত্রুটি সহনশীলতা নিশ্চিত করতে, বিতরণকৃত ঐক্যমত্য অর্জনের জন্য একটি মালিকানাধীন অ্যালগরিদম ব্যবহার করা হয়, সেইসাথে বেশ কয়েকটি প্রযুক্তিগত সমাধান, যা প্রতিবেদনে বিশদভাবে আলোচনা করা হয়েছে। প্রতিবেদনটি ডিবিএমএস ডেভেলপার এবং ডিবিএমএস-এর উপর ভিত্তি করে অ্যাপ্লিকেশন সমাধানের বিকাশকারী উভয়ের জন্যই আগ্রহী হতে পারে।

সেমিয়ন চেচেরিন্ডা - YDB-এ বিতরণ করা লেনদেন

সেমিয়ন ইয়ানডেক্সে বিতরণ করা প্ল্যাটফর্ম গ্রুপের একজন বিকাশকারী, ওয়াইডিবি ইনস্টলেশনের মাল্টি-টেন্যান্ট ব্যবহারের সম্ভাবনা নিয়ে কাজ করছে।

ইয়ানডেক্স ডেটাবেস OLTP প্রশ্নের জন্য ডিজাইন করা হয়েছে এবং একটি লেনদেন সিস্টেমের জন্য ACID প্রয়োজনীয়তা মেনে চলে। এই প্রতিবেদনে, আমরা YDB লেনদেন সিস্টেমের অন্তর্নিহিত লেনদেন সময়সূচী অ্যালগরিদম বিবেচনা করব। আসুন দেখি কোন কোন সত্তা লেনদেনে অংশগ্রহণ করে, কে লেনদেনের জন্য বিশ্বব্যাপী শৃঙ্খলা নির্ধারণ করে, কীভাবে লেনদেনের পারমাণবিকতা, নির্ভরযোগ্যতা এবং কঠোর স্তরের বিচ্ছিন্নতা অর্জন করা হয়। উদাহরণ হিসাবে একটি সাধারণ সমস্যা ব্যবহার করে, আসুন দুই-ফেজ কমিট এবং ডিটারমিনিস্টিক লেনদেন ব্যবহার করে লেনদেন বাস্তবায়নের দিকে তাকাই। আসুন তাদের পার্থক্য নিয়ে আলোচনা করি।

এরপরে কী?

সম্মেলনের প্রোগ্রামটি নতুন প্রতিবেদনে ভরা চলতে থাকে। বিশেষ করে, আমরা একটি রিপোর্ট আশা করি নিকিতা কোভাল (ndkoval) JetBrains থেকে এবং ওলেগ আনাস্তাসিয়েভ (m0nstermind) ওডনোক্লাসনিকি কোম্পানি থেকে। নিকিতা কোটলিন দলে কোরোটিনের জন্য অ্যালগরিদম নিয়ে কাজ করে, এবং ওলেগ ওডনোক্লাসনিকি প্ল্যাটফর্মে উচ্চ-লোড সিস্টেমের জন্য আর্কিটেকচার এবং সমাধান তৈরি করে। এছাড়াও, আরও 1টি শর্তসাপেক্ষে খালি স্লট রয়েছে, প্রোগ্রাম কমিটি এই মুহূর্তে প্রার্থীদের সাথে কাজ করছে।

হাইড্রা সম্মেলন সেন্ট পিটার্সবার্গে 11-12 জুলাই অনুষ্ঠিত হবে। টিকিট পাওয়া যায় অফিসিয়াল ওয়েবসাইটে ক্রয় করুন. অনুগ্রহ করে অনলাইন টিকিটের প্রাপ্যতার দিকে মনোযোগ দিন - যদি কোনো কারণে আপনি আজকাল সেন্ট পিটার্সবার্গে যেতে না পারেন।

হাইড্রায় দেখা হবে!

উত্স: www.habr.com