ওপেন সোর্স ডাটাবেসে আমরা কী এবং কেন করি। আন্দ্রে বোরোডিন (Yandex.Cloud)

নিম্নলিখিত ডাটাবেসে ইয়ানডেক্সের অবদান পর্যালোচনা করা হবে।

• ক্লিকহাউস
• ওডিসি
• একটি বিন্দুতে পুনরুদ্ধার (WAL-G)
• PostgreSQL (লগ এরর, Amcheck, heapcheck সহ)
• গ্রীনপ্লাম

ভিডিও:

ওহে বিশ্ব! আমার নাম আন্দ্রে বোরোদিন। এবং Yandex.Cloud এ আমি যা করি তা হল Yandex.Cloud এবং Yandex.Cloud ক্লায়েন্টদের স্বার্থে উন্মুক্ত রিলেশনাল ডেটাবেস তৈরি করা।

এই আলোচনায়, আমরা স্কেলে উন্মুক্ত ডাটাবেসের মুখোমুখি হওয়া চ্যালেঞ্জগুলি সম্পর্কে কথা বলব। এটা কেন গুরুত্বপূর্ণ? কারণ সামান্য, সামান্য সমস্যা যা, মশার মতো, তখন হাতি হয়ে যায়। আপনার অনেক ক্লাস্টার থাকলে তারা বড় হয়।

কিন্তু সেটাই মূল বিষয় নয়। অবিশ্বাস্য ঘটনা ঘটে। এমন ঘটনা যা এক মিলিয়নের মধ্যে একটিতে ঘটে। এবং একটি মেঘের পরিবেশে, আপনাকে এর জন্য প্রস্তুত থাকতে হবে, কারণ অবিশ্বাস্য জিনিসগুলি অত্যন্ত সম্ভাব্য হয়ে ওঠে যখন স্কেলে কিছু বিদ্যমান থাকে।

কিন্তু! খোলা ডাটাবেস সুবিধা কি? আসল বিষয়টি হ'ল আপনার কাছে যে কোনও সমস্যা মোকাবেলা করার একটি তাত্ত্বিক সুযোগ রয়েছে। আপনার সোর্স কোড আছে, আপনার প্রোগ্রামিং জ্ঞান আছে। আমরা এটি একত্রিত করি এবং এটি কাজ করে।

ওপেন সোর্স সফ্টওয়্যারে কাজ করার ক্ষেত্রে কী পদ্ধতি রয়েছে?

• সবচেয়ে সহজ পদ্ধতি হল সফটওয়্যার ব্যবহার করা। আপনি যদি প্রোটোকল ব্যবহার করেন, যদি আপনি মান ব্যবহার করেন, যদি আপনি বিন্যাস ব্যবহার করেন, যদি আপনি ওপেন সোর্স সফ্টওয়্যারে প্রশ্নগুলি লেখেন, তাহলে আপনি ইতিমধ্যেই এটি সমর্থন করেন।
• আপনি এর ইকোসিস্টেমকে আরও বড় করছেন। আপনি একটি বাগ শনাক্ত করার সম্ভাবনাকে আরও বেশি করে তোলেন। আপনি এই সিস্টেমের নির্ভরযোগ্যতা বৃদ্ধি. আপনি বাজারে বিকাশকারীদের প্রাপ্যতা বাড়ান। আপনি এই সফ্টওয়্যার উন্নত. আপনি ইতিমধ্যেই একজন অবদানকারী যদি আপনি কেবল স্টাইল পেয়ে থাকেন এবং সেখানে কিছু নিয়ে টিঙ্কার করেন।
• আরেকটি বোধগম্য পদ্ধতি হল ওপেন সোর্স সফ্টওয়্যার স্পনসর করা। উদাহরণ স্বরূপ, সুপরিচিত Google Summer of Code প্রোগ্রাম, যখন Google সারা বিশ্ব থেকে বিপুল সংখ্যক শিক্ষার্থীকে অর্থ প্রদান করে যাতে তারা উন্মুক্ত সফ্টওয়্যার প্রকল্পগুলি বিকাশ করে যা নির্দিষ্ট লাইসেন্সের প্রয়োজনীয়তা পূরণ করে।
• এটি একটি খুব আকর্ষণীয় পদ্ধতি কারণ এটি সফ্টওয়্যারটিকে সম্প্রদায় থেকে ফোকাস সরিয়ে না দিয়ে বিবর্তিত হতে দেয়৷ গুগল, প্রযুক্তি জায়ান্ট হিসাবে, বলে না যে আমরা এই বৈশিষ্ট্যটি চাই, আমরা এই বাগটি ঠিক করতে চাই এবং আমাদের সেখানে খনন করতে হবে। গুগল বলে: “আপনি যা করেন তাই করুন। আপনি যেভাবে কাজ করছেন সেভাবে কাজ চালিয়ে যান এবং সবকিছু ঠিক হয়ে যাবে।”
• ওপেন সোর্সে অংশগ্রহণের পরবর্তী পদ্ধতি হল অংশগ্রহণ। যখন আপনার ওপেন সোর্স সফ্টওয়্যারে সমস্যা হয় এবং ডেভেলপার থাকে, তখন আপনার ডেভেলপাররা সমস্যার সমাধান করতে শুরু করে। তারা আপনার অবকাঠামোকে আরও দক্ষ করে তুলতে শুরু করে, আপনার প্রোগ্রামগুলিকে আরও দ্রুত এবং আরও নির্ভরযোগ্য করে তোলে।

ওপেন সোর্স সফ্টওয়্যারের ক্ষেত্রে সবচেয়ে বিখ্যাত ইয়ানডেক্স প্রকল্পগুলির মধ্যে একটি হল ক্লিকহাউস। এটি একটি ডাটাবেস যা Yandex.Metrica-এর মুখোমুখি চ্যালেঞ্জগুলির প্রতিক্রিয়া হিসাবে জন্মগ্রহণ করেছে।

এবং একটি ডাটাবেস হিসাবে, এটি একটি ইকোসিস্টেম তৈরি করার জন্য ওপেন সোর্সে তৈরি করা হয়েছিল এবং এটিকে অন্যান্য বিকাশকারীদের সাথে একসাথে বিকাশ করতে হয়েছিল (কেবল ইয়ানডেক্সের মধ্যে নয়)। এবং এখন এটি একটি বড় প্রকল্প যার সাথে বিভিন্ন কোম্পানি জড়িত।

Yandex.Cloud-এ, আমরা Yandex অবজেক্ট স্টোরেজের উপরে, অর্থাৎ ক্লাউড স্টোরেজের উপরে ক্লিক হাউস তৈরি করেছি।

কেন মেঘ এই গুরুত্বপূর্ণ? কারণ যেকোন ডাটাবেস এই ত্রিভুজে কাজ করে, এই পিরামিডে, মেমরির প্রকারের এই শ্রেণিবিন্যাসে। আপনার কাছে দ্রুত কিন্তু ছোট রেজিস্টার এবং সস্তা বড় কিন্তু ধীর SSD, হার্ড ড্রাইভ এবং কিছু অন্যান্য ব্লক ডিভাইস আছে। এবং আপনি যদি পিরামিডের শীর্ষে দক্ষ হন তবে আপনার কাছে একটি দ্রুত ডাটাবেস রয়েছে। আপনি যদি এই পিরামিডের নীচে দক্ষ হন, তাহলে আপনার কাছে একটি স্কেল করা ডাটাবেস আছে। এবং এই বিষয়ে, ডাটাবেসের স্কেলেবিলিটি বাড়ানোর জন্য নীচে থেকে আরেকটি স্তর যুক্ত করা একটি যৌক্তিক পদ্ধতি।

এটা কিভাবে করা যেতে পারে? এই প্রতিবেদনে এটি একটি গুরুত্বপূর্ণ বিষয়।

• আমরা MDS এর উপর ক্লিক হাউস বাস্তবায়ন করতে পারি। এমডিএস একটি অভ্যন্তরীণ ইয়ানডেক্স ক্লাউড স্টোরেজ ইন্টারফেস। এটি সাধারণ S3 প্রোটোকলের তুলনায় আরও জটিল, তবে এটি একটি ব্লক ডিভাইসের জন্য আরও উপযুক্ত। ডেটা রেকর্ড করার জন্য এটি আরও ভাল। এটা আরো প্রোগ্রামিং প্রয়োজন. প্রোগ্রামাররা প্রোগ্রাম করবে, এটি এমনকি ভাল, এটি আকর্ষণীয়।
• S3 হল একটি সাধারণ পদ্ধতি যা নির্দিষ্ট ধরণের কাজের চাপের সাথে কম অভিযোজনের খরচে ইন্টারফেসটিকে সহজ করে তোলে।

স্বাভাবিকভাবেই, সমগ্র ClickHouse ইকোসিস্টেমে কার্যকারিতা প্রদান করতে এবং Yandex.Cloud এর ভিতরে যে কাজটি প্রয়োজন তা করতে চাই, আমরা নিশ্চিত করেছি যে সমগ্র ClickHouse সম্প্রদায় এটি থেকে উপকৃত হবে। আমরা S3 এর উপর ClickHouse প্রয়োগ করেছি, MDS এর উপর ClickHouse নয়। এবং এই কাজ অনেক.

রেফারেন্স:

https://github.com/ClickHouse/ClickHouse/pull/7946 "ফাইলসিস্টেম বিমূর্তকরণ স্তর"
https://github.com/ClickHouse/ClickHouse/pull/8011 "AWS SDK S3 ইন্টিগ্রেশন"
https://github.com/ClickHouse/ClickHouse/pull/8649 "S3 এর জন্য IDisk ইন্টারফেসের ভিত্তি বাস্তবায়ন"
https://github.com/ClickHouse/ClickHouse/pull/8356 "আইডিস্ক ইন্টারফেসের সাথে লগ স্টোরেজ ইঞ্জিনগুলির একীকরণ"
https://github.com/ClickHouse/ClickHouse/pull/8862 "S3 এবং SeekableReadBuffer এর জন্য লগ ইঞ্জিন সমর্থন"
https://github.com/ClickHouse/ClickHouse/pull/9128 "স্টোরেজ স্ট্রাইপ লগ S3 সমর্থন"
https://github.com/ClickHouse/ClickHouse/pull/9415 "S3 এর জন্য স্টোরেজ MergeTree প্রাথমিক সমর্থন"
https://github.com/ClickHouse/ClickHouse/pull/9646 "S3 এর জন্য MergeTree পূর্ণ সমর্থন"
https://github.com/ClickHouse/ClickHouse/pull/10126 "S3 এর উপর ReplicatedMergeTree সমর্থন করুন"
https://github.com/ClickHouse/ClickHouse/pull/11134 "s3 স্টোরেজের জন্য ডিফল্ট শংসাপত্র এবং কাস্টম হেডার যোগ করুন"
https://github.com/ClickHouse/ClickHouse/pull/10576 "ডাইনামিক প্রক্সি কনফিগারেশন সহ S3"
https://github.com/ClickHouse/ClickHouse/pull/10744 "প্রক্সি সমাধানকারী সহ S3"

এটি ক্লিক হাউসে একটি ভার্চুয়াল ফাইল সিস্টেম বাস্তবায়নের জন্য একটি পুল অনুরোধের তালিকা। এটি একটি বড় সংখ্যক টান অনুরোধ।

রেফারেন্স:

https://github.com/ClickHouse/ClickHouse/pull/9760 "DiskS3 হার্ডলিঙ্ক সর্বোত্তম বাস্তবায়ন"
https://github.com/ClickHouse/ClickHouse/pull/11522 "S3 HTTP ক্লায়েন্ট - মেমরিতে প্রতিক্রিয়া স্ট্রীম অনুলিপি করা এড়িয়ে চলুন"
https://github.com/ClickHouse/ClickHouse/pull/11561 “S3 HTTP-তে মেমরিতে সম্পূর্ণ প্রতিক্রিয়া স্ট্রীম অনুলিপি করা এড়িয়ে চলুন
ক্লায়েন্ট"
https://github.com/ClickHouse/ClickHouse/pull/13076 "S3 ডিস্কের জন্য ক্যাশে মার্ক এবং ইনডেক্স ফাইল করার ক্ষমতা"
https://github.com/ClickHouse/ClickHouse/pull/13459 "DiskLocal থেকে DiskS3 এ সমান্তরালভাবে অংশগুলি সরান"

কিন্তু কাজ সেখানেই শেষ হয়নি। বৈশিষ্ট্যটি তৈরি হওয়ার পরে, এই কার্যকারিতাটি অপ্টিমাইজ করার জন্য আরও কিছু কাজ করা দরকার ছিল।

রেফারেন্স:

https://github.com/ClickHouse/ClickHouse/pull/12638 "নির্বাচিত সারি এবং নির্বাচিত বাইট ইভেন্টগুলি যোগ করুন"
https://github.com/ClickHouse/ClickHouse/pull/12464 "S3 অনুরোধ থেকে system.events এ প্রোফাইলিং ইভেন্ট যোগ করুন"
https://github.com/ClickHouse/ClickHouse/pull/13028 "QueryTimeMicroseconds, SelectQueryTimeMicroseconds এবং InsertQueryTimeMicroseconds যোগ করুন"

এবং তারপর এটি নির্ণয়যোগ্য করা, মনিটরিং সেট আপ করা এবং এটি পরিচালনাযোগ্য করা প্রয়োজন ছিল।

এবং এই সমস্ত করা হয়েছিল যাতে সমগ্র সম্প্রদায়, সমগ্র ক্লিকহাউস ইকোসিস্টেম, এই কাজের ফলাফল পেয়েছে।

চলুন লেনদেন সংক্রান্ত ডাটাবেসে, OLTP ডাটাবেসে যাওয়া যাক, যা ব্যক্তিগতভাবে আমার কাছাকাছি।

এটি ওপেন সোর্স ডিবিএমএস ডেভেলপমেন্ট বিভাগ। এই ছেলেরা লেনদেনের খোলা ডাটাবেস উন্নত করার জন্য রাস্তার যাদু করছে।

একটি প্রকল্প, যার উদাহরণ ব্যবহার করে আমরা কীভাবে এবং কী করি সে সম্পর্কে কথা বলতে পারি, পোস্টগ্রেসে সংযোগ পুলার।

পোস্টগ্রেস একটি প্রক্রিয়া ডাটাবেস। এর মানে হল যে ডাটাবেসে যতটা সম্ভব কম নেটওয়ার্ক সংযোগ থাকা উচিত যা লেনদেন পরিচালনা করে।

অন্যদিকে, একটি ক্লাউড পরিবেশে, একটি সাধারণ পরিস্থিতি হল যখন এক হাজার সংযোগ একবারে একটি ক্লাস্টারে আসে। এবং কানেকশন পুলারের কাজ হল অল্প সংখ্যক সার্ভার সংযোগে এক হাজার সংযোগ প্যাক করা।

আমরা বলতে পারি যে সংযোগ পুলার হল টেলিফোন অপারেটর যিনি বাইটগুলিকে পুনরায় সাজান যাতে তারা দক্ষতার সাথে ডাটাবেসে পৌঁছায়।

দুর্ভাগ্যবশত, সংযোগ পুলারের জন্য কোন ভাল রাশিয়ান শব্দ নেই। কখনও কখনও এটি মাল্টিপ্লেক্সার সংযোগ বলা হয়। যদি আপনি জানেন যে কানেকশন পুলারকে কী বলতে হবে, তবে আমাকে অবশ্যই বলুন, আমি সঠিক রাশিয়ান প্রযুক্তিগত ভাষা বলতে খুব খুশি হব।

https://pgconf.ru/2017/92899

আমরা একটি পরিচালিত পোস্টগ্রেস ক্লাস্টারের জন্য উপযুক্ত সংযোগ পুলার তদন্ত করেছি। এবং PgBouncer আমাদের জন্য সেরা পছন্দ ছিল. কিন্তু আমরা PgBouncer নিয়ে বেশ কিছু সমস্যার সম্মুখীন হয়েছি। অনেক বছর আগে, ভোলোদ্যা বোরোদিন রিপোর্ট দিয়েছিলেন যে আমরা পিজিবাউন্সার ব্যবহার করি, আমরা সবকিছু পছন্দ করি, তবে এর সূক্ষ্মতা রয়েছে, কাজ করার মতো কিছু আছে।

https://pgconf.ru/media/2017/04/03/20170316H1_V.Borodin.pdf

এবং আমরা কাজ করেছি। আমরা যে সমস্যার সম্মুখীন হয়েছি সেগুলি আমরা ঠিক করেছি, আমরা বাউন্সারকে প্যাচ করেছি, এবং টানার অনুরোধগুলিকে আপস্ট্রিমে ঠেলে দেওয়ার চেষ্টা করেছি। কিন্তু মৌলিক একক-থ্রেডিংয়ের সাথে কাজ করা কঠিন ছিল।

আমাদের প্যাচড বাউন্সারদের কাছ থেকে ক্যাসকেড সংগ্রহ করতে হয়েছিল। যখন আমাদের অনেকগুলি একক-থ্রেডেড বাউন্সার থাকে, তখন উপরের স্তরের সংযোগগুলি বাউন্সারগুলির ভিতরের স্তরে স্থানান্তরিত হয়। এটি একটি খারাপভাবে পরিচালিত সিস্টেম যা তৈরি করা এবং সামনে পিছনে স্কেল করা কঠিন।

আমরা এই সিদ্ধান্তে পৌঁছেছি যে আমরা আমাদের নিজস্ব সংযোগ পুলার তৈরি করেছি, যাকে ওডিসি বলা হয়। আমরা এটি স্ক্র্যাচ থেকে লিখেছি।

https://www.pgcon.org/2019/schedule/events/1312.en.html

2019 সালে, PgCon সম্মেলনে, আমি এই পুলারটি বিকাশকারী সম্প্রদায়ের কাছে উপস্থাপন করেছি। এখন আমাদের GitHub-এ 2 টিরও কম তারা আছে, অর্থাৎ প্রকল্পটি জীবন্ত, প্রকল্পটি জনপ্রিয়।

এবং যদি আপনি Yandex.Cloud-এ একটি Postgres ক্লাস্টার তৈরি করেন, তাহলে এটি অন্তর্নির্মিত ওডিসি সহ একটি ক্লাস্টার হবে, যা ক্লাস্টারটিকে পিছনে বা পিছনে স্কেল করার সময় পুনরায় কনফিগার করা হয়।

আমরা এই প্রকল্প থেকে কি শিখেছি? একটি প্রতিযোগী প্রকল্প চালু করা সর্বদা একটি আক্রমনাত্মক পদক্ষেপ, এটি একটি চরম পরিমাপ যখন আমরা বলি যে এমন সমস্যা রয়েছে যেগুলি যথেষ্ট দ্রুত সমাধান করা যাচ্ছে না, আমাদের উপযুক্ত সময়ের ব্যবধানে সমাধান করা হচ্ছে না। কিন্তু এটি একটি কার্যকরী ব্যবস্থা।

PgBouncer দ্রুত বিকশিত হতে শুরু করে।

এবং এখন অন্যান্য প্রকল্প হাজির হয়েছে। উদাহরণস্বরূপ, pgagroal, যা Red Hat ডেভেলপারদের দ্বারা তৈরি করা হয়েছে। তারা অনুরূপ লক্ষ্য অনুসরণ করে এবং অনুরূপ ধারণাগুলি বাস্তবায়ন করে, তবে অবশ্যই, তাদের নিজস্ব বিশেষত্বের সাথে, যা pgagroal বিকাশকারীদের কাছাকাছি।

পোস্টগ্রেস সম্প্রদায়ের সাথে কাজ করার আরেকটি ক্ষেত্রে একটি সময়ে পুনরুদ্ধার করা হচ্ছে। এটি একটি ব্যর্থতার পরে পুনরুদ্ধার, এটি একটি ব্যাকআপ থেকে পুনরুদ্ধার।

অনেক ব্যাকআপ আছে এবং তারা সব ভিন্ন. প্রায় প্রতিটি পোস্টগ্রেস বিক্রেতার নিজস্ব ব্যাকআপ সমাধান রয়েছে।

আপনি যদি সমস্ত ব্যাকআপ সিস্টেম নেন, একটি বৈশিষ্ট্য ম্যাট্রিক্স তৈরি করেন এবং মজা করে এই ম্যাট্রিক্সে নির্ধারক গণনা করেন তবে এটি শূন্য হবে। এটার মানে কি? আপনি যদি একটি নির্দিষ্ট ব্যাকআপ ফাইল নেন তবে তা অন্য সমস্ত ফাইলের টুকরো থেকে একত্রিত করা যাবে না। এটি তার বাস্তবায়নের ক্ষেত্রে অনন্য, এটি তার উদ্দেশ্যের ক্ষেত্রে অনন্য, এটি এর মধ্যে থাকা ধারণাগুলিতে অনন্য। এবং তারা সব নির্দিষ্ট.

https://www.citusdata.com/blog/2017/08/18/introducing-wal-g-faster-restores-for-postgres/

যখন আমরা এই বিষয়ে কাজ করছিলাম, CitusData WAL-G প্রকল্প চালু করেছে। এটি একটি ব্যাকআপ সিস্টেম যা মেঘের পরিবেশের দিকে নজর রেখে তৈরি করা হয়েছিল। এখন CitusData ইতিমধ্যেই মাইক্রোসফটের অংশ। এবং সেই মুহুর্তে, WAL-G-এর প্রাথমিক রিলিজে যে ধারণাগুলি দেওয়া হয়েছিল তা আমরা সত্যিই পছন্দ করেছি৷ এবং আমরা এই প্রকল্পে অবদান রাখা শুরু করেছি।

https://github.com/wal-g/wal-g/graphs/contributors

এখন এই প্রকল্পে অনেক ডজন ডেভেলপার আছে, কিন্তু WAL-G-এর শীর্ষ 10 অবদানকারীদের মধ্যে 6 ইয়ানডেক্সয়েড অন্তর্ভুক্ত রয়েছে। আমরা সেখানে আমাদের অনেক ধারণা নিয়ে এসেছি। এবং, অবশ্যই, আমরা সেগুলি নিজেরাই প্রয়োগ করেছি, সেগুলি নিজেরাই পরীক্ষা করেছি, সেগুলিকে নিজেরাই উৎপাদনে নিয়ে এসেছি, আমরা নিজেরাই সেগুলি ব্যবহার করি, বৃহৎ WAL-G সম্প্রদায়ের সাথে আলাপচারিতার সময় আমরা নিজেরাই বুঝতে পারি যে পরবর্তী কোথায় যেতে হবে৷

এবং আমাদের দৃষ্টিকোণ থেকে, এখন এই ব্যাকআপ সিস্টেমটি, আমাদের প্রচেষ্টাকে বিবেচনায় নিয়ে, একটি ক্লাউড পরিবেশের জন্য সর্বোত্তম হয়ে উঠেছে। এটি ক্লাউডে পোস্টগ্রেস ব্যাক আপ করার সেরা খরচ।

এর মানে কী? আমরা একটি মোটামুটি বড় ধারণা প্রচার করছিলাম: ব্যাকআপ নিরাপদ, পরিচালনার জন্য সস্তা এবং যত দ্রুত সম্ভব পুনরুদ্ধার করা উচিত।

কেন এটা কাজ সস্তা হতে হবে? যখন কিছুই ভাঙা হয় না, তখন আপনার জানা উচিত নয় যে আপনার কাছে ব্যাকআপ আছে। সবকিছু ঠিকঠাক কাজ করে, আপনি যতটা সম্ভব কম CPU নষ্ট করেন, আপনি যতটা সম্ভব আপনার ডিস্ক সংস্থানগুলিকে কম ব্যবহার করেন এবং আপনি যতটা সম্ভব নেটওয়ার্কে কয়েক বাইট পাঠান যাতে আপনার মূল্যবান পরিষেবাগুলির পেলোডে হস্তক্ষেপ না হয়।

এবং যখন সবকিছু ভেঙে যায়, উদাহরণস্বরূপ, প্রশাসক ডেটা ফেলে দেন, কিছু ভুল হয়ে যায় এবং আপনাকে জরুরীভাবে অতীতে ফিরে যেতে হবে, আপনি সমস্ত অর্থ দিয়ে পুনরুদ্ধার করবেন, কারণ আপনি আপনার ডেটা দ্রুত এবং অক্ষত রাখতে চান।

এবং আমরা এই সহজ ধারণা প্রচার. এবং, এটা আমাদের মনে হয়, আমরা এটি বাস্তবায়ন করতে পরিচালিত.

কিন্তু এখানেই শেষ নয়. আমরা আরও একটি ছোট জিনিস চেয়েছিলাম. আমরা অনেক ভিন্ন ডাটাবেস চেয়েছিলাম. আমাদের সমস্ত ক্লায়েন্ট পোস্টগ্রেস ব্যবহার করে না। কিছু লোক MySQL, MongoDB ব্যবহার করে। সম্প্রদায়ে, অন্যান্য বিকাশকারীরা ফাউন্ডেশনডিবিকে সমর্থন করেছে। এবং এই তালিকা ক্রমাগত প্রসারিত হয়.

সম্প্রদায়টি ক্লাউডে পরিচালিত পরিবেশে ডাটাবেস চালানোর ধারণাটি পছন্দ করে। এবং বিকাশকারীরা তাদের ডাটাবেসগুলি বজায় রাখে, যা আমাদের ব্যাকআপ সিস্টেমের সাথে পোস্টগ্রেসের সাথে সমানভাবে ব্যাক আপ করা যেতে পারে।

এই গল্প থেকে আমরা কি শিখলাম? আমাদের পণ্য, একটি উন্নয়ন বিভাগ হিসাবে, কোডের লাইন নয়, এটি বিবৃতি নয়, এটি ফাইল নয়। আমাদের পণ্য অনুরোধ টান না. এই ধারণাগুলি আমরা সম্প্রদায়ের কাছে পৌঁছে দিই। এটি প্রযুক্তিগত দক্ষতা এবং একটি মেঘ পরিবেশের দিকে প্রযুক্তির গতিবিধি।

Postgres হিসাবে যেমন একটি ডাটাবেস আছে. আমি Postgres কোর সবচেয়ে পছন্দ. আমি সম্প্রদায়ের সাথে পোস্টগ্রেস কোর বিকাশ করতে অনেক সময় ব্যয় করি।

কিন্তু এখানে এটা বলতে হবে যে Yandex.Cloud পরিচালিত ডাটাবেসের অভ্যন্তরীণ ইনস্টলেশন রয়েছে। এবং এটি Yandex.Mail-এ অনেক আগে শুরু হয়েছিল। যে দক্ষতা এখন পোস্টগ্রেসে পরিচালিত হয়েছে তা জমা হয়েছিল যখন মেলটি পোস্টগ্রেসে যেতে চেয়েছিল।

মেলের ক্লাউডের সাথে খুব অনুরূপ প্রয়োজনীয়তা রয়েছে। আপনার ডেটার যেকোনো সময়ে অপ্রত্যাশিত সূচকীয় বৃদ্ধির স্কেল করতে আপনাকে সক্ষম হতে হবে। এবং মেইলটিতে ইতিমধ্যেই বিপুল সংখ্যক ব্যবহারকারীর কয়েক লক্ষ লক্ষ মেলবক্সের লোড ছিল যারা ক্রমাগত অনেক অনুরোধ করে।

এবং পোস্টগ্রেসের বিকাশকারী দলের জন্য এটি বেশ গুরুতর চ্যালেঞ্জ ছিল। তারপরে, আমরা যে কোন সমস্যার সম্মুখীন হতাম তা সম্প্রদায়কে জানানো হয়েছিল। এবং এই সমস্যাগুলি সংশোধন করা হয়েছে, এবং কিছু জায়গায় সম্প্রদায় দ্বারা সংশোধন করা হয়েছে এমনকি কিছু অন্যান্য ডাটাবেসের জন্য অর্থপ্রদানের সহায়তার স্তরে এবং আরও ভাল। অর্থাৎ, আপনি PgSQL হ্যাকারকে একটি চিঠি পাঠাতে পারেন এবং 40 মিনিটের মধ্যে একটি প্রতিক্রিয়া পেতে পারেন। কিছু ডাটাবেসে অর্থপ্রদানকারী সমর্থন মনে করতে পারে যে আপনার বাগ থেকে আরও বেশি অগ্রাধিকার রয়েছে।

এখন Postgres এর অভ্যন্তরীণ ইনস্টলেশন কিছু পেটাবাইট ডেটা। এগুলি প্রতি সেকেন্ডে কয়েক মিলিয়ন অনুরোধ। এগুলো হাজার হাজার ক্লাস্টার। এটি খুব বড় আকারের।

কিন্তু একটি nuance আছে. এটি অভিনব নেটওয়ার্ক ড্রাইভে নয়, মোটামুটি সাধারণ হার্ডওয়্যারে থাকে। এবং আকর্ষণীয় নতুন জিনিসগুলির জন্য বিশেষভাবে একটি পরীক্ষার পরিবেশ রয়েছে।

এবং পরীক্ষার পরিবেশে একটি নির্দিষ্ট মুহুর্তে আমরা একটি বার্তা পেয়েছি যা নির্দেশ করে যে ডাটাবেস সূচকগুলির অভ্যন্তরীণ পরিবর্তনগুলি লঙ্ঘন করা হয়েছে৷

একটি অপরিবর্তনীয় এমন এক ধরণের সম্পর্ক যা আমরা সবসময় ধরে রাখার আশা করি।

আমাদের জন্য খুবই নাজুক পরিস্থিতি। এটি ইঙ্গিত দেয় যে কিছু ডেটা হারিয়ে গেছে। এবং ডাটা হারানো একটি বিপর্যয়মূলক কিছু।

আমরা পরিচালিত ডাটাবেসে যে সাধারণ ধারণাটি অনুসরণ করি তা হল যে প্রচেষ্টার পরেও, ডেটা হারানো কঠিন হবে। এমনকি যদি আপনি ইচ্ছাকৃতভাবে তাদের অপসারণ করেন, তবুও আপনাকে দীর্ঘ সময়ের জন্য তাদের অনুপস্থিতি উপেক্ষা করতে হবে। ডেটা নিরাপত্তা একটি ধর্ম যা আমরা বেশ পরিশ্রমের সাথে অনুসরণ করি।

এবং এখানে একটি পরিস্থিতির উদ্ভব হয় যা পরামর্শ দেয় যে এমন একটি পরিস্থিতি হতে পারে যার জন্য আমরা প্রস্তুত নই। এবং আমরা এই পরিস্থিতির জন্য প্রস্তুতি নিতে শুরু করেছি।

https://commitfest.postgresql.org/23/2171/

আমরা প্রথম কাজটি করেছি এই হাজার হাজার ক্লাস্টার থেকে লগগুলিকে কবর দেওয়া। আমরা খুঁজে পেয়েছি যে ক্লাস্টারগুলির মধ্যে কোনটি সমস্যাযুক্ত ফার্মওয়্যার সহ ডিস্কে অবস্থিত যা ডেটা পৃষ্ঠা আপডেটগুলি হারাচ্ছিল৷ সমস্ত পোস্টগ্রেস ডেটা কোড চিহ্নিত করা হয়েছে। এবং আমরা সেই বার্তাগুলিকে চিহ্নিত করেছি যেগুলি অভ্যন্তরীণ ইনভেরিয়েন্টগুলির লঙ্ঘন নির্দেশ করে এমন কোড যা ডেটা দুর্নীতি সনাক্ত করার জন্য ডিজাইন করা হয়েছে৷

এই প্যাচটি খুব বেশি আলোচনা ছাড়াই সম্প্রদায়ের দ্বারা কার্যত গৃহীত হয়েছিল, কারণ প্রতিটি নির্দিষ্ট ক্ষেত্রে এটি স্পষ্ট ছিল যে কিছু খারাপ ঘটেছে এবং লগকে রিপোর্ট করা দরকার।

এর পরে, আমরা এই বিন্দুতে এসেছি যে আমরা লগগুলি স্ক্যান করে তা পর্যবেক্ষণ করেছি। এবং সন্দেহজনক বার্তার ক্ষেত্রে, তিনি ডিউটি ​​অফিসারকে জাগিয়ে তোলেন এবং ডিউটি ​​অফিসার এটি মেরামত করেন।

কিন্তু! লগ স্ক্যান করা একটি ক্লাস্টারে একটি সস্তা অপারেশন এবং এক হাজার ক্লাস্টারের জন্য বিপর্যয়করভাবে ব্যয়বহুল।

আমরা নামক একটি এক্সটেনশন লিখেছিলাম লগরর. এটি ডাটাবেসের একটি দৃশ্য তৈরি করে যেখানে আপনি অতীতের ত্রুটির পরিসংখ্যান সস্তায় এবং দ্রুত নির্বাচন করতে পারেন। এবং যদি আমাদের ডিউটি ​​অফিসারকে জাগানোর প্রয়োজন হয়, তবে আমরা গিগাবাইট ফাইল স্ক্যান না করে, হ্যাশ টেবিল থেকে কয়েকটি বাইট বের করে এটি সম্পর্কে জানতে পারি।

এই এক্সটেনশনটি গৃহীত হয়েছে, উদাহরণস্বরূপ, এর জন্য সংগ্রহস্থলে সেন্টওএস. আপনি যদি এটি ব্যবহার করতে চান তবে আপনি নিজেই এটি ইনস্টল করতে পারেন। অবশ্যই এটা ওপেন সোর্স।

https://www.postgresql.org/message-id/flat/[ইমেল সুরক্ষিত]

কিন্তু এখানেই শেষ নয়. সূচীতে অপরিবর্তনীয় লঙ্ঘন খুঁজে পেতে আমরা Amcheck, একটি সম্প্রদায়-নির্মিত এক্সটেনশন ব্যবহার শুরু করেছি।

এবং আমরা খুঁজে পেয়েছি যে আপনি যদি এটি স্কেলে পরিচালনা করেন তবে বাগ রয়েছে। আমরা সেগুলো ঠিক করতে শুরু করেছি। আমাদের সংশোধন গৃহীত হয়েছে.

https://www.postgresql.org/message-id/flat/[ইমেল সুরক্ষিত]

আমরা আবিষ্কার করেছি যে এই এক্সটেনশনটি জিআইএসটি এবং জিআইটি সূচক বিশ্লেষণ করতে পারে না। আমরা তাদের সমর্থন করেছি। কিন্তু এই সমর্থনটি এখনও সম্প্রদায়ের দ্বারা আলোচনা করা হচ্ছে, কারণ এটি একটি অপেক্ষাকৃত নতুন কার্যকারিতা এবং সেখানে অনেক বিবরণ রয়েছে।

https://commitfest.postgresql.org/29/2667/

এবং আমরা আরও আবিষ্কার করেছি যে প্রতিলিপি নেতার উপর লঙ্ঘনের জন্য সূচী পরীক্ষা করার সময়, মাস্টারের উপর, সবকিছু ঠিকঠাক কাজ করে, কিন্তু প্রতিলিপিগুলিতে, অনুগামীদের উপর, দুর্নীতির অনুসন্ধান এতটা কার্যকর নয়। সব invariants চেক করা হয় না. এবং একজন অপরিবর্তনীয় আমাদের খুব বিরক্ত করেছিল। এবং আমরা প্রতিলিপিতে এই চেকটি সক্ষম করার জন্য সম্প্রদায়ের সাথে যোগাযোগ করতে দেড় বছর কাটিয়েছি।

আমরা এমন কোড লিখেছি যা সব পারে... প্রোটোকল অনুসরণ করা উচিত। আমরা ক্রাঞ্চি ডেটা থেকে পিটার গগানের সাথে বেশ কিছু সময়ের জন্য এই প্যাচ নিয়ে আলোচনা করেছি। এই প্যাচটি গ্রহণ করার জন্য তাকে পোস্টগ্রেসে বিদ্যমান বি-ট্রিতে সামান্য পরিবর্তন করতে হয়েছিল। তাকে গ্রহণ করা হয়েছিল। এবং এখন প্রতিলিপিগুলিতে সূচী পরীক্ষা করা আমাদের সম্মুখীন হওয়া লঙ্ঘনগুলি সনাক্ত করতে যথেষ্ট কার্যকর হয়ে উঠেছে। অর্থাৎ, ডিস্ক ফার্মওয়্যারে ত্রুটি, পোস্টগ্রেসে বাগ, লিনাক্স কার্নেলে বাগ এবং হার্ডওয়্যার সমস্যার কারণে এই লঙ্ঘন হতে পারে। সমস্যার উত্সগুলির একটি বিস্তৃত তালিকা যার জন্য আমরা প্রস্তুতি নিচ্ছিলাম।

https://www.postgresql.org/message-id/flat/38AF687F-8F6B-48B4-AB9E-A60CFD6CC261%40enterprisedb.com#0e86a12c01d967bac04a9bf83cd337cb

কিন্তু সূচী ছাড়াও, স্তূপের মতো একটি অংশ রয়েছে, অর্থাৎ সেই জায়গা যেখানে ডেটা সংরক্ষণ করা হয়। এবং চেক করা যেতে পারে যে অনেক invariants নেই.

আমরা Heapcheck নামক একটি এক্সটেনশন আছে. আমরা এটির বিকাশ শুরু করেছি। এবং সমান্তরালভাবে, আমাদের সাথে একসাথে, এন্টারপ্রাইজডিবি কোম্পানিও একটি মডিউল লিখতে শুরু করেছিল, যাকে তারা একই ভাবে Heapcheck বলে। শুধুমাত্র আমরা এটিকে PgHeapcheck বলে থাকি এবং তারা এটিকে Heapcheck বলে। তারা এটি একই ধরনের ফাংশন, একটি সামান্য ভিন্ন স্বাক্ষর, কিন্তু একই ধারণা সঙ্গে আছে. তারা কিছু জায়গায় তাদের একটু ভালোভাবে বাস্তবায়ন করেছে। এবং তারা এটি আগে ওপেন সোর্সে পোস্ট করেছে।

এবং এখন আমরা তাদের সম্প্রসারণ বিকাশ করছি, কারণ এটি আর তাদের সম্প্রসারণ নয়, সম্প্রদায়ের সম্প্রসারণ। এবং ভবিষ্যতে, এটি কার্নেলের একটি অংশ যা সবাইকে সরবরাহ করা হবে যাতে তারা ভবিষ্যতের সমস্যা সম্পর্কে আগে থেকেই জানতে পারে।

https://www.postgresql.org/message-id/flat/fe9b3722df94f7bdb08768f50ee8fe59%40postgrespro.ru

কিছু জায়গায়, আমরা এমনকি এই সিদ্ধান্তে পৌঁছেছি যে আমাদের মনিটরিং সিস্টেমে আমাদের মিথ্যা ইতিবাচক আছে। উদাহরণস্বরূপ, 1C সিস্টেম। একটি ডাটাবেস ব্যবহার করার সময়, Postgres মাঝে মাঝে এটিতে ডেটা লেখে যা এটি পড়তে পারে, কিন্তু pg_dump পড়তে পারে না।

এই পরিস্থিতি আমাদের সমস্যা সনাক্তকরণ সিস্টেমে দুর্নীতির মত দেখায়। ডিউটি ​​অফিসারের ঘুম ভেঙে গেল। ডিউটি ​​অফিসার কি ঘটছে তা দেখল। কিছুক্ষণ পর একজন ক্লায়েন্ট এসে বলল আমার সমস্যা হয়েছে। পরিচারক কি সমস্যা ছিল ব্যাখ্যা. কিন্তু সমস্যা পোস্টগ্রেস কোরে।

আমি এই বৈশিষ্ট্য সম্পর্কে একটি আলোচনা খুঁজে পেয়েছি. এবং তিনি লিখেছিলেন যে আমরা এই বৈশিষ্ট্যটির মুখোমুখি হয়েছি এবং এটি অপ্রীতিকর ছিল, একজন ব্যক্তি রাতে জেগেছিলেন যাতে এটি কী ছিল তা বোঝার জন্য।

https://www.postgresql.org/message-id/flat/fe9b3722df94f7bdb08768f50ee8fe59%40postgrespro.ru

সম্প্রদায় প্রতিক্রিয়া জানায়, "ওহ, আমাদের সত্যিই এটি ঠিক করা দরকার।"

আমি একটি সহজ উপমা আছে. আপনি যদি এমন জুতোতে হাঁটছেন যাতে বালির দানা থাকে তবে নীতিগতভাবে আপনি এগিয়ে যেতে পারেন - কোনও সমস্যা নেই। আপনি যদি হাজার হাজার মানুষের কাছে বুট বিক্রি করেন, তাহলে আসুন বালি ছাড়াই বুট তৈরি করি। এবং যদি আপনার জুতা ব্যবহারকারীদের মধ্যে একজন একটি ম্যারাথন দৌড়াতে যাচ্ছে, তাহলে আপনি খুব ভাল জুতা তৈরি করতে চান, এবং তারপর আপনার সমস্ত ব্যবহারকারীদের কাছে সেগুলি স্কেল করুন৷ এবং এই ধরনের অপ্রত্যাশিত ব্যবহারকারীরা সবসময় ক্লাউড পরিবেশে থাকে। সর্বদা এমন ব্যবহারকারী আছেন যারা ক্লাস্টারটিকে কিছু মূল উপায়ে শোষণ করেন। আপনি সবসময় এই জন্য প্রস্তুত করা আবশ্যক.

আমরা এখানে কি শিখেছি? আমরা একটি সহজ জিনিস শিখেছি: সবচেয়ে গুরুত্বপূর্ণ বিষয় হল সম্প্রদায়কে ব্যাখ্যা করা যে একটি সমস্যা আছে। সম্প্রদায় যদি সমস্যাটিকে স্বীকৃতি দেয় তবে সমস্যা সমাধানের জন্য স্বাভাবিক প্রতিযোগিতা দেখা দেয়। কারণ সবাই একটি গুরুত্বপূর্ণ সমস্যা সমাধান করতে চায়। সমস্ত বিক্রেতা, সমস্ত হ্যাকার বুঝতে পারে যে তারা নিজেরাই এই রেকের উপর পা রাখতে পারে, তাই তারা তাদের নির্মূল করতে চায়।

আপনি যদি একটি সমস্যা নিয়ে কাজ করেন, কিন্তু এটি আপনাকে ছাড়া অন্য কাউকে বিরক্ত করে না, তবে আপনি এটিকে পদ্ধতিগতভাবে কাজ করেন এবং এটি শেষ পর্যন্ত একটি সমস্যা হিসাবে বিবেচিত হয়, তাহলে আপনার পুল অনুরোধ অবশ্যই গ্রহণ করা হবে। আপনার প্যাচ গ্রহণ করা হবে, আপনার উন্নতি বা এমনকি উন্নতির জন্য অনুরোধ সম্প্রদায় দ্বারা পর্যালোচনা করা হবে। দিনের শেষে, আমরা একে অপরের জন্য ডেটাবেসকে আরও ভাল করে তুলি।

একটি আকর্ষণীয় ডাটাবেস হল Greenplum. এটি পোস্টগ্রেস কোডবেসের উপর ভিত্তি করে একটি অত্যন্ত সমান্তরাল ডাটাবেস, যা আমি খুব পরিচিত।

https://greenplum.org/greenplum-database-tables-compression/

এবং গ্রীনপ্লামের আকর্ষণীয় কার্যকারিতা রয়েছে - অপ্টিমাইজ করা টেবিল যুক্ত করুন। এই টেবিল যা আপনি দ্রুত যোগ করতে পারেন. তারা হয় স্তম্ভিক বা সারি হতে পারে।

কিন্তু সেখানে কোনো ক্লাস্টারিং ছিল না, অর্থাৎ এমন কোনো কার্যকারিতা ছিল না যেখানে আপনি টেবিলে থাকা ডেটাকে সূচির একটিতে থাকা ক্রম অনুসারে সাজাতে পারেন।

ট্যাক্সি থেকে ছেলেরা আমার কাছে এসে বলল: "অ্যান্ড্রে, তুমি পোস্টগ্রেসকে জানো। এবং এখানে এটি প্রায় একই। 20 মিনিটে স্যুইচ করুন। তুমি নাও আর করো।" আমি ভেবেছিলাম যে হ্যাঁ, আমি পোস্টগ্রেস জানি, 20 মিনিটের জন্য স্যুইচ করছি - আমাকে এটি করতে হবে।

https://github.com/greenplum-db/gpdb/commit/179feb77a034c2547021d675082aae0911be40f7

কিন্তু না, এটা 20 মিনিটের নয়, আমি কয়েক মাস ধরে লিখেছি। PgConf.Russia কনফারেন্সে, আমি পিভোটাল থেকে হেইকি লিনাকাঙ্গাসের কাছে গিয়ে জিজ্ঞেস করলাম: “এতে কি কোনো সমস্যা আছে? কেন কোন সংযোজন অপ্টিমাইজড টেবিল ক্লাস্টারিং নেই?" তিনি বলেছেন: "আপনি ডেটা নিন। আপনি সাজান, আপনি পুনর্বিন্যাস. এটা শুধু একটা কাজ।" আমি: "ওহ, হ্যাঁ, আপনাকে এটি নিতে হবে এবং এটি করতে হবে।" তিনি বলেছেন: "হ্যাঁ, এটি করার জন্য আমাদের বিনামূল্যে হাতের প্রয়োজন।" আমি ভেবেছিলাম যে আমাকে অবশ্যই এটি করতে হবে।

এবং কয়েক মাস পরে আমি একটি পুল অনুরোধ জমা দিয়েছি যা এই কার্যকারিতা বাস্তবায়ন করেছে। এই টান অনুরোধটি Pivotal সম্প্রদায়ের সাথে একসাথে পর্যালোচনা করেছে। অবশ্যই, বাগ ছিল.

https://github.com/greenplum-db/gpdb/issues/10150

কিন্তু সবচেয়ে মজার বিষয় হল যে যখন এই পুল অনুরোধটি একত্রিত করা হয়েছিল, তখন গ্রীনপ্লামেই বাগ পাওয়া গিয়েছিল। আমরা দেখতে পেয়েছি যে হিপ টেবিলগুলি ক্লাস্টার করার সময় কখনও কখনও লেনদেনকে ভেঙে দেয়। এবং এটি এমন একটি জিনিস যা ঠিক করা দরকার। এবং সে সেই জায়গায় আছে যেখানে আমি এইমাত্র স্পর্শ করেছি। এবং আমার স্বাভাবিক প্রতিক্রিয়া ছিল - ঠিক আছে, আমাকেও এটি করতে দিন।

https://github.com/greenplum-db/gpdb/pull/10290

আমি এই বাগ সংশোধন. ফিক্সারদের কাছে একটি টান অনুরোধ পাঠানো হয়েছে। আএহ.

https://github.com/greenplum-db/gpdb-postgres-merge/pull/53

এর পরে দেখা গেল যে এই কার্যকারিতাটি PostgreSQL 12-এর জন্য Greenplum সংস্করণে প্রাপ্ত করা দরকার। অর্থাৎ, 20-মিনিটের অ্যাডভেঞ্চারটি নতুন আকর্ষণীয় অ্যাডভেঞ্চারের সাথে চলতে থাকে। বর্তমান উন্নয়ন স্পর্শ করা আকর্ষণীয় ছিল, যেখানে সম্প্রদায় নতুন এবং সবচেয়ে গুরুত্বপূর্ণ বৈশিষ্ট্যগুলি কাটছে। এটা ঠাণ্ডা.

https://github.com/greenplum-db/gpdb/pull/10565

কিন্তু সেখানেই শেষ হয়নি। সবকিছুর পরে, দেখা গেল যে আমাদের এই সমস্ত কিছুর জন্য ডকুমেন্টেশন লিখতে হবে।

ডকুমেন্টেশন লিখতে শুরু করলাম। সৌভাগ্যক্রমে, পিভোটালের ডকুমেন্টারিয়ানরা এসেছিলেন। ইংরেজি তাদের মাতৃভাষা। তারা আমাকে ডকুমেন্টেশন দিয়ে সাহায্য করেছে। প্রকৃতপক্ষে, আমি যা প্রস্তাব করেছি তা তারা নিজেরাই প্রকৃত ইংরেজিতে পুনরায় লিখেছে।

এবং এখানে, মনে হবে, দু: সাহসিক কাজ শেষ। এবং তারপর কি হয়েছিল জানেন? ট্যাক্সির ছেলেরা আমার কাছে এসে বলল: "এখনও দুটি অ্যাডভেঞ্চার বাকি আছে, প্রতিটি 10 ​​মিনিটের জন্য।" এবং আমি তাদের কি বলব? আমি বলেছিলাম যে এখন আমি স্কেলে একটি প্রতিবেদন দেব, তারপরে আমরা আপনার অ্যাডভেঞ্চারগুলি দেখব, কারণ এটি একটি আকর্ষণীয় কাজ।

এই ঘটনা থেকে আমরা কি শিখলাম? কারণ ওপেন সোর্সের সাথে কাজ করা সর্বদা একটি নির্দিষ্ট ব্যক্তির সাথে কাজ করে, এটি সর্বদা সম্প্রদায়ের সাথে কাজ করে। কারণ প্রতিটি একক পর্যায়ে আমি কিছু ডেভেলপার, কেউ টেস্টার, কেউ হ্যাকার, কেউ ডকুমেন্টারিয়ান, কেউ আর্কিটেক্টের সাথে কাজ করেছি। আমি গ্রীনপ্লামের সাথে কাজ করিনি, আমি গ্রীনপ্লামের আশেপাশের লোকদের সাথে কাজ করেছি।

কিন্তু! আরেকটি গুরুত্বপূর্ণ বিষয় আছে - এটি শুধু কাজ। অর্থাৎ, আপনি আসুন, কফি পান করুন, কোড লিখুন। সহজ invariants সব ধরণের কাজ. এটা স্বাভাবিকভাবে করুন - এটা ঠিক হবে! এবং এটি বেশ আকর্ষণীয় কাজ। Yandex.Cloud ক্লায়েন্টদের কাছ থেকে এই কাজের জন্য একটি অনুরোধ রয়েছে, Yandex এর ভিতরে এবং বাইরে উভয়ই আমাদের ক্লাস্টারের ব্যবহারকারীরা। এবং আমি মনে করি যে আমরা যে প্রকল্পগুলিতে অংশগ্রহণ করব তার সংখ্যা বাড়বে এবং আমাদের সম্পৃক্ততার গভীরতাও বাড়বে।

এখানেই শেষ. আসুন প্রশ্নগুলিতে এগিয়ে যাই।

প্রশ্ন সেশন

হ্যালো! আমাদের আরেকটি প্রশ্নোত্তর সেশন আছে। এবং স্টুডিওতে আন্দ্রেই বোরোদিন। এই সেই ব্যক্তি যিনি এইমাত্র আপনাকে Yandex.Cloud এবং Yandex-এর ওপেন সোর্সের অবদান সম্পর্কে বলেছেন। আমাদের প্রতিবেদনটি এখন সম্পূর্ণরূপে ক্লাউড সম্পর্কে নয়, তবে একই সময়ে আমরা এই জাতীয় প্রযুক্তির উপর ভিত্তি করে। আপনি Yandex এর ভিতরে যা করেছেন তা ছাড়া, Yandex.Cloud-এ কোন পরিষেবা থাকবে না, তাই ব্যক্তিগতভাবে আমার পক্ষ থেকে আপনাকে ধন্যবাদ। এবং সম্প্রচার থেকে প্রথম প্রশ্ন: "আপনি উল্লেখিত প্রতিটি প্রকল্পের উপর লিখিত কি?"

WAL-G-এ ব্যাকআপ সিস্টেম Go-তে লেখা আছে। আমরা যে নতুন প্রকল্পে কাজ করেছি তার মধ্যে এটি একটি। আক্ষরিক অর্থে তার বয়স মাত্র 3 বছর। এবং একটি ডাটাবেস প্রায়ই নির্ভরযোগ্যতা সম্পর্কে। এবং এর মানে হল যে ডেটাবেসগুলি বেশ পুরানো এবং সেগুলি সাধারণত সি-তে লেখা হয়। পোস্টগ্রেস প্রকল্পটি প্রায় 30 বছর আগে শুরু হয়েছিল। তারপর C89 সঠিক পছন্দ ছিল। এবং এর উপর পোস্টগ্রেস লেখা আছে। আরো আধুনিক ডাটাবেস যেমন ClickHouse সাধারণত C++ এ লেখা হয়। সমস্ত সিস্টেম বিকাশ C এবং C++ এর উপর ভিত্তি করে।

আমাদের আর্থিক ব্যবস্থাপকের একটি প্রশ্ন, যিনি ক্লাউডে খরচের জন্য দায়ী: "কেন ক্লাউড ওপেন সোর্স সমর্থন করার জন্য অর্থ ব্যয় করে?"

এখানে আর্থিক ব্যবস্থাপকের জন্য একটি সহজ উত্তর আছে। আমরা আমাদের পরিষেবাগুলি আরও ভাল করার জন্য এটি করি। কোন উপায়ে আমরা আরও ভাল করতে পারি? আমরা জিনিসগুলি আরও দক্ষতার সাথে, দ্রুত করতে পারি এবং জিনিসগুলিকে আরও মাপযোগ্য করে তুলতে পারি। কিন্তু আমাদের জন্য, এই গল্প প্রাথমিকভাবে নির্ভরযোগ্যতা সম্পর্কে. উদাহরণস্বরূপ, একটি ব্যাকআপ সিস্টেমে আমরা এটিতে প্রযোজ্য প্যাচগুলির 100% পর্যালোচনা করি। আমরা জানি কোড কি. এবং আমরা উত্পাদনে নতুন সংস্করণগুলি রোল আউট করতে আরও স্বাচ্ছন্দ্য বোধ করি। অর্থাৎ, প্রথমত, এটি আত্মবিশ্বাস সম্পর্কে, উন্নয়নের জন্য প্রস্তুতি এবং নির্ভরযোগ্যতা সম্পর্কে

আরেকটি প্রশ্ন: "Yandex.Cloud-এ বসবাসকারী বহিরাগত ব্যবহারকারীদের প্রয়োজনীয়তা কি অভ্যন্তরীণ ক্লাউডে বসবাসকারী অভ্যন্তরীণ ব্যবহারকারীদের থেকে আলাদা?"

লোড প্রোফাইল, অবশ্যই, ভিন্ন. তবে আমার বিভাগের দৃষ্টিকোণ থেকে, সমস্ত বিশেষ এবং আকর্ষণীয় কেস একটি অ-মানক লোডে তৈরি করা হয়। কল্পনাশক্তিসম্পন্ন বিকাশকারী, অপ্রত্যাশিত কাজ করে এমন বিকাশকারীরা অভ্যন্তরীণ এবং বাহ্যিকভাবে পাওয়া যাবে। এই বিষয়ে, আমরা সবাই প্রায় একই. এবং, সম্ভবত, ডাটাবেসের ইয়ানডেক্স অপারেশনের মধ্যে একমাত্র গুরুত্বপূর্ণ বৈশিষ্ট্যটি হ'ল ইয়ানডেক্সের ভিতরে আমাদের একটি শিক্ষা রয়েছে। কিছু সময়ে, কিছু প্রাপ্যতা অঞ্চল সম্পূর্ণরূপে ছায়ায় চলে যায় এবং সমস্ত ইয়ানডেক্স পরিষেবাগুলিকে অবশ্যই এটি সত্ত্বেও কাজ চালিয়ে যেতে হবে। এটি একটি ছোট পার্থক্য. কিন্তু এটি ডাটাবেস এবং নেটওয়ার্ক স্ট্যাকের ইন্টারফেসে প্রচুর গবেষণা উন্নয়ন তৈরি করে। অন্যথায়, বহিরাগত এবং অভ্যন্তরীণ ইনস্টলেশন বৈশিষ্ট্যগুলির জন্য একই অনুরোধ এবং নির্ভরযোগ্যতা এবং কর্মক্ষমতা উন্নত করার জন্য অনুরূপ অনুরোধ তৈরি করে।

পরবর্তী প্রশ্ন: "আপনি ব্যক্তিগতভাবে কীভাবে অনুভব করেন যে আপনি যা করেন তার বেশিরভাগই অন্যান্য ক্লাউড দ্বারা ব্যবহৃত হয়?" আমরা নির্দিষ্টগুলির নাম বলব না, তবে Yandex.Cloud-এ করা অনেক প্রকল্প অন্য লোকের ক্লাউডে ব্যবহার করা হয়।

এই শান্ত. প্রথমত, এটি একটি চিহ্ন যে আমরা কিছু সঠিক করেছি। এবং এটা অহং scratches. এবং আমরা আরও আত্মবিশ্বাসী যে আমরা সঠিক সিদ্ধান্ত নিয়েছি। অন্যদিকে, এই আশা যে ভবিষ্যতে এটি আমাদের নতুন ধারণা, তৃতীয় পক্ষের ব্যবহারকারীদের কাছ থেকে নতুন অনুরোধ নিয়ে আসবে। গিটহাবের বেশিরভাগ সমস্যাগুলি পৃথক সিস্টেম অ্যাডমিনিস্ট্রেটর, স্বতন্ত্র ডিবিএ, স্বতন্ত্র স্থপতি, স্বতন্ত্র প্রকৌশলী দ্বারা তৈরি করা হয়, তবে কখনও কখনও পদ্ধতিগত অভিজ্ঞতা সম্পন্ন লোকেরা এসে বলে যে 30% নির্দিষ্ট ক্ষেত্রে আমাদের এই সমস্যা রয়েছে এবং আসুন কীভাবে এটি সমাধান করা যায় তা নিয়ে ভাবি। এই আমরা সবচেয়ে অপেক্ষা করছি কি. আমরা অন্যান্য ক্লাউড প্ল্যাটফর্মের সাথে অভিজ্ঞতা শেয়ার করার জন্য উন্মুখ।

আপনি ম্যারাথন সম্পর্কে অনেক কথা বলেছেন। আমি জানি আপনি মস্কোতে ম্যারাথন দৌড়েছেন। ফলে? PostgreSQL থেকে ছেলেদের ছাড়িয়ে গেছে?

না, ওলেগ বার্তুনভ খুব দ্রুত দৌড়ায়। তিনি আমার থেকে এক ঘন্টা এগিয়ে শেষ. সামগ্রিকভাবে, আমি কতটা এগিয়েছি তাতে আমি খুশি। আমার জন্য, শুধু শেষ করা একটি অর্জন ছিল। সামগ্রিকভাবে, এটি আশ্চর্যজনক যে পোস্টগ্রেস সম্প্রদায়ে অনেক দৌড়বিদ রয়েছে। এটা আমার মনে হয় যে বায়বীয় ক্রীড়া এবং সিস্টেম প্রোগ্রামিং জন্য আকাঙ্ক্ষা মধ্যে কিছু ধরনের সম্পর্ক আছে.

আপনি কি বলছেন ClickHouse এ কোন রানার নেই?

আমি নিশ্চিত যে তারা সেখানে আছে. ক্লিক হাউসও একটি ডাটাবেস। যাইহোক, ওলেগ এখন আমাকে লিখছেন: "আমরা কি রিপোর্টের পরে দৌড়াতে যাব?" এটি একটি মহান ধারণা।

নিকিতা থেকে সম্প্রচারের আরেকটি প্রশ্ন: "কেন আপনি নিজেই গ্রিনপ্লামের বাগটি ঠিক করেছেন এবং জুনিয়রদের দেননি?" সত্য, বাগটি কী এবং কোন পরিষেবাতে এটি খুব স্পষ্ট নয়, তবে এর অর্থ সম্ভবত আপনি যার কথা বলেছেন।

হ্যাঁ, নীতিগতভাবে, এটি কাউকে দেওয়া যেতে পারে। এটা শুধু কোড যে আমি পরিবর্তন. এবং অবিলম্বে এটি চালিয়ে যাওয়া স্বাভাবিক ছিল। নীতিগতভাবে, দলের সাথে দক্ষতা ভাগ করে নেওয়ার ধারণাটি একটি ভাল ধারণা। আমরা অবশ্যই আমাদের বিভাগের সকল সদস্যদের মধ্যে গ্রিনপ্লামের কাজগুলি ভাগ করব।

যেহেতু আমরা জুনিয়রদের কথা বলছি, তাই এখানে একটি প্রশ্ন। ব্যক্তি পোস্টগ্রেসে প্রথম কমিট তৈরি করার সিদ্ধান্ত নিয়েছে। প্রথম প্রতিশ্রুতি করতে তাকে কী করতে হবে?

এটি একটি আকর্ষণীয় প্রশ্ন: "কোথায় শুরু করবেন?" কার্নেলের কিছু দিয়ে শুরু করা সাধারণত বেশ কঠিন। পোস্টগ্রেসে, উদাহরণস্বরূপ, একটি করণীয় তালিকা রয়েছে। কিন্তু প্রকৃতপক্ষে, এটি একটি শীট যা তারা করার চেষ্টা করেছিল, কিন্তু সফল হয়নি। এগুলো জটিল বিষয়। এবং সাধারণত আপনি ইকোসিস্টেমে কিছু ইউটিলিটি খুঁজে পেতে পারেন, কিছু এক্সটেনশন যা উন্নত করা যেতে পারে, যা কার্নেল ডেভেলপারদের কম মনোযোগ আকর্ষণ করে। এবং, সেই অনুযায়ী, সেখানে বৃদ্ধির জন্য আরও পয়েন্ট রয়েছে। গুগল সামার অফ কোড প্রোগ্রামে, প্রতি বছর পোস্টগ্রেস সম্প্রদায় অনেকগুলি বিভিন্ন বিষয় সামনে রাখে যা সমাধান করা যেতে পারে। এই বছর আমাদের ছিল, আমার মনে হয়, তিনজন ছাত্র। একজন এমনকি ইয়ানডেক্সের জন্য গুরুত্বপূর্ণ বিষয়গুলিতে WAL-G-তে লিখেছেন। গ্রীনপ্লামে, পোস্টগ্রেস সম্প্রদায়ের তুলনায় সবকিছু সহজ, কারণ গ্রীনপ্লাম হ্যাকাররা পুল অনুরোধগুলিকে খুব ভালভাবে বিবেচনা করে এবং এখনই পর্যালোচনা শুরু করে। পোস্টগ্রেসে একটি প্যাচ পাঠানো কয়েক মাসের ব্যাপার, তবে গ্রিনপ্লাম একদিনের মধ্যে আসবে এবং আপনি কী করেছেন তা দেখতে পাবেন। আরেকটি বিষয় হল যে গ্রিনপ্লামকে বর্তমান সমস্যাগুলি সমাধান করতে হবে। Greenplum ব্যাপকভাবে ব্যবহৃত হয় না, তাই আপনার সমস্যা খুঁজে বের করা বেশ কঠিন। এবং প্রথমত, আমাদের অবশ্যই সমস্যার সমাধান করতে হবে।

উত্স: www.habr.com