په لاندې ډیټابیسونو کې د Yandex ونډې به په پام کې ونیول شي.
- ټک هاوس
- اوديسه
- په وخت کې یوې نقطې ته رغونه (WAL-G)
- PostgreSQL (د logerrors، Amcheck، heapcheck په شمول)
- شنه پلم
ویډیو:
سلام نړی! زما نوم اندری بوروډین دی. او په Yandex.Cloud کې، زه د Yandex.Cloud او Yandex.Cloud پیرودونکو ګټې لپاره د پرانیستې اړیکو ډیټابیسونه جوړوم.
په دې خبرو کې به موږ په پیمانه د خلاص ډیټابیس ننګونو په اړه وغږیږو. ولې دا مهمه ده؟ ځکه چې وړې، وړې ستونزې، چې د مچیو په څیر بیا په هاتیو بدلیږي. دوی لوی کیږي کله چې تاسو ډیری کلسترونه لرئ.
خو دا خبره نه ده. د نه منلو وړ شیان پیښیږي. هغه شیان چې په یو ملیون قضیو کې پیښیږي. او په بادل چاپیریال کې ، تاسو باید د دې لپاره چمتو اوسئ ، ځکه چې د نه منلو وړ شیان خورا احتمال کیږي کله چې یو څه په پیمانه شتون ولري.
خو! د خلاص ډیټابیس ګټې څه دي؟ حقیقت دا دی چې تاسو د هرې ستونزې سره د مقابلې لپاره نظري فرصت لرئ. تاسو د سرچینې کوډ لرئ، تاسو د پروګرام کولو پوهه لرئ. موږ یوځای کوو او کار کوو.
د خلاصې سرچینې سافټویر په کار کولو کې کومې لارې شتون لري؟
- ترټولو د پوهیدو وړ لاره د سافټویر کارول دي. که تاسو پروتوکول کاروئ ، که تاسو معیارونه کاروئ ، که تاسو فارمیټونه کاروئ ، که تاسو د خلاصې سرچینې سافټویر کې غوښتنې ولیکئ ، نو تاسو دمخه یې ملاتړ کوئ.
- تاسو د دې ایکوسیستم لوی جوړوئ. تاسو د بګ د ژر کشف احتمال ډیر کړئ. تاسو د دې سیسټم اعتبار زیاتوي. تاسو په بازار کې د پراختیا کونکو شتون ډیروئ. تاسو دا سافټویر ښه کړئ. تاسو دمخه یو مرسته کونکی یاست که تاسو یوازې د سټایل ترلاسه کولو او هلته د یو څه سره ټینکر کړی وي.
- بله د پوهیدو وړ طریقه د خلاصې سرچینې سافټویر سپانسر کول دي. د مثال په توګه، د ګوګل سمر آف کوډ برنامه مشهوره ده، کله چې ګوګل د نړۍ له ګوټ ګوټ څخه زده کونکو ته د پوهیدو وړ پیسې ورکوي ترڅو د خلاصې سرچینې سافټویر پروژې رامینځته کړي چې د جواز ځانګړي اړتیاوې پوره کوي.
- دا خورا په زړه پوري طریقه ده ځکه چې دا تاسو ته اجازه درکوي سافټویر رامینځته کړئ پرته لدې چې تمرکز له ټولنې څخه لرې کړئ. ګوګل، د ټیکنالوژۍ لوی په توګه، دا نه وايي چې موږ دا ځانګړتیا غواړو، موږ غواړو دا بګ حل کړو، او دا هغه ځای دی چې موږ یې کیندل ته اړتیا لرو. ګوګل وايي، "هغه څه وکړئ چې تاسو یې کوئ. یوازې هغه ډول کار ته دوام ورکړئ چې تاسو کار کوئ او هرڅه به سم شي."
- په خلاصې سرچینې کې د ګډون لپاره بله لاره ګډون دی. کله چې تاسو د خلاصې سرچینې سافټویر کې ستونزه لرئ او پراختیا کونکي شتون لري، ستاسو پراختیا کونکي د ستونزو حل کول پیل کوي. دوی ستاسو زیربنا ډیر اغیزمن کول پیل کوي، ستاسو پروګرامونه ګړندي او ډیر باوري دي.
یو له خورا مشهور یانډیکس خلاصې سرچینې پروژې کلیک هاوس دی. دا یو ډیټابیس دی چې د Yandex.Metrica سره مخ ننګونو ته د ځواب په توګه زیږیدلی.
او د ډیټابیس په توګه ، دا په خلاصې سرچینې کې رامینځته شوی ترڅو د اکوسیستم رامینځته کړي او د نورو پراختیا کونکو سره یوځای وده وکړي (نه یوازې په Yandex کې). او اوس دا یوه لویه پروژه ده چې ډیری مختلف شرکتونه پکې ښکیل دي.
په Yandex.Cloud کې، موږ د Yandex Object Storage په سر کې کلیک هاوس جوړ کړ، د بیلګې په توګه د کلاوډ ذخیره په سر کې.
ولې په بادل کې مهم دی؟ ځکه چې کوم ډیټابیس په دې مثلث کې کار کوي، په دې پیرامیډ کې، د حافظې ډولونو په دې درجه بندي کې. تاسو ګړندي مګر کوچني راجسترونه او ارزانه لوی مګر ورو SSDs ، HDDs او نور بلاک وسایل لرئ. او که تاسو د پیرامید په سر کې موثر یاست، نو تاسو یو چټک ډیټابیس لرئ. که تاسو د دې پیرامیډ په پای کې اغیزمن یاست، نو تاسو یو پیمانه ډیټابیس لرئ. او پدې برخه کې ، د لاندې څخه د بل پرت اضافه کول د ډیټابیس د توزیع کولو لپاره منطقي چلند دی.
دا څنګه کیدی شي؟ دا په دې راپور کې مهم ټکی دی.
- موږ کولی شو د MDS په اړه کلیک هاوس پلي کړو. MDS د Yandex کلاوډ ذخیره کولو داخلي انٹرفیس دی. دا د عام S3 پروتوکول په پرتله خورا پیچلی دی، مګر دا د بلاک آلې لپاره ډیر مناسب دی. دا د معلوماتو لیکلو لپاره غوره دی. دا ډیر پروګرام کولو ته اړتیا لري. برنامه کونکي به برنامه وکړي ، دا حتی ښه ، په زړه پوری دی.
- S3 یو ډیر عام چلند دی چې د کار بارونو ځینې ډولونو ته د لږ موافقت په لګښت انٹرفیس ساده کوي.
په طبیعي ډول، د کلک هاؤس ټول ایکوسیستم ته د فعالیت چمتو کول او هغه دنده ترسره کول چې په Yandex.Cloud کې اړین دي، موږ پریکړه وکړه چې دا جوړ کړو ترڅو د کلک هاوس ټوله ټولنه له دې څخه ګټه پورته کړي. موږ د S3 په اړه ClickHouse پلي کړ، نه د MDS په اړه ClickHouse. او دا ډیر کار دی.
سرچینې:
"د فایل سیسټم خلاصون پرت"
د AWS SDK S3 ادغام
"د S3 لپاره د IDisk انٹرفیس اساس پلي کول"
"د IDisk انٹرفیس سره د لاګ ذخیره کولو انجنونو ادغام"
"د S3 او SeekableReadBuffer لپاره د ننوتلو انجن ملاتړ"
"د ذخیره کولو پټې لاګ S3 ملاتړ"
"د S3 لپاره د ذخیرې MergeTree لومړنی ملاتړ"
د S3 لپاره MergeTree بشپړ ملاتړ
"په S3 کې د ReplicatedMergeTree ملاتړ وکړئ"
"د s3 ذخیره کولو لپاره ډیفالټ اسناد او دودیز سرلیکونه اضافه کړئ"
"S3 د متحرک پراکسي ترتیب سره"
S3 د پراکسي حل کونکي سره
دا د ClickHouse د مجازی فایل سیسټم پلي کولو لپاره د پلټ غوښتنې لیست دی. دا د کشولو ډیری غوښتنې دي.
سرچینې:
"د ډیسک ایس 3 هارډ لینکس غوره پلي کول"
"S3 HTTP مراجع - په حافظه کې د غبرګون جریان کاپي کولو څخه ډډه وکړئ"
"په S3 HTTP کې حافظې ته د ټول غبرګون جریان کاپي کولو څخه ډډه وکړئ
پیرودونکي"
"د S3 ډیسک لپاره د کیچ نښه او شاخص فایلونو وړتیا"
"برخې له DiskLocal څخه DiskS3 ته په موازي ډول انتقال کړئ"
مګر کار هلته پای ته نه و رسیدلی. وروسته له دې چې فیچر جوړ شو، د دې فعالیت د ښه کولو لپاره یو څه نور کار ته اړتیا وه.
سرچینې:
"SelectedRows او SelectedBytes پیښې اضافه کړئ"
"د S3 غوښتنې څخه system.events ته د پروفایل کولو پیښې اضافه کړئ"
"QueryTimeMicroseconds اضافه کړئ، QueryTimeMicroseconds وټاکئ او د QueryTimeMicroseconds داخل کړئ"
او بیا دا اړینه وه چې دا د تشخیص وړ وي، نظارت رامینځته کړي او د مدیریت وړ کړي.
او دا ټول د دې لپاره ترسره شول چې ټوله ټولنه، د کلک هاوس ټول ایکوسیستم، د دې کار پایله ترلاسه کړه.
راځئ چې د لیږد ډیټابیسونو ته لاړ شو، د OLTP ډیټابیسونو ته، کوم چې په شخصي توګه زما سره نږدې دي.
دا د خلاصې سرچینې DBMS پراختیا څانګه ده. دا هلکان د لیږد خلاص ډیټابیسونو ته وده ورکولو لپاره د سړک جادو کوي.
یو له هغه پروژو څخه چې موږ یې د مثال په توګه کارولی شو د دې په اړه وغږیږو چې څنګه او څه کوو په پوسټګریس کې د اتصال پولر دی.
Postgres د پروسې ډیټابیس دی. دا پدې مانا ده چې ډیټابیس باید د امکان تر حده لږې شبکې اړیکې ولري چې د معاملو سره کار کوي.
له بلې خوا، په بادل چاپیریال کې، یو عادي حالت دی کله چې په یو وخت کې زر زره اړیکې یو کلستر ته راځي. او د پیوستون پولر دنده دا ده چې زر اتصالونه په لږ شمیر سرور اتصالونو کې بسته کړي.
موږ کولی شو ووایو چې د ارتباط پولر د تلیفون آپریټر دی چې بایټونه بدلوي ترڅو دوی په مؤثره توګه ډیټابیس ته ورسیږي.
له بده مرغه، د ارتباط پولر لپاره هیڅ ښه روسی کلمه نشته. دا ځینې وختونه د ملټي پلیکسر اړیکو په نوم یادیږي. که تاسو پوهیږئ چې د پیوستون پولر ته څه ویل کیږي، نو ډاډه اوسئ چې ما ته ووایاست، زه به ډیر خوشحاله شم چې سمه روسي تخنیکي ژبه خبرې وکړم.
موږ د اتصال پولرونه وپلټئ چې د منظم پوسټ ګریس کلستر لپاره مناسب وو. او PgBouncer زموږ لپاره غوره فټ و. مګر موږ د PgBouncer سره یو شمیر مسلو سره مخ شوي یو. ډیری کلونه دمخه، Volodya Borodin راپورونه جوړ کړل چې موږ PgBouncer کاروو، موږ هرڅه خوښوو، مګر باریکونه شتون لري، د کار کولو لپاره یو څه شتون لري.
او موږ کار وکړ. موږ هغه ستونزې حل کړې چې موږ ورسره مخ شوي یو، موږ باونسر پیچ کړ، موږ هڅه وکړه چې د پورته کولو غوښتنې ته منسوب کړو. مګر بنسټیز واحد تارینګ سره کار کول سخت وو.
موږ باید د پیچ شوي توپ اچوونکو څخه کاسکیډ وکړو. کله چې موږ ډیری واحد تاریډ باونسرونه ولرو، نو په پورتنۍ طبقه کې، اړیکې د باونسر داخلي پرت ته لیږدول کیږي. دا یو کمزوری مدیریت دی، جوړول سخت او د شا او خوا سیسټم اندازه کول سخت دي.
موږ دې نتیجې ته رسیدلي یو چې موږ خپل د ارتباط پولر جوړ کړی، کوم چې د اوډیسي په نوم یادیږي. موږ دا له سکریچ څخه لیکلي.
په 2019 کې، په PgCon کې، ما دا پلر د پراختیا کونکي ټولنې ته وړاندې کړ. اوس موږ په GitHub کې له 2 څخه لږ ستوري لرو، دا پروژه ژوندۍ ده، پروژه مشهوره ده.
او که تاسو په Yandex.Cloud کې د Postgres کلستر جوړ کړئ، نو دا به د جوړ شوي اوډیسي سره کلستر وي، کوم چې بیا تنظیم کیږي کله چې کلستر شاته او شاته اندازه کیږي.
موږ د دې پروژې څخه څه زده کړل؟ د سیالۍ پروژې پیل کول تل یو تیریدونکی ګام دی، دا یو وروستی حل دی کله چې موږ ووایو چې ستونزې شتون لري چې په چټکۍ سره نه حل کیږي، د وخت په وقفو کې نه حل کیږي چې زموږ سره مناسب وي. مګر دا یو اغیزمن اقدام دی.
PgBouncer ګړندی وده پیل کړه.
او اوس نورې پروژې هم شته. د مثال په توګه، pgagroal، کوم چې د Red Hat پراختیا کونکو لخوا رامینځته شوی. دوی ورته اهداف تعقیبوي او ورته نظرونه پلي کوي، مګر البته، د خپلو ځانګړتیاو سره، کوم چې د pgagroal پراختیا کونکو سره نږدې دي.
د پوسټګریس ټولنې سره د کار کولو بله قضیه د وخت په تیریدو سره بیرته راستنیدل دي. دا د ناورین بیا رغونه ده، دا د بیک اپ څخه بیا رغونه ده.
ډیری بیک اپ شتون لري او دا ټول مختلف دي. نږدې هر پوسټګریس پلورونکی خپل بیک اپ حل لري.
که موږ ټول بیک اپ سیسټمونه واخلو، د ځانګړتیاوو میټرکس جوړ کړو او په ټوکه سره په دې میټرکس کې ټاکونکی محاسبه کړو، نو دا به صفر وي. دا څه مانا لري؟ څه شی که تاسو یو ځانګړی بیک اپ واخلئ، نو دا د نورو ټولو ټوټو څخه نشي راټولیدلی. دا په خپل تطبیق کې ځانګړی دی، دا په خپل هدف کې ځانګړی دی، دا په هغه نظرونو کې ځانګړی دی چې په هغې کې ځای پرځای شوي دي. او دوی ټول مشخص دي.
پداسې حال کې چې موږ دې مسلې ته ګورو، CitusData د WAL-G پروژه پیل کړه. دا یو بیک اپ سیسټم دی چې د بادل چاپیریال په نظر کې نیولو سره جوړ شوی. CitusData اوس د مایکروسافټ برخه ده. او پدې شیبه کې ، موږ واقعیا هغه نظرونه خوښ کړل چې د WAL-G په لومړنیو خپرونو کې ایښودل شوي و. او موږ په دې پروژه کې ونډه اخیستل پیل کړل.
اوس پدې پروژه کې ډیری لسګونه پراختیا کونکي شتون لري ، مګر د WAL-G 10 غوره مرسته کونکو کې 6 Yandexoids شامل دي. موږ هلته خپل ډیری نظریات راوړو. او البته، موږ دوی پخپله پلي کړل، دوی یې پخپله و ازمویل، پخپله یې تولید ته واړول، پخپله یې وکاروو، معلومه کړو چې چیرته لاړ شو، پداسې حال کې چې د لوی WAL-G ټولنې سره اړیکه ونیسئ.
او زموږ له نظره، اوس دا بیک اپ سیسټم، زموږ د هڅو په پام کې نیولو سره، د بادل چاپیریال لپاره غوره شوی. دا بادل ته د Postgres بیک اپ کولو څخه غوره دی.
دا څه معنی ورکوي؟ موږ یو خورا لوی نظر فشار راوړو: بیک اپ باید خوندي وي ، د چلولو لپاره ارزانه وي ، او څومره چې امکان ولري د بیا رغولو لپاره.
ولې باید د چلولو لپاره ارزانه وي؟ کله چې هیڅ شی مات شوی نه وي، تاسو اړتیا نلرئ پوه شئ چې تاسو بیک اپ لرئ. هرڅه سم کار کوي ، تاسو د امکان تر حده لږ CPU ضایع کوئ ، تاسو د امکان تر حده د خپل ډیسک سرچینې لږ کاروئ ، او تاسو شبکې ته د امکان تر حده لږ بایټونه لیږئ ترڅو ستاسو د قیمتي خدماتو تادیاتو کې مداخله ونه کړي.
او کله چې هرڅه مات شول ، د مثال په توګه ، مدیر ډیټا واخیسته ، یو څه غلط شو ، او تاسو په عاجل ډول اړتیا لرئ تیر ته بیرته راستون شئ ، تاسو د ټولو پیسو سره بیرته راګرځئ ، ځکه چې تاسو غواړئ خپل معلومات بیرته ژر او ثابت وساتئ.
او موږ دا ساده مفکوره پرمختللې ده. او، لکه څنګه چې موږ ته ښکاري، موږ دا درک کړې.
مګر دا ټول نه دي. موږ یو بل کوچنی شی غوښتل. موږ ډیری مختلف ډیټابیسونه غوښتل. زموږ ټول پیرودونکي پوسټګریس نه کاروي. ځینې یې MySQL، MongoDB کاروي. په ټولنه کې، نورو پراختیا کونکو د FoundationDB ملاتړ کړی. او دا لیست په دوامداره توګه پراخیږي.
ټولنه په بادل کې په اداره شوي چاپیریال کې د ډیټابیس چلولو نظر سره مینه لري. او پراختیا کونکي خپل ډیټابیسونه ساتي ، کوم چې زموږ د بیک اپ سیسټم لخوا د پوسټګریس سره په ورته ډول کاپي کیدی شي.
له دې کیسې مو څه زده کړل؟ زموږ محصول، د پراختیایي برخې په توګه، د کوډ کرښې نه دي، دا چلونکي ندي، دا فایلونه ندي. زموږ محصول د پلولو غوښتنې ندي. دا هغه نظریات دي چې موږ یې ټولنې ته خپروو. دا د ټیکنالوژیک تخصص او د بادل چاپیریال په لور د ټیکنالوژۍ حرکت دی.
د پوسټګریس په څیر داسې ډیټابیس شتون لري. زه د پوسټګریس کور غوره خوښوم. زه د ټولنې سره د پوسټګریس کور ته وده ورکولو ډیر وخت تیروم.
مګر دلته زه باید ووایم چې Yandex.Cloud د اداره شوي ډیټابیسونو داخلي نصب لري. او دا ډیر وخت دمخه په Yandex.Mail کې پیل شو. هغه ډول تخصص چې اوس د مدیریت پوسټګریس لامل شوی هغه وخت راټول شوی و کله چې بریښنالیک غوښتل پوسټګریس ته واوړي.
میل کلاوډ ته خورا ورته اړتیاوې لري. دا تاسو ته اړتیا لري چې ستاسو د معلوماتو په هر وخت کې د غیر متوقع احتمالي ودې لپاره اندازه کولو توان ولرئ. او بریښنالیک دمخه د ډیری کاروونکو د سلګونو ملیون میل باکسونو سره بار درلود چې په دوامداره توګه ډیری غوښتنې کوي.
او دا د ټیم لپاره خورا جدي ننګونه وه چې د پوسټګریس وده کوي. بیا ټول هغه ستونزې چې موږ ورسره مخ شوي ټولنې ته راپور شوي. او دا ستونزې د ټولنې لخوا په ځینو ځایونو کې حتی د ځینو نورو ډیټابیسونو لپاره د تادیه شوي مرستې په کچه او حتی ښه شوي. دا دی، تاسو کولی شئ د PgSQL هیکر ته یو لیک واستوئ او په 40 دقیقو کې ځواب ترلاسه کړئ. په ځینو ډیټابیسونو کې تادیه شوي ملاتړ ممکن فکر وکړي چې ستاسو د بګ په پرتله ډیر لومړیتوب لرونکي شیان شتون لري.
اوس د داخلي پوسټګریس نصب کول ځینې پیټابایټ ډیټا دي. دا په هره ثانیه کې ځینې ملیون غوښتنې دي. دا په زرګونو کلسترونه دي. هغه ډیره لویه ده.
مګر یو نزاکت شتون لري. هغه په فیشني شبکې ډرایو کې نه ژوند کوي، مګر په ساده هارډویر کې. او په ځانګړي ډول په زړه پوري نوي شیانو لپاره د ازموینې چاپیریال شتون لري.
او په یو وخت کې د ازموینې چاپیریال کې، موږ داسې یو پیغام ترلاسه کړ، کوم چې په ګوته کوي چې د ډیټابیس شاخصونو داخلي تغیرات سرغړونه شوې.
متغیر یو ډول اړیکه ده چې موږ یې د تل ساتلو تمه لرو.
زموږ لپاره خورا نازک وضعیت. دا په ګوته کوي چې ممکن ځینې معلومات ورک شوي وي. او د معلوماتو ضایع کول یو څه ناورین دی.
عمومي نظر چې موږ په اداره شوي ډیټابیسونو کې تعقیب کوو دا دی چې حتی د هڅو سره سره، دا به ستونزمن وي چې ډاټا له لاسه ورکړي. حتی که تاسو په قصدي توګه دوی لرې کړئ، تاسو لاهم اړتیا لرئ چې د اوږدې مودې لپاره د دوی نشتوالی له پامه غورځوئ. د معلوماتو بشپړتیا یو مذهب دی چې موږ یې په خورا لیوالتیا سره تعقیب کوو.
او بیا یو داسې حالت رامینځته کیږي چې وړاندیز کوي چې ممکن یو داسې حالت وي چې موږ یې چمتو نه یو. او موږ د دې حالت لپاره چمتو کول پیل کړل.
لومړی کار چې موږ یې وکړ د دې زرګونو کلسترونو څخه لاګونه ښخ کړل. موږ وموندل چې کوم کلسترونه په ډیسکونو کې د ستونزې لرونکي فرم ویئر سره موقعیت لري چې د معلوماتو پا pagesې تازه کول له لاسه ورکړي. د پوسټګریس کوډ ټول معلومات په نښه کړل. او هغه پیغامونه چې د داخلي تغیراتو څخه سرغړونې په ګوته کوي، موږ د یو کوډ سره نښه کړې چې د معلوماتو فساد کشف کولو لپاره ډیزاین شوی.
دا پیچ په عملي توګه د ډیری بحث پرته د ټولنې لخوا منل شوی و، ځکه چې په هره ځانګړې قضیه کې دا څرګنده وه چې یو څه بد پیښ شوي او اړتیا وه چې ثبت ته راپور شي.
له هغې وروسته، موږ دې پایلې ته ورسیدو چې موږ څارنه لرو چې لاګ سکین کوي. او د شکمن پیغامونو په صورت کې، هغه حاضریږي، او حاضرین یې حل کوي.
خو! د لاګ سکین کول په یوه کلستر کې ارزانه عملیات دي او د زرګونو کلسترونو لپاره په ناورین سره ګران دي.
موږ د تمدید په نوم لیکلی دی . دا د ډیټابیس لید رامینځته کوي چیرې چې د تیرو تېروتنې احصایې په ارزانه او ګړندۍ توګه آباد کیدی شي. او که تاسو اړتیا لرئ چې حاضرین راویښ کړئ ، نو موږ به د دې په اړه د ګیګابایټ فایلونو سکین کولو سره نه ، بلکه د هش میز څخه د څو بایټونو په ایستلو سره ومومئ.
دا تمدید منل شوی، د بیلګې په توګه، د ذخیره کولو لپاره . که تاسو غواړئ دا وکاروئ، تاسو کولی شئ دا پخپله نصب کړئ. البته دا خلاص سرچینه ده.
مګر دا ټول نه دي. موږ د امچیک کارول پیل کړل، په شاخصونو کې د غیر متقابل سرغړونو موندلو لپاره د ټولنې لخوا رامینځته شوی توسیع.
او موږ وموندله چې که تاسو دا په پیمانه وکاروئ ، نو کیګونه شتون لري. موږ یې جوړول پیل کړل. زموږ اصلاحات ومنل شول.
موږ وموندله چې دا توسیع نشي کولی د GiST او GIT شاخصونه پارس کړي. موږ د هغوی ملاتړ وکړ. مګر دا ملاتړ لاهم د ټولنې لخوا بحث کیږي، ځکه چې دا یو نسبتا نوی فعالیت دی او ډیر توضیحات لري.
او موږ دا هم وموندله چې د نقل رهبر په اړه د سرغړونو لپاره د شاخصونو چک کولو په صورت کې، هرڅه په ماسټر کې ښه کار کوي، مګر په نقل، پیروکار کې، د فساد لټون دومره اغیزمن نه دی. ټول متغیرات تایید شوي ندي. او یو ناببره موږ ډیر ځورول. او موږ د یو نیم کال لپاره د ټولنې سره خبرې وکړې ترڅو دا چیک په نقلونو کې فعال کړو.
موږ کوډ لیکلی چې باید ټول پروتوکولونه تعقیب کړي. د دې پیچ په اړه د کرونچي ډیټا پیټر ګګن سره اوږد بحث درلود. هغه باید د دې پیچ منلو لپاره په پوسټګریس کې موجوده B-ونې یو څه ترمیم کړي. هغه ومنل شو. او اوس په نقلونو کې د شاخصونو چک کول هم خورا اغیزمن شوي ترڅو هغه سرغړونې کشف کړي چې موږ ورسره مخ شوي یو. دا ، دا هغه سرغړونې دي چې د ډیسک فرم ویئر کې د غلطیو له امله رامینځته کیدی شي ، په پوسټګریس کې بګونه ، د لینکس کرنل کې بګونه ، هارډویر ستونزې. د ستونزو د سرچینو خورا پراخه لیست چې موږ یې چمتو کول.
مګر د شاخصونو سربیره ، دلته د هپ په څیر یوه برخه شتون لري ، د بیلګې په توګه هغه ځای چیرې چې معلومات زیرمه کیږي. او دلته ډیری تغیرات شتون نلري چې چیک کیدی شي.
موږ د هیپ چیک په نوم توسیع لرو. موږ یې پراختیا پیل کړه. او زموږ سره په موازي کې، د EnterpriseDB شرکت هم د ماډل لیکلو پیل وکړ، کوم چې دوی ورته ورته Heapcheck ویل. یوازې موږ ورته PgHeapcheck وایو، او دوی یوازې ورته Heapcheck نوم ورکړ. دوی دا د ورته دندو سره لري، د یو څه مختلف لاسلیک سره، مګر د ورته نظرونو سره. دوی په ځایونو کې یو څه ښه پلي کړي. او دمخه په خلاصې سرچینې کې ایښودل شوی.
او اوس موږ د دوی د غزولو په سوداګرۍ کې یو، ځکه چې دا نور د دوی توسیع نه دی، بلکې د ټولنې توسیع دی. او په راتلونکي کې، دا د کرنل یوه برخه ده چې هرچا ته به ورکړل شي ترڅو د راتلونکي ستونزو په اړه دمخه پوه شي.
په ځینو ځایونو کې، موږ حتی دې پایلې ته ورسیدو چې موږ په خپلو څارونکو کې غلط مثبتونه لرو. د مثال په توګه، سیسټم 1C. کله چې ډیټابیس کاروئ ، پوسټګریس ځینې وختونه دې ته معلومات لیکي چې دا پخپله لوستلی شي ، مګر pg_dump نشي لوستلی.
دا وضعیت زموږ د ستونزې کشف سیسټم ته د فساد په څیر ښکاري. حاضرین له خوبه راویښ شول. خدمتګار ورته وکتل چې څه روان دي. څه موده وروسته یو مشتري راغی او ویې ویل چې ستونزه لرم. حاضرین ورته وویل چې ستونزه څه ده. مګر ستونزه د پوسټګریس کرنل کې ده.
ما د دې خصوصیت بحث وموند. او هغه لیکلي چې موږ له دې ځانګړتیا سره مخ شو او دا ناخوښه وه، یو سړی د شپې ویښ شو ترڅو معلومه کړي چې دا څه دي.
ټولنې ځواب ورکړ، "هو، موږ واقعیا اړتیا لرو چې دا سم کړو."
زه یو ساده مشابهت لرم. که تاسو په بوټ کې ځئ چې د شګو یوه ذره لري، نو په اصولو کې، تاسو کولی شئ نور لاړ شئ - دا سمه ده. که تاسو په زرګونو خلکو بوټان وپلورئ، نو راځئ چې بوټان پرته له شګو جوړ کړو. او که ستاسو د بوټانو یو کاروونکي د ماراتون چلولو ته ځي، نو تاسو غواړئ ډیر ښه بوټان جوړ کړئ، او بیا ستاسو ټولو کاروونکو ته اندازه کړئ. او دا ډول غیر متوقع کاروونکي تل د بادل چاپیریال کې وي. تل داسې کاروونکي شتون لري چې کلستر په یو څه اصلي طریقه چلوي. تاسو باید تل د دې لپاره چمتو کړئ.
موږ دلته څه زده کړل؟ موږ یو ساده شی زده کړل: ترټولو مهمه خبره دا ده چې ټولنې ته تشریح کړئ چې ستونزه شتون لري. که ټولنه ستونزه درک کړي، نو د ستونزې د حل لپاره طبیعي سیالي ده. ځکه چې هر څوک غواړي یوه مهمه ستونزه حل کړي. ټول پلورونکي، ټول هیکران پوهیږي چې دوی پخپله په دې ریک باندې ګام پورته کولی شي، نو دوی غواړي دوی له منځه یوسي.
که تاسو په کومه ستونزه کار کوئ، مګر دا ستاسو پرته بل چا ته زیان نه رسوي، مګر تاسو په سیسټمیک ډول کار کوئ او بالاخره دا ستونزه وګڼل شوه، نو ستاسو د وتلو غوښتنه به حتما ومنل شي. ستاسو پیچ به ومنل شي، ستاسو پرمختګونه یا حتی د پرمختګ لپاره غوښتنې به د ټولنې لخوا په پام کې ونیول شي. په هرصورت، موږ ډیټابیس د یو بل لپاره غوره کوو.
یو په زړه پوری ډیټابیس Greenplum دی. دا د پوسټګریس کوډبیس پراساس خورا موازي ډیټابیس دی چې زه ورسره پیژنم.
او ګرینپلم په زړه پوري فعالیت لري - مطلوب میزونه ضمیمه کړئ. دا میزونه دي چې تاسو یې په چټکۍ سره اضافه کولی شئ. دوی کولی شي کالم یا قطار وي.
مګر هیڅ کلسترینګ شتون نه درلود ، دا دی ، هیڅ فعالیت شتون نلري کله چې تاسو کولی شئ په جدول کې موقعیت لرونکي ډیټا د هغه ترتیب سره سم ترتیب کړئ چې په یوه شاخص کې وي.
د ټکسي هلکان ما ته راغلل او ویې ویل: "انډري، تاسو پوسټګریس پیژنئ. او دلته تقریبا یو شان دی. د 20 دقیقو لپاره بدلول. واخله او هغه وکړه.» ما فکر وکړ، هو، زه پوسټګریس پیژنم، د 20 دقیقو بدلول - زه باید دا کار وکړم.
مګر نه، دا شل دقیقې نه وې، زه له میاشتو راهیسې دا لیکم. د PgConf.Russia په کنفرانس کې، ما د Pivotal څخه Heikki Linakangas ته نږدې شوم او پوښتنه یې وکړه: "ایا پدې کې کومه ستونزه شتون لري؟ ولې د اصلاح شوي جدول ضمیمه کولو هیڅ کلستر شتون نلري؟" هغه وايي: "تاسو معلومات واخلئ. ترتیبول، ژباړل. دا یوازې کار دی." زه: "هو، هو، تاسو باید لاړ شئ او دا یې وکړئ." هغه وايي، "هو، موږ د دې کولو لپاره وړیا لاسونو ته اړتیا لرو." ما فکر کاوه چې دا هغه څه دي چې زه یې باید ترسره کړم.
او څو میاشتې وروسته ما د پلې کولو غوښتنه واستوله چې دا فعالیت یې پلي کړ. دا پلټ غوښتنه د ټولنې سره په ګډه په پایوټل کې وڅیړل شوه. البته، هلته کیګونه وو.
مګر ترټولو په زړه پوری خبره دا ده چې کله دا پل غوښتنه یوځای شوه ، پخپله په ګرینپلم کې کیګونه وموندل شول. موږ موندلي چې د هپ میزونه کله ناکله د کلستر کولو په وخت کې معامله ماتوي. او دا هغه څه دي چې باید تنظیم شي. او هغه په هغه ځای کې ده چې ما یوازې لمس کړې. او زما طبیعي غبرګون و - ښه، اجازه راکړئ چې دا هم وکړم.
ما دا ستونزه حل کړه. فکسر ته د پلټ غوښتنه واستوله. هغه ووژل شو.
له هغې وروسته، دا معلومه شوه چې دا فعالیت باید د PostgreSQL 12 لپاره په ګرینپلم نسخه کې ترلاسه شي. دا د 20 دقیقو لپاره د نوي په زړه پورې سفرونو سره دوام لري. دا په زړه پورې وه چې اوسني پرمختګ ته لاس واچوئ، چیرې چې ټولنې نوي او خورا مهم ځانګړتیاوې لیدلي. دا مړ شوی دی.
مګر دا هلته پای ته ونه رسیده. په هرصورت، دا معلومه شوه چې دا اړینه وه چې د دې ټولو لپاره اسناد ولیکئ.
ما د اسنادو لیکل پیل کړل. خوشبختانه، د Pivotal څخه اسناد هم راغلل. د دوی لپاره، انګلیسي د دوی مورنۍ ژبه ده. دوی ما سره د اسنادو په برخه کې مرسته وکړه. په حقیقت کې ، دوی پخپله هغه څه بیا لیکلي چې ما په ریښتیني انګلیسي کې وړاندیز کړی.
او داسې بریښي چې د جرات پای وي. او تاسو پوهیږئ چې وروسته څه پیښ شوي؟ د ټکسي هلکان ماته راغلل او ویې ویل: "لا هم دوه سفرونه دي، هر یو د 10 دقیقو لپاره." او څه باید ورته ووایم؟ ما وویل چې اوس به زه په پیمانه راپور جوړوم، بیا به ستاسو سفرونه وګورو، ځکه چې دا یو په زړه پورې کار دی.
موږ په دې قضیه کې څه زده کړل؟ حقیقت دا دی چې د خلاصې سرچینې سره کار کول تل د یو ځانګړي کس سره کار کوي، دا تل د ټولنې سره کار کوي. ځکه چې په هره مرحله کې ما د یو څه پراختیا کونکي سره کار کړی ، د ځینې ټیسټر سره ، د ځینې هیکر سره ، د ځینې مستند کونکي سره ، د ځینې معمار سره. ما د ګرینپلم سره کار نه دی کړی، ما د ګرینپلم شاوخوا خلکو سره کار کړی.
خو! یو بل مهم ټکی شتون لري - دا یوازې کار دی. دا دی، تاسو راشئ، قهوه وڅښئ، کوډ ولیکئ. هر ډول ساده انویرینټ کار کوي. دا سمه کړئ - دا به سم وي! او دا ډیر په زړه پوری کار دی. د دې کار لپاره د Yandex.Cloud مراجعینو څخه غوښتنه شتون لري، زموږ د کلسترونو کاروونکي دواړه د Yandex دننه او بهر. او، زه فکر کوم چې د هغو پروژو شمیر چې موږ پکې برخه اخلو هغه به ډیر شي او زموږ د ښکیلتیا ژورتیا به هم زیاته شي.
بس نور څه نه. راځئ چې پوښتنو ته لاړ شو.
د پوښتنې غونډه
سلام! موږ د پوښتنې او ځواب بله ناسته لرو. او په سټوډیو کې اندری بوروډین. دا هغه څوک دی چې تاسو ته یې یوازې د خلاصې سرچینې لپاره د Yandex.Cloud او Yandex ونډې په اړه وویل. زموږ راپور په بشپړ ډول د کلاوډ په اړه ندی، مګر په ورته وخت کې، موږ د ورته ټیکنالوژیو پر بنسټ یو. که دا د هغه څه لپاره نه و چې تاسو یې په Yandex کې ترسره کوئ، په Yandex.Cloud کې هیڅ خدمت شتون نلري، نو زما څخه په شخصي توګه مننه. او د خپرونې څخه لومړۍ پوښتنه: "په هره پروژه کې چې تاسو یې یادونه کړې څه لیکل شوي؟".
په WAL-G کې د بیک اپ سیسټم په Go کې لیکل شوی. دا یو له هغو نویو پروژو څخه دی چې موږ پرې کار کړی دی. هغه په حقیقت کې یوازې 3 کلن دی. او یو ډیټابیس اکثرا د اعتبار په اړه وي. او دا پدې مانا ده چې ډیټابیسونه خورا زاړه دي او معمولا په C کې لیکل شوي. د پوسټګریس پروژه شاوخوا 30 کاله دمخه پیل شوې. بیا C89 سم انتخاب و. او پوسټګریس پرې لیکل شوی دی. نور عصري ډیټابیسونه لکه ClickHouse معمولا په C++ کې لیکل کیږي. د سیسټم ټول پرمختګ د C او C++ په شاوخوا کې دی.
زموږ د مالي مدیر څخه پوښتنه ، څوک چې په کلاوډ کې د لګښتونو مسؤل دی: "ولې کلاوډ د خلاصې سرچینې مالتړ لپاره پیسې مصرفوي؟".
د مالي مدیر لپاره یو ساده ځواب شتون لري. موږ دا د خپلو خدماتو د ښه کولو لپاره کوو. په کوم ډول موږ کولی شو ښه کار وکړو؟ موږ کولی شو شیان ډیر اغیزمن، ګړندي کړو، شیان ډیر د توزیع وړ کړو. مګر زموږ لپاره، دا کیسه اساسا د اعتبار په اړه ده. د مثال په توګه، په بیک اپ سیسټم کې، موږ به د 100٪ پیچونو بیاکتنه وکړو چې پدې کې پلي کیږي. موږ پوهیږو چې کوډ څه شی دی. او موږ ډیر آرام یو چې تولید ته نوې نسخې وړاندې کوو. دا، تر ټولو لومړی، دا د باور په اړه دی، د پرمختګ لپاره چمتووالی او د اعتبار په اړه
بله پوښتنه: "ایا د بهرني کاروونکو اړتیاوې چې په Yandex.Cloud کې ژوند کوي د داخلي کاروونکو څخه توپیر لري چې په داخلي کلاوډ کې ژوند کوي؟".
د بار پروفایل، البته، توپیر لري. مګر زما د څانګې له نظره ، ټولې ځانګړې او په زړه پوري قضیې په غیر معیاري بار کې رامینځته کیږي. د تخیل سره پراختیا کونکي ، پراختیا کونکي غیر متوقع شیان کوي ، دوی په مساوي ډول احتمال لري چې دننه او بهر وموندل شي. په دې اړه، موږ ټول یو شان یو. او ، شاید ، د ډیټابیسونو د Yandex عملیاتو دننه یوازینۍ مهمه ځانګړتیا به دا وي چې د Yandex دننه موږ درس لرو. په ځینو وختونو کې، د لاسرسي ځینې زون په بشپړه توګه سیوري ته ځي، او د Yandex ټول خدمتونه باید په یو څه ډول فعالیت ته دوام ورکړي، سره له دې. دلته یو کوچنی توپیر دی. مګر دا د ډیټابیس او شبکې سټیک ترمینځ په انٹرفیس کې ډیری R&D رامینځته کوي. که نه نو، بهرني او داخلي تاسیسات د ورته ځانګړتیاو غوښتنې او د ښه اعتبار او فعالیت لپاره ورته غوښتنې رامینځته کوي.
بله پوښتنه دا ده: "تاسو په شخصي توګه د دې حقیقت په اړه څنګه احساس کوئ چې د هغه څه چې تاسو یې کوئ د نورو بادلونو لخوا کارول کیږي؟" موږ به ځانګړي نومونه وانخلو ، مګر ډیری پروژې چې موږ په Yandex.Cloud کې ترسره کړې د نورو خلکو بادلونو کې کارول کیږي.
دا ښه دی. لومړی، دا یوه نښه ده چې موږ یو څه سم کړي دي. او دا انا خړوبوي. او موږ ډیر ډاډه یو چې موږ سمه پریکړه کړې. له بلې خوا، دا هیله ده چې په راتلونکي کې به موږ ته نوي نظرونه، د دریمې ډلې کاروونکو څخه نوې غوښتنې راوړي. په GitHub کې ډیری مسلې د انفرادي سیسډمینونو ، انفرادي DBAs ، انفرادي معمارانو ، انفرادي انجینرانو لخوا رامینځته کیږي ، مګر ځینې وختونه سیسټمیک تجربه لرونکي خلک راځي او وايي چې په 30٪ ځینې مواردو کې موږ دا ډول ستونزه لرو او راځئ چې د حل کولو څرنګوالي په اړه فکر وکړو. دا دا هغه څه دي چې موږ یې ډیر په تمه یو. موږ د نورو کلاوډ پلیټ فارمونو سره تجربې شریکولو ته سترګې په لار یو.
تاسو د ماراتون په اړه ډیرې خبرې وکړې. زه پوهیږم چې تاسو په مسکو کې ماراتن منډې کړې. په پایله کښې؟ د پوسټګریس پرو څخه هلکان تیر کړل؟
نه، اولیګ بارتونوف ډیر چټک چلوي. هغه زما څخه یو ساعت مخکې پای ته ورساوه. په ټولیز ډول، زه د هغه څه څخه خوښ یم چې زه یې پرمخ وړم. زما لپاره، یوازې بشپړ کول یوه لاسته راوړنه وه. په عموم کې، دا د حیرانتیا خبره ده چې د پوسټګریس په ټولنه کې ډیری منډې شتون لري. ماته داسې ښکاري چې د ایروبیک سپورتونو او د سیسټم برنامه کولو غوښتنې ترمینځ ځینې اړیکې شتون لري.
ایا تاسو وایی چې په ClickHouse کې هیڅ منډې نلرئ؟
زه ډاډه یم چې دوی هلته دي. ClickHouse هم یو ډیټابیس دی. په لاره کې، اوس اولیګ ما ته لیکي: "راځئ چې د راپور وروسته منډې وهو؟" دا یو ښه نظر دی.
د نیکیتا څخه د خپرونې څخه بله پوښتنه: "ولې تاسو پخپله په ګرینپلم کې بګ حل کړ او ځوانو ته یې نه ورکاوه؟" ریښتیا ، دا خورا روښانه نده چې بګ څه دی او په کوم خدمت کې ، مګر دا شاید د هغه څه معنی ولري چې تاسو یې په اړه خبرې کوئ.
هو، په اصولو کې، دا یو چا ته ورکول کیدی شي. دا یوازې کوډ و چې ما یوازې بدل کړ. او دا طبیعي وه چې سمدلاسه دې کار ته دوام ورکړي. په اصولو کې، د ټیم سره د متخصصینو شریکولو نظر یو ښه نظر دی. موږ به خامخا زموږ د څانګې ټولو غړو ترمنځ د ګرینپلم دندې شریک کړو.
څرنګه چې موږ د ځوانو په اړه خبرې کوو، دا ډول پوښتنه. هغه کس پریکړه وکړه چې په پوسټګریس کې لومړی ژمنتیا رامینځته کړي. هغه څه ته اړتیا لري چې لومړی ژمنې ترسره کړي؟
دا یوه په زړه پورې پوښتنه ده: "چیرې پیل کړو؟". دا معمولا سخته ده چې په کرنل کې د یو څه سره پیل کړئ. پوسټګریس، د بیلګې په توګه، د ترسره کولو لیست لري. مګر په حقیقت کې، دا د هغه څه لیست دی چې دوی یې هڅه کړې، مګر کار یې نه دی کړی. دا ستونزمن شیان دي. او تاسو کولی شئ معمولا په ایکوسیستم کې ځینې اسانتیاوې ومومئ ، ځینې توسیعونه چې ښه کیدی شي ، چې د کرنل پراختیا کونکو څخه لږ پاملرنه ترلاسه کوي. او، په وینا، د ودې لپاره نور ټکي شتون لري. د ګوګل سمر کوډ پروګرام کې هر کال، د پوسټګریس ټولنه ډیری مختلف موضوعات وړاندې کوي چې په نښه کیدی شي. سږ کال داسې ښکاري چې موږ درې زده کونکي درلودل. یو حتی په WAL-G کې د هغو موضوعاتو په اړه لیکلي چې د Yandex لپاره مهم دي. شیان د پوسټګریس ټولنې په پرتله په ګرینپلم کې اسانه دي ځکه چې د ګرینپلم هیکران د پل غوښتنلیکونو سره خورا ښه دي او سمدلاسه بیاکتنه پیل کوي. پوسټګریس ته د پیچ لیږل د میاشتو لپاره یو ډول کیسه ده ، او ګرینپلم به په یوه ورځ کې راشي او وګورئ چې تاسو څه کړي دي. بله خبره دا ده چې ګرینپلم د حقیقي ستونزو حل کولو ته اړتیا لري. ګرینپلم په پراخه کچه نه کارول کیږي، نو ستاسو د ستونزې موندل خورا ستونزمن دي. او لومړی دا اړینه ده چې حل شي، البته، ستونزې.
سرچینه: www.habr.com