სანამ ყველა ჩემს დაბადების დღეს აღნიშნავდა, მე დილამდე ვასწორებდი კლასტერს - და დეველოპერები თავიანთ შეცდომებს მე დამაბრალეს.

აქ არის ამბავი, რომელმაც სამუდამოდ შეცვალა ჩემი მიდგომა devops მუშაობისადმი. კოვიდამდელ დროში, მათზე დიდი ხნით ადრე, როცა მე და ბიჭები მხოლოდ საკუთარ ბიზნესს ვგეგმავდით და შემთხვევითი შეკვეთებით ვმუშაობდით, ერთი შეთავაზება ჩემს კალათაში მოხვდა.

კომპანია, რომელმაც ეს დაწერა, იყო მონაცემთა ანალიტიკური კომპანია. იგი ყოველდღიურად ამუშავებდა ათასობით მოთხოვნას. ჩვენთან მოვიდნენ სიტყვებით: ბიჭებო, ჩვენ გვაქვს ClickHouse და გვინდა მისი კონფიგურაციისა და ინსტალაციის ავტომატიზაცია. ჩვენ გვინდა, რომ Ansible, Terraform, Docker და ეს ყველაფერი იყოს შენახული Git-ში. ჩვენ გვინდა ოთხი კვანძისგან შემდგარი კლასტერი თითო ორი რეპლიკით.

ეს სტანდარტული მოთხოვნაა, ათობით მათგანია და თქვენ გჭირდებათ თანაბრად კარგი სტანდარტული გადაწყვეტა. ჩვენ ვთქვით "კარგი" და 2-3 კვირის შემდეგ ყველაფერი მზად იყო. მათ მიიღეს სამუშაო და დაიწყეს გადასვლა ახალ Clickhouse კლასტერში ჩვენი კომუნალური პროგრამის გამოყენებით.

არავის უნდოდა და არ იცოდა როგორ მოეწყო Clickhouse. მაშინ ჩვენ ვიფიქრეთ, რომ ეს იყო მათი მთავარი პრობლემა და, შესაბამისად, კომპანიის სერვის სადგურმა უბრალოდ მისცა ნებართვა ჩემს გუნდს, რომ მაქსიმალურად მოეხდინა სამუშაოს ავტომატიზაცია, რათა აღარასოდეს წავსულიყავი იქ.

ჩვენ თან ახლდით მოძრაობას, გაჩნდა სხვა ამოცანები - სარეზერვო ასლების დაყენება და მონიტორინგი. იმავე მომენტში, ამ კომპანიის ავტოგასამართი სადგური სხვა პროექტს გაერთიანდა და მეთაურად ერთ-ერთი ჩვენი – ლეონიდი დაგვიტოვა. ლენია არ იყო ძალიან ნიჭიერი ბიჭი. უბრალო დეველოპერი, რომელიც მოულოდნელად დაინიშნა Clickhouse-ზე. როგორც ჩანს, ეს იყო მისი პირველი დავალება რაღაცის მართვაში და აბსოლუტურმა პატივს აძლევდა მას ვარსკვლავის დარტყმის გრძნობას.

ჩვენ ერთად შევუდექით სარეზერვო ასლების შექმნას. მე შევთავაზე თავდაპირველი მონაცემების სარეზერვო ასლის შექმნა დაუყოვნებლივ. უბრალოდ აიღე, zip და ელეგანტურად ჩააგდე რაღაც c3-ში. ნედლეული მონაცემები ოქროა. იყო კიდევ ერთი ვარიანტი - ცხრილების სარეზერვო ასლის შექმნა Clickhouse-ში გაყინვისა და კოპირების გამოყენებით. მაგრამ ლენიამ საკუთარი გამოსავალი მოიფიქრა.

მან გამოაცხადა, რომ ჩვენ გვჭირდება მეორე Clickhouse კლასტერი. და ამიერიდან ჩვენ დავწერთ მონაცემებს ორ კლასტერში - მთავარ და სარეზერვო. მე მას ვეუბნები, ლენია, ეს არ იქნება სარეზერვო საშუალება, არამედ აქტიური რეპლიკა. და თუ მონაცემები იკარგება წარმოებაში, იგივე მოხდება თქვენს სარეზერვო ასლზე.

მაგრამ ლენიამ საჭეს მაგრად მოუჭირა და ჩემი არგუმენტების მოსმენაზე უარი თქვა. ჩვენ დიდხანს ვესაუბრეთ მას ჩატში, მაგრამ არაფერი იყო გასაკეთებელი - პროექტს ხელმძღვანელობდა ლენია, ჩვენ უბრალოდ ქუჩიდან დაქირავებული ბავშვები ვიყავით.

ჩვენ ვაკვირდებოდით კლასტერის მდგომარეობას და მხოლოდ ადმინისტრატორების მუშაობას ვახდენდით. სუფთა Clickhouse ადმინისტრაცია მონაცემებში მოხვედრის გარეშე. კლასტერი ხელმისაწვდომი იყო, დისკები კარგად იყო, კვანძები კარგად იყო.

ჩვენ არ ვიცოდით, რომ ეს შეკვეთა მივიღეთ მათ გუნდში საშინელი გაუგებრობის გამო

მენეჯერი უკმაყოფილო იყო, რომ Clickhouse ნელი იყო და მონაცემები ზოგჯერ იკარგებოდა. მან თავის სერვის სადგურს დაავალა ამის გარკვევა. მან გაარკვია, როგორც შეეძლო და დაასკვნა, რომ ჩვენ უბრალოდ გვჭირდებოდა Clickhouse-ის ავტომატიზაცია - ეს ყველაფერია. მაგრამ როგორც მალე გაირკვა, მათ საერთოდ არ სჭირდებოდათ დევოპების გუნდი.

ეს ყველაფერი ძალიან, ძალიან მტკივნეული აღმოჩნდა. და ყველაზე შეურაცხმყოფელი ის იყო, რომ ჩემს დაბადების დღეზე იყო.

პარასკევს საღამოს. ჩემს საყვარელ ღვინის ბარში დავჯავშნე და ჰომეები დავპატიჟე.

თითქმის გამგზავრებამდე ვიღებთ დავალებას ალტერის შესაქმნელად, ვასრულებთ, ყველაფერი რიგზეა. Alter გავიდა, clickhouse დადასტურდა. ჩვენ უკვე მივდივართ ბარში და გვწერენ, რომ არ არის საკმარისი მონაცემები. ჩვენ გამოვთვალეთ, რომ ყველაფერი საკმარისია. და წავიდნენ აღსანიშნავად.

პარასკევს რესტორანი ხმაურიანი იყო. სასმელი და საჭმელი რომ შევუკვეთეთ, დივანზე დავჯექით. მთელი ამ ხნის განმავლობაში, ჩემი ზარმაცი ნელ-ნელა სავსე იყო მესიჯებით. დაწერეს რაღაც მონაცემების ნაკლებობაზე. ვიფიქრე - დილა საღამოზე გონიერია. განსაკუთრებით დღეს.

თერთმეტზე ახლოს დაიწყეს ზარი. კომპანიის უფროსი იყო... „ალბათ გადავწყვიტე მილოცვა“, - გავიფიქრე ძალიან ყოყმანით და ტელეფონი ავიღე.

და მე გავიგე მსგავსი რამ: ”თქვენ გააფუჭეთ ჩვენი მონაცემები! მე გიხდი, მაგრამ არაფერი არ მუშაობს! თქვენ პასუხისმგებელი იყავით სარეზერვო ასლებზე და არ გაგიკეთებიათ არაფერი! გამოვასწოროთ!" - მხოლოდ კიდევ უფრო უხეში.

-იცი რა, გაიქეცი! დღეს ჩემი დაბადების დღეა და ახლა მე დავლევ და არ ჩავერევი თქვენს ივნისის ხელნაკეთი პროდუქტებით ჭუჭყისა და ჯოხებისგან!

ეს მე არ მითქვამს. სამაგიეროდ ლეპტოპი ამოვიღე და საქმეს შევუდექი.

არა, დავიბომბე, ჯოჯოხეთივით დავიბომბე! ჩატში ჩასხა კაუსტიკური „მე გითხარი“ - რადგან სარეზერვო, რომელიც საერთოდ არ იყო სარეზერვო, - რა თქმა უნდა, ვერაფერი დაზოგა.

მე და ბიჭებმა გავარკვიეთ, თუ როგორ უნდა შეწყვიტოს ჩაწერა ხელით და შევამოწმოთ ყველაფერი. ჩვენ რეალურად დავრწმუნდით, რომ ზოგიერთი მონაცემი არ იყო დაწერილი.

ჩვენ შევწყვიტეთ ჩაწერა და დავთვალეთ მოვლენების რაოდენობა, რომლებიც იქ იყო დღეში. მათ ატვირთეს მეტი მონაცემები, რომელთაგან მხოლოდ მესამედი არ იყო ჩაწერილი. სამი ნატეხი თითო 2 ასლით. თქვენ ჩასვით 100.000 სტრიქონი - 33.000 არ არის ჩაწერილი.

სრული დაბნეულობა იყო. ყველამ ერთმანეთს რიგრიგობით უთხრა: რიგრიგობით წასულიყვნენ: ლენია ჯერ იქ წავიდა, შემდეგ მე და კომპანიის დამფუძნებელი. მხოლოდ სერვისის სადგური, რომელიც შემოუერთდა, ცდილობდა გადაეტანა ჩვენი ყვირილი ზარები და მიმოწერა პრობლემის გადაჭრისკენ.

ვერავინ მიხვდა, რა ხდებოდა სინამდვილეში

მე და ბიჭები უბრალოდ გავბრაზდით, როდესაც მივხვდით, რომ ყველა მონაცემის მესამედი არა მხოლოდ არ იყო ჩაწერილი, არამედ დაიკარგა! აღმოჩნდა, რომ კომპანიაში შეკვეთა ასეთი იყო: ჩასმის შემდეგ მონაცემები უცვლელად წაიშალა, მოვლენები ნაწილებად იკარგებოდა. წარმოვიდგინე, როგორ გადააქცევდა სერგეი ამ ყველაფერს დაკარგულ რუბლებში.

ჩემი დაბადების დღეც სანაგვეში გადააგდეს. ბართან ვიჯექით და იდეებს ვაგენერირდით, ვცდილობდით ამოგვეხსნა თავსატეხი, რომელიც დაგვეყარა. კლიქჰაუსის დაცემის მიზეზი აშკარა არ იყო. შესაძლოა, ეს არის ქსელი, შესაძლოა, ეს არის Linux პარამეტრები. დიახ, რაც გინდათ, საკმარისი ჰიპოთეზა იყო.

მე არ მიმიღია დეველოპერის ფიცი, მაგრამ არაკეთილსინდისიერი იყო ბიჭების მიტოვება ხაზის მეორე ბოლოში - მაშინაც კი, თუ ისინი ყველაფერს გვაბრალებდნენ. 99%-ით დარწმუნებული ვიყავი, რომ პრობლემა ჩვენს გადაწყვეტილებებში არ იყო და არა ჩვენს მხარეში. 1%-იანი შანსი იმისა, რომ ჩვენ დავშალეთ, შფოთვით იწვოდა. მაგრამ არ აქვს მნიშვნელობა რომელ მხარეს იყო პრობლემა, ის უნდა გამოსწორებულიყო. მომხმარებლების დატოვება, არ აქვს მნიშვნელობა ვინ არიან ისინი, მონაცემთა ასეთი საშინელი გაჟონვით ძალიან სასტიკია.

დილის სამ საათამდე რესტორნის მაგიდასთან ვმუშაობდით. დავამატეთ მოვლენები, ჩასვით აირჩიეთ და წავედით ხარვეზების შესავსებად. როდესაც თქვენ აფუჭებთ მონაცემებს, ასე აკეთებთ: იღებთ წინა დღეების საშუალო მონაცემებს და ჩადებთ მათ ხრახნიანში.

ღამის სამის შემდეგ მე და ჩემი მეგობარი ჩემს სახლში წავედით და ლუდი შევუკვეთეთ ალკოჰოლის ბაზრობიდან. ლეპტოპთან ვიჯექი და Clickhouse პრობლემებით, მეგობარი რაღაცას მეუბნებოდა. შედეგად, ერთი საათის შემდეგ მას ეწყინა, რომ ვმუშაობდი და ლუდს არ ვსვამდი მასთან და წავიდა. კლასიკური - მე ვიყავი Devops-ის მეგობარი.

დილის 6 საათისთვის ისევ შევქმენი ცხრილი და მონაცემები დაიწყო. ყველაფერი მუშაობდა დანაკარგების გარეშე.

მაშინ რთული იყო. ყველა ერთმანეთს ადანაშაულებდა მონაცემთა დაკარგვაში. ახალი შეცდომა რომ მომხდარიყო, დარწმუნებული ვარ, რომ სროლა იქნებოდა

ამ ჩხუბებში ჩვენ საბოლოოდ დავიწყეთ გაგება - კომპანიას ეგონა, რომ ჩვენ ვიყავით ბიჭები, რომლებიც მუშაობენ მონაცემებთან და აკონტროლებენ ცხრილების სტრუქტურას. მათ აურიეს ადმინები დილერებთან. და მოვიდნენ, რომ გვეკითხა რაღაც განსხვავებული ადმინებისაგან.

მათი მთავარი საჩივარი არის - რა ჯანდაბა, თქვენ პასუხისმგებელი იყავით სარეზერვო ასლებზე და არ გააკეთეთ ისინი სწორად, თქვენ განაგრძეთ მონაცემთა ფლანგვა. და ეს ყველაფერი გადახვევის ხალიჩებით.

სამართლიანობა მინდოდა. მე ამოვთხარე მიმოწერა და დავურთე ყველას სკრინშოტი, სადაც ლეონიდი მთელი ძალით აიძულებს მათ გააკეთონ ის სარეზერვო, რომელიც გაკეთდა. ჩემი სატელეფონო ზარის შემდეგ მათმა სერვის სადგურმა დაგვიჭირა. მოგვიანებით ლენიამ დანაშაული აღიარა.

კომპანიის ხელმძღვანელს, პირიქით, საკუთარი ხალხის დადანაშაულება არ სურდა. სკრინშოტებმა და სიტყვებმა მასზე არანაირი გავლენა არ მოახდინა. მას სჯეროდა, რომ რადგან აქ ექსპერტები ვიყავით, ყველა უნდა დაგვერწმუნებინა და დაჟინებით გვეთქვა ჩვენი გადაწყვეტილება. როგორც ჩანს, ჩვენი ამოცანა იყო ვასწავლოთ ლენიას და, უფრო მეტიც, მისი გვერდის ავლით, რომელიც დაინიშნა პროექტის მენეჯერად, მივსულიყავით მთავარზე და პირადად გადაგვეტანა ყველა ჩვენი ეჭვი სარეზერვო კონცეფციის შესახებ.

ჩატი იჟღინთებოდა სიძულვილით, ფარული და დაუფარავი აგრესიით. არ ვიცოდი რა მექნა. ყველაფერი ჩიხში შევიდა. შემდეგ კი უმარტივესი გზა მირჩიეს - მენეჯერს პირადი მესიჯი მივწერო და მასთან შეხვედრა მოვაწყო. ვასია, რეალურ ცხოვრებაში ადამიანები არ არიან ისეთი სწრაფი, როგორც ჩატში. უფროსმა ჩემს შეტყობინებას უპასუხა: მოდი, კითხვა არაა.

ეს იყო ყველაზე საშინელი შეხვედრა ჩემს კარიერაში. ჩემი მოკავშირე კლიენტისგან - STO - ვერ გამონახა დრო. შეხვედრაზე უფროსთან და ლენასთან მივედი.

ისევ და ისევ ვიმეორებდი ჩვენს შესაძლო დიალოგს ჩემს თავში. ძალიან ადრე მოვახერხე მისვლა, ნახევარი საათით ადრე. ნერვიულობა დამეწყო, 10 ღერი სიგარეტი მოვწიე, მივხვდი, ესე იგი, მარტო ვგიჟდები. მე ვერ შევძლებ მათ დარწმუნებას. და ლიფტში შეაბიჯა.

ადგომისას ისე ძლიერად დაარტყა სანთებელას, რომ გატყდა.

შედეგად, ლენია შეხვედრაზე არ იმყოფებოდა. და ყველაფერზე დიდი საუბარი გვქონდა უფროსთან! სერგეიმ თავისი ტკივილი მითხრა. მას არ სურდა "Clickhouse"-ის ავტომატიზაცია - მას სურდა "მოთხოვნების მუშაობა".

მე არ მინახავს თხა, მაგრამ კარგი ბიჭი, თავისი საქმით შეწუხებული, 24/7 სამსახურში ჩაძირული. ჩატი ხშირად გვიხატავს ბოროტმოქმედებს, ნაძირლებს და სულელ ადამიანებს. მაგრამ ცხოვრებაში ეს შენნაირი ხალხია.

სერგეის არ სჭირდებოდა რამდენიმე დევოპი დაქირავებისთვის. პრობლემა, რომელიც მათ ჰქონდათ, გაცილებით დიდი აღმოჩნდა.

მე ვთქვი, რომ შემეძლო მისი პრობლემების მოგვარება - ეს უბრალოდ სრულიად განსხვავებული სამუშაოა და მყავს მეგობარი, რომელიც მუშაობს ამისთვის. თავიდანვე რომ გვცოდნოდა, რომ ეს მათთვის გარიგება იყო, ბევრს მოვერიდებოდით. გვიანია, მაგრამ მივხვდით, რომ პრობლემა ინფრასტრუქტურაში კი არა, მონაცემთა უაზრო მენეჯმენტშია.

ხელი ჩავკიდეთ, მათ ხელფასი ორნახევარჯერ გაგვიზარდეს, ოღონდ იმ პირობით, რომ მათი მონაცემებით და კლიკჰაუსის აბსოლუტური არეულობა ჩემთვის ავიღო. ლიფტში მე დავუკავშირდი იმავე DI ბიჭს მაქსს და დავაკავშირე იგი სამუშაოსთან. საჭირო იყო მთელი მტევნის ნიჩბები.

მიღებულ პროექტში ბევრი ნაგავი იყო. დაწყებული აღნიშნული „სარეზერვოდან“. აღმოჩნდა, რომ იგივე „სარეზერვო“ კლასტერი არ იყო იზოლირებული. მათ ყველაფერი გამოსცადეს მასზე, ხანდახან აწარმოებდნენ კიდეც.

ჩვენმა შიდა დეველოპერებმა შექმნეს საკუთარი პირადი მონაცემთა ჩასმა. ის ასე მუშაობდა: მან აკრიფა ფაილები, გაუშვა სკრიპტი და მონაცემები აერთიანებდა ცხრილში. მაგრამ მთავარი პრობლემა ის იყო, რომ დიდი რაოდენობით მონაცემები მიიღეს ერთი მარტივი მოთხოვნისთვის. მოთხოვნა ყოველ წამს უერთდებოდა მონაცემებს. ყველაფერი ერთი ნომრის გულისთვის - თანხა დღეში.

შიდა დეველოპერებმა არასწორად გამოიყენეს ანალიტიკური ინსტრუმენტი. წავიდნენ გრაფანაში და დაწერეს თავიანთი სამეფო თხოვნა. მან ატვირთა მონაცემები 2 კვირის განმავლობაში. მშვენიერი გრაფიკა გამოვიდა. მაგრამ სინამდვილეში, მონაცემთა მოთხოვნა ყოველ 10 წამში იყო. ეს ყველაფერი რიგში გროვდებოდა, რადგან Clickhouse უბრალოდ არ ამოიღო დამუშავება. სწორედ აქ იმალებოდა მთავარი მიზეზი. გრაფანაში არაფერი მუშაობდა, თხოვნები რიგში იდგა და ძველი, შეუსაბამო მონაცემები მუდმივად მოდიოდა.

ჩვენ ხელახლა დავაყენეთ კლასტერი, ხელახლა განვახორციელეთ ჩასმა. შიდა დეველოპერებმა ხელახლა დაწერეს თავიანთი „ინსერტერი“ და მან დაიწყო მონაცემების სწორად გაზიარება.

მაქსმა ჩაატარა ინფრასტრუქტურის სრული აუდიტი. მან ჩამოაყალიბა სრულფასოვან ბექენდზე გადასვლის გეგმა. მაგრამ ეს არ შეეფერებოდა კომპანიას. ისინი მაქსისგან ელოდნენ ჯადოსნურ საიდუმლოს, რომელიც საშუალებას მისცემდა ემუშავათ ძველებურად, მაგრამ მხოლოდ ეფექტურად. ლენია ჯერ კიდევ ხელმძღვანელობდა პროექტს და მან არაფერი ისწავლა. იმ ყველაფრისგან, რაც შესთავაზეს, მან კვლავ აირჩია თავისი ალტერნატივა. როგორც ყოველთვის, ეს იყო ყველაზე შერჩევითი... თამამი გადაწყვეტილება. ლენია თვლიდა, რომ მის კომპანიას განსაკუთრებული გზა ჰქონდა. ეკლიანი და აისბერგებით სავსე.

სინამდვილეში, სწორედ აქ დავშორდით - გავაკეთეთ ის, რაც შეგვეძლო.

ამ ისტორიის ცოდნითა და სიბრძნით სავსეებმა, ჩვენ გავხსენით საკუთარი ბიზნესი და ჩამოვაყალიბეთ რამდენიმე პრინციპი. ჩვენ არასდროს დავიწყებთ მუშაობას ისე, როგორც მაშინ.

დიჯეი მაქსი ამ პროექტის შემდეგ შემოგვიერთდა და ჩვენ კვლავაც მშვენივრად ვმუშაობთ ერთად. Clickhouse-ის საქმემ მასწავლა, როგორ ჩავატარო სრული და საფუძვლიანი ინფრასტრუქტურის აუდიტი მუშაობის დაწყებამდე. ჩვენ გვესმის, როგორ მუშაობს ყველაფერი და მხოლოდ ამის შემდეგ ვიღებთ დავალებებს. და თუ ადრე სასწრაფოდ ვიჩქარებდით ინფრასტრუქტურის შენარჩუნებას, ახლა ჯერ ვაკეთებთ ერთჯერად პროექტს, რომელიც გვეხმარება გავიგოთ, როგორ მოვიყვანოთ იგი სამუშაო მდგომარეობაში.

დიახ, ჩვენ თავიდან ავიცილებთ პროექტებს უხეში ინფრასტრუქტურით. თუნდაც ბევრი ფულისთვის, თუნდაც მეგობრობის გამო. წამგებიანია ავადმყოფური პროექტების გაშვება. ამის გაცნობიერება დაგვეხმარა ზრდაში. ან ინფრასტრუქტურის მოწესრიგების ერთჯერადი პროექტი და შემდეგ ტექნიკური მომსახურების კონტრაქტი, ან უბრალოდ მივფრინავთ. კიდევ ერთი აისბერგი.

PS ასე რომ, თუ თქვენ გაქვთ შეკითხვები თქვენი ინფრასტრუქტურის შესახებ, მოგერიდებათ დატოვოთ მოთხოვნა.

თვეში 2 უფასო აუდიტი გვაქვს, შესაძლოა თქვენი პროექტიც იყოს ერთ-ერთი მათგანი.

წყარო: www.habr.com