ჩვენ ვავითარებთ ყველაზე მოსახერხებელ ინტერფეისს მსოფლიოში* ჟურნალების სანახავად

თუ თქვენ ოდესმე გამოგიყენებიათ ვებ ინტერფეისები ჟურნალების სანახავად, მაშინ ალბათ შეამჩნიეთ, როგორ, როგორც წესი, ეს ინტერფეისები რთული და (ხშირად) არც თუ ისე მოსახერხებელი და საპასუხოა. ზოგს შეგიძლიათ შეეგუოთ, ზოგს აბსოლუტურად საშინელი, მაგრამ მეჩვენება, რომ ყველა პრობლემის მიზეზი არის ის, რომ ჩვენ არასწორად მივუდგებით ჟურნალების ნახვის ამოცანას: ვცდილობთ შევქმნათ ვებ ინტერფეისი, სადაც CLI (ბრძანების ხაზის ინტერფეისი) მუშაობს უკეთესად. მე პირადად ძალიან კომფორტულად ვმუშაობ tail-თან, grep-თან, awk-თან და სხვებთან და, შესაბამისად, ჩემთვის იდეალური ინტერფეისი ლოგებთან მუშაობისთვის იქნება tail-ისა და grep-ის მსგავსი, მაგრამ რომელიც ასევე შეიძლება გამოყენებულ იქნას მრავალი სერვერიდან მოსულ ჟურნალების წასაკითხად. ეს, რა თქმა უნდა, წაიკითხეთ ClickHouse-დან!

*ჰაბრა მომხმარებლის პირადი აზრის მიხედვით მაგარი ხარ

გაიცანით logscli

მე არ მოვიფიქრე სახელი ჩემი ინტერფეისისთვის და, მართალი გითხრათ, ის უფრო პროტოტიპის სახით არსებობს, მაგრამ თუ გსურთ დაუყოვნებლივ ნახოთ საწყისი კოდი, მაშინ მოგესალმებათ: https://github.com/YuriyNasretdinov/logscli (შერჩეული Go კოდის 350 სტრიქონი).

შესაძლებლობები

ჩემი მიზანი იყო შემექმნა ინტერფეისი, რომელიც ნაცნობი ჩანდა მათთვის, ვინც მიჩვეულია კუდს/გრეპს, ანუ მხარს ვუჭერდი შემდეგ საკითხებს:

1. იხილეთ ყველა ჟურნალი, ფილტრაციის გარეშე.
2. დატოვე ხაზები, რომლებიც შეიცავს ფიქსირებულ ქვესტრინგს (დროშა -F у grep).
3. დატოვეთ ხაზები, რომლებიც შეესაბამება რეგულარულ გამონათქვამს (დროშა -E у grep).
4. ნაგულისხმევად, ნახვა ხდება საპირისპირო ქრონოლოგიური თანმიმდევრობით, რადგან უახლესი ჟურნალები, როგორც წესი, პირველ რიგში საინტერესოა.
5. კონტექსტის ჩვენება თითოეული ხაზის გვერდით (პარამეტრები -A, -B и -C у grep, N სტრიქონის დაბეჭდვა თითოეული შესატყვისი ხაზის წინ, შემდეგ და გარშემო, შესაბამისად).
6. იხილეთ შემომავალი ჟურნალები რეალურ დროში, გაფილტვრით ან მის გარეშე (არსებითად tail -f | grep).
7. ინტერფეისი უნდა იყოს თავსებადი less, head, tail და სხვები - ნაგულისხმევად, შედეგები უნდა დაბრუნდეს მათი რაოდენობის შეზღუდვის გარეშე; ხაზები იბეჭდება ნაკადად მანამ, სანამ მომხმარებელი დაინტერესებულია მათი მიღებით; სიგნალი SIGPIPE უნდა ჩუმად შეწყვიტოს ჟურნალის ნაკადი, ისევე როგორც ამას აკეთებენ tail, grep და UNIX-ის სხვა საშუალებები.

Реализация

მე ვივარაუდებ, რომ თქვენ უკვე იცით როგორ მიაწოდოთ ჟურნალები ClickHouse-ში. თუ არა, გირჩევთ სცადოთ LSD и კნუტების სახლიდა ეს სტატია ჟურნალის მიწოდების შესახებ.

ჯერ უნდა გადაწყვიტოთ საბაზისო სქემა. იმის გამო, რომ თქვენ ჩვეულებრივ გსურთ მიიღოთ ჟურნალები დალაგებული დროის მიხედვით, ლოგიკურია მათი შენახვა ამ გზით. თუ ჟურნალის მრავალი კატეგორიაა და ისინი ყველა ერთნაირი ტიპისაა, მაშინ შეგიძლიათ შექმნათ ჟურნალის კატეგორია, როგორც პირველადი გასაღების პირველი სვეტი - ეს საშუალებას მოგცემთ გქონდეთ ერთი ცხრილი რამდენიმეს ნაცვლად, რაც დიდი პლუსი იქნება, როდესაც ClickHouse-ში ჩასმა (მყარ დისკზე სერვერებზე რეკომენდებულია მონაცემების ჩასმა არა უმეტეს ~ 1 ჯერ წამში მთელი სერვერისთვის).

ანუ, ჩვენ გვჭირდება დაახლოებით შემდეგი ცხრილის სქემა:

CREATE TABLE logs(
    category LowCardinality(String), -- категория логов (опционально)
    time DateTime, -- время события
    millis UInt16, -- миллисекунды (могут быть и микросекунды, и т.д.): рекомендуется хранить, если событий много, чтобы было легче различать события между собой
    ..., -- ваши собственные поля, например имя сервера, уровень логирования, и так далее
    message String -- текст сообщения
) ENGINE=MergeTree()
ORDER BY (category, time, millis)

სამწუხაროდ, მე მაშინვე ვერ ვიპოვე ღია წყაროები რეალისტური ჟურნალებით, რომლებიც შემეძლო აეღო და გადმოვწერო, ამიტომ ამის ნაცვლად ავიღე ეს მაგალითი ამაზონის პროდუქტების მიმოხილვა 2015 წლამდე. რა თქმა უნდა, მათი სტრუქტურა არ არის ზუსტად იგივე, რაც ტექსტის ჟურნალების სტრუქტურას, მაგრამ საილუსტრაციოდ ეს არ არის მნიშვნელოვანი.

ინსტრუქციები ამაზონის მიმოხილვების ატვირთვისთვის ClickHouse-ზე

შევქმნათ ცხრილი:

CREATE TABLE amazon(
   review_date Date,
   time DateTime DEFAULT toDateTime(toUInt32(review_date) * 86400 + rand() % 86400),
   millis UInt16 DEFAULT rand() % 1000,
   marketplace LowCardinality(String),
   customer_id Int64,
   review_id String,
   product_id LowCardinality(String),
   product_parent Int64,
   product_title String,
   product_category LowCardinality(String),
   star_rating UInt8,
   helpful_votes UInt32,
   total_votes UInt32,
   vine FixedString(1),
   verified_purchase FixedString(1),
   review_headline String,
   review_body String
)
ENGINE=MergeTree()
ORDER BY (time, millis)
SETTINGS index_granularity=8192

ამაზონის მონაცემთა ბაზაში არის მხოლოდ განხილვის თარიღი, მაგრამ ზუსტი დრო არ არის, ასე რომ, მოდით შეავსოთ ეს მონაცემები რანდონით.

თქვენ არ გჭირდებათ ჩამოტვირთოთ ყველა tsv ფაილი და შემოიფარგლოთ პირველი ~ 10-20-ით, რათა მიიღოთ საკმაოდ დიდი მონაცემები, რომელიც არ ჯდება 16 GB ოპერატიული მეხსიერებაში. TSV ფაილების ასატვირთად გამოვიყენე შემდეგი ბრძანება:

for i in *.tsv; do
    echo $i;
    tail -n +2 $i | pv |
    clickhouse-client --input_format_allow_errors_ratio 0.5 --query='INSERT INTO amazon(marketplace,customer_id,review_id,product_id,product_parent,product_title,product_category,star_rating,helpful_votes,total_votes,vine,verified_purchase,review_headline,review_body,review_date) FORMAT TabSeparated'
done

სტანდარტულ მდგრად დისკზე (რომელიც არის HDD) Google Cloud-ში 1000 გბ ზომით (ეს ზომა ძირითადად იმიტომ ავიღე, რომ სიჩქარე ოდნავ მაღალი ყოფილიყო, თუმცა შესაძლოა საჭირო ზომის SSD უფრო იაფი ღირდა) ატვირთვა სიჩქარე იყო დაახლოებით ~ 75 მბ/წმ 4 ბირთვზე.

• უნდა გავაკეთო დაჯავშნა, რომ ვმუშაობ Google-ში, მაგრამ გამოვიყენე პირადი ანგარიში და ამ სტატიას არაფერი აქვს საერთო კომპანიაში ჩემს მუშაობასთან.

მე შევქმნი ყველა ილუსტრაციას ამ კონკრეტული მონაცემთა ნაკრებით, რადგან ეს ყველაფერი მქონდა ხელთ.

მონაცემთა სკანირების პროგრესის ჩვენება

ვინაიდან ClickHouse-ში ჩვენ გამოვიყენებთ სრულ სკანირებას მაგიდაზე ჟურნალებით, და ამ ოპერაციას შეიძლება დასჭირდეს მნიშვნელოვანი დრო და შეიძლება არ გამოიღოს შედეგი დიდი ხნის განმავლობაში, თუ რამდენიმე შესატყვისი იქნება ნაპოვნი, მიზანშეწონილია აჩვენოთ მოთხოვნის პროგრესი შედეგის პირველი სტრიქონების მიღებამდე. ამისათვის, HTTP ინტერფეისში არის პარამეტრი, რომელიც საშუალებას გაძლევთ გაგზავნოთ პროგრესი HTTP სათაურებში: send_progress_in_http_headers=1. სამწუხაროდ, სტანდარტული Go ბიბლიოთეკა ვერ წაიკითხავს სათაურებს, როგორც ისინი მიიღება, მაგრამ HTTP 1.0 ინტერფეისი (არ უნდა აგვერიოს 1.1-ში!) მხარდაჭერილია ClickHouse-ის მიერ, ასე რომ თქვენ შეგიძლიათ გახსნათ დაუმუშავებელი TCP კავშირი ClickHouse-თან და გაგზავნოთ იქ. GET /?query=... HTTP/1.0nn და მიიღეთ პასუხის სათაურები და ტექსტი ყოველგვარი გაქცევის ან დაშიფვრის გარეშე, ასე რომ, ამ შემთხვევაში ჩვენ არც კი გვჭირდება სტანდარტული ბიბლიოთეკის გამოყენება.

ჟურნალების სტრიმინგი ClickHouse-დან

ClickHouse-ს აქვს ოპტიმიზაცია შეკითხვებისთვის ORDER BY-ით შედარებით დიდი ხნის განმავლობაში (2019 წლიდან?), ასე რომ, შეკითხვა, როგორიცაა

SELECT time, millis, message
FROM logs
WHERE message LIKE '%something%'
ORDER BY time DESC, millis DESC

ის დაუყოვნებლივ დაიწყებს ხაზების დაბრუნებას, რომლებსაც აქვთ ქვესტრიქონი "რაღაც" მათ შეტყობინებაში, სკანირების დასრულებამდე მოლოდინის გარეშე.

ასევე, ძალიან მოსახერხებელი იქნება, თუ თავად ClickHouse-მა გააუქმა მოთხოვნა, როდესაც მასთან კავშირი დაიხურა, მაგრამ ეს არ არის ნაგულისხმევი ქცევა. მოთხოვნის ავტომატური გაუქმება შეიძლება ჩართოთ ოფციის გამოყენებით cancel_http_readonly_queries_on_client_close=1.

SIGPIPE-ის სწორი მართვა Go-ში

როდესაც თქვენ შეასრულებთ, თქვით, ბრძანება some_cmd | head -n 10, ზუსტად როგორ ბრძანება some_cmd აჩერებს შესრულებას, როდესაც head გამოაკლო 10 სტრიქონი? პასუხი მარტივია: როდის head მთავრდება, მილი იხურება და some_cmd ბრძანების stdout იწყებს მითითებას, პირობითად, "არსად". Როდესაც some_cmd ცდილობს ჩაწეროს დახურულ მილზე, ის იღებს SIGPIPE სიგნალს, რომელიც ჩუმად წყვეტს პროგრამას ნაგულისხმევად.

Go-ში ეს ასევე ხდება ნაგულისხმევად, მაგრამ SIGPIPE სიგნალის დამმუშავებელი ასევე ბეჭდავს "სიგნალს: SIGPIPE" ან მსგავს შეტყობინებას ბოლოს და ამ შეტყობინების გასასუფთავებლად ჩვენ უბრალოდ უნდა მოვიქცეთ SIGPIPE ისე როგორც ჩვენ გვინდა, ანუ უბრალოდ ჩუმად. გასასვლელი:

ch := make(chan os.Signal)
signal.Notify(ch, syscall.SIGPIPE)
go func() {
    <-ch
    os.Exit(0)
}()

შეტყობინების კონტექსტის ჩვენება

ხშირად გსურთ იხილოთ კონტექსტი, რომელშიც მოხდა გარკვეული შეცდომა (მაგალითად, რომელმა მოთხოვნამ გამოიწვია პანიკა, ან რა დაკავშირებული პრობლემები იყო ხილული ავარიამდე) და grep ეს კეთდება -A, -B და -C ოფციების გამოყენებით, რომლებიც აჩვენებენ ხაზების მითითებულ რაოდენობას შეტყობინების შემდეგ, წინ და გარშემო, შესაბამისად.

სამწუხაროდ, მე ვერ ვიპოვე მარტივი გზა, რომ გავაკეთო იგივე ClickHouse-ში, ამიტომ კონტექსტის საჩვენებლად, ასეთი დამატებითი მოთხოვნა იგზავნება შედეგის თითოეულ სტრიქონზე (დეტალები დამოკიდებულია დახარისხებაზე და კონტექსტის ჩვენებაზე ადრე. ან შემდეგ):

SELECT time,millis,review_body FROM amazon
WHERE (time = 'ВРЕМЯ_СОБЫТИЯ' AND millis < МИЛЛИСЕКУНДЫ_СОБЫТИЯ) OR (time < 'ВРЕМЯ_СОБЫТИЯ')
ORDER BY time DESC, millis DESC
LIMIT КОЛИЧЕСТВО_СТРОК_КОНТЕКСТА
SETTINGS max_threads=1

ვინაიდან მოთხოვნა იგზავნება თითქმის მაშინვე მას შემდეგ, რაც ClickHouse დააბრუნებს შესაბამის ხაზს, ის მთავრდება ქეშში და ზოგადად მოთხოვნა საკმაოდ სწრაფად სრულდება და მოიხმარს მცირე პროცესორს (როგორც წესი, მოთხოვნას დაახლოებით ~ 6 ms სჭირდება ჩემს ვირტუალურ მანქანაზე).

აჩვენეთ ახალი შეტყობინებები რეალურ დროში

შემომავალი შეტყობინებების ჩვენების მიზნით (თითქმის) რეალურ დროში, ჩვენ უბრალოდ ვასრულებთ მოთხოვნას ყოველ რამდენიმე წამში ერთხელ, გვახსოვს ბოლო დროის შტამპი, რომელიც ადრე შეგვხვდა.

ბრძანების მაგალითები

როგორ გამოიყურება ტიპიური logscli ბრძანებები პრაქტიკაში?

თუ ჩამოტვირთეთ ამაზონის მონაცემთა ნაკრები, რომელიც სტატიის დასაწყისში აღვნიშნე, შეგიძლიათ შემდეგი ბრძანებების გაშვება:

# Показать строки, где встречается слово walmart
$ logscli -F 'walmart' | less

# Показать самые свежие 10 строк, где встречается "terrible"
$ logscli -F terrible -limit 10

# То же самое без -limit:
$ logscli -F terrible | head -n 10

# Показать все строки, подходящие под /times [0-9]/, написанные для vine и у которых высокий рейтинг
$ logscli -E 'times [0-9]' -where="vine='Y' AND star_rating>4" | less

# Показать все строки со словом "panic" и 3 строки контекста вокруг
$ logscli -F 'panic' -C 3 | less

# Непрерывно показывать новые строки со словом "5-star"
$ logscli -F '5-star' -tailf

ლიტერატურა

კომუნალური კოდი (დოკუმენტაციის გარეშე) ხელმისაწვდომია github-ზე https://github.com/YuriyNasretdinov/logscli. მოხარული ვიქნები მოვისმინო თქვენი მოსაზრებები ჩემს იდეაზე კონსოლის ინტერფეისის შესახებ, რომელიც ათვალიერებს ჟურნალებს ClickHouse-ზე დაყრდნობით.

წყარო: www.habr.com