🥇हम लॉग देखने के लिए दुनिया में सबसे सुविधाजनक इंटरफ़ेस विकसित कर रहे हैं प्रोहोस्टर

यदि आपने कभी लॉग देखने के लिए वेब इंटरफेस का उपयोग किया है, तो आपने शायद देखा होगा कि कैसे, एक नियम के रूप में, ये इंटरफेस बोझिल होते हैं और (अक्सर) बहुत सुविधाजनक और प्रतिक्रियाशील नहीं होते हैं। कुछ की आपको आदत हो सकती है, कुछ बिल्कुल भयानक हैं, लेकिन मुझे ऐसा लगता है कि सभी समस्याओं का कारण यह है कि हम लॉग देखने के कार्य को गलत तरीके से करते हैं: हम एक वेब इंटरफ़ेस बनाने का प्रयास करते हैं जहां सीएलआई (कमांड लाइन इंटरफ़ेस) बेहतर काम करता है. मैं व्यक्तिगत रूप से टेल, ग्रेप, ऑक और अन्य के साथ काम करने में बहुत सहज हूं, और इसलिए मेरे लिए लॉग के साथ काम करने के लिए आदर्श इंटरफ़ेस टेल और ग्रेप के समान होगा, लेकिन इसका उपयोग कई सर्वरों से आए लॉग को पढ़ने के लिए भी किया जा सकता है। अर्थात, उन्हें ClickHouse से पढ़ें!

*हबरा उपयोगकर्ता की निजी राय के अनुसार आपने धमाल मचाया

लॉग्सक्ली से मिलें

मैं अपने इंटरफ़ेस के लिए कोई नाम लेकर नहीं आया, और ईमानदारी से कहूं तो यह एक प्रोटोटाइप के रूप में मौजूद है, लेकिन यदि आप तुरंत स्रोत कोड देखना चाहते हैं, तो आपका स्वागत है: https://github.com/YuriyNasretdinov/logscli (चयनित गो कोड की 350 पंक्तियाँ)।

क्षमताओं

मेरा लक्ष्य एक ऐसा इंटरफ़ेस बनाना था जो उन लोगों को परिचित लगे जो टेल/ग्रेप के आदी हैं, यानी निम्नलिखित चीज़ों का समर्थन करने के लिए:

बिना फ़िल्टर किए सभी लॉग देखें.
एक निश्चित सबस्ट्रिंग (ध्वज) वाली पंक्तियाँ छोड़ें -F у grep).
ऐसी पंक्तियाँ छोड़ें जो रेगुलर एक्सप्रेशन (ध्वज) से मेल खाती हों -E у grep).
डिफ़ॉल्ट रूप से, देखना विपरीत कालानुक्रमिक क्रम में होता है, क्योंकि सबसे हालिया लॉग आमतौर पर सबसे पहले रुचि रखते हैं।
प्रत्येक पंक्ति के आगे संदर्भ दिखाएँ (विकल्प)। -A, -B и -C у grep, क्रमशः प्रत्येक मिलान पंक्ति से पहले, बाद में और उसके आसपास एन लाइनें प्रिंट करना)।
फ़िल्टरिंग के साथ या उसके बिना (अनिवार्य रूप से) आने वाले लॉग को वास्तविक समय में देखें tail -f | grep).
इंटरफ़ेस के साथ संगत होना चाहिए less, head, tail और अन्य - डिफ़ॉल्ट रूप से, परिणाम उनकी संख्या पर प्रतिबंध के बिना लौटाए जाने चाहिए; जब तक उपयोगकर्ता उन्हें प्राप्त करने में रुचि रखता है तब तक लाइनें एक स्ट्रीम के रूप में मुद्रित होती हैं; संकेत SIGPIPE लॉग स्ट्रीमिंग को चुपचाप बाधित करना चाहिए, जैसे वे करते हैं tail, grep और अन्य UNIX उपयोगिताएँ।

कार्यान्वयन

मैं मान लूंगा कि आप पहले से ही जानते हैं कि ClickHouse पर लॉग कैसे वितरित करें। यदि नहीं, तो मैं इसे आज़माने की सलाह देता हूँ एलएसडी и बिल्ली का बच्चाघरऔर यह लेख लॉग डिलीवरी के बारे में है.

सबसे पहले आपको आधार योजना पर निर्णय लेना होगा। चूँकि आप आमतौर पर समय के अनुसार क्रमबद्ध लॉग प्राप्त करना चाहते हैं, इसलिए उन्हें इस तरह संग्रहीत करना तर्कसंगत लगता है। यदि कई लॉग श्रेणियां हैं और वे सभी एक ही प्रकार की हैं, तो आप प्राथमिक कुंजी के पहले कॉलम के रूप में एक लॉग श्रेणी बना सकते हैं - इससे आपको कई के बजाय एक टेबल रखने की अनुमति मिल जाएगी, जो एक बड़ा प्लस होगा जब ClickHouse में डालना (हार्ड ड्राइव वाले सर्वर पर, प्रति सेकंड ~1 बार से अधिक डेटा डालने की अनुशंसा नहीं की जाती है) संपूर्ण सर्वर के लिए).

अर्थात्, हमें लगभग निम्नलिखित तालिका योजना की आवश्यकता है:

CREATE TABLE logs(
    category LowCardinality(String), -- категория логов (опционально)
    time DateTime, -- время события
    millis UInt16, -- миллисекунды (могут быть и микросекунды, и т.д.): рекомендуется хранить, если событий много, чтобы было легче различать события между собой
    ..., -- ваши собственные поля, например имя сервера, уровень логирования, и так далее
    message String -- текст сообщения
) ENGINE=MergeTree()
ORDER BY (category, time, millis)

दुर्भाग्य से, मुझे तुरंत यथार्थवादी लॉग वाला कोई खुला स्रोत नहीं मिला जिसे मैं पकड़ सकूं और डाउनलोड कर सकूं, इसलिए मैंने इसे एक उदाहरण के रूप में लिया 2015 से पहले अमेज़न के उत्पादों की समीक्षाएँ. बेशक, उनकी संरचना बिल्कुल टेक्स्ट लॉग के समान नहीं है, लेकिन चित्रण उद्देश्यों के लिए यह महत्वपूर्ण नहीं है।

Amazon समीक्षाओं को ClickHouse पर अपलोड करने के निर्देश

आइए एक तालिका बनाएं:

CREATE TABLE amazon(
   review_date Date,
   time DateTime DEFAULT toDateTime(toUInt32(review_date) * 86400 + rand() % 86400),
   millis UInt16 DEFAULT rand() % 1000,
   marketplace LowCardinality(String),
   customer_id Int64,
   review_id String,
   product_id LowCardinality(String),
   product_parent Int64,
   product_title String,
   product_category LowCardinality(String),
   star_rating UInt8,
   helpful_votes UInt32,
   total_votes UInt32,
   vine FixedString(1),
   verified_purchase FixedString(1),
   review_headline String,
   review_body String
)
ENGINE=MergeTree()
ORDER BY (time, millis)
SETTINGS index_granularity=8192

अमेज़ॅन डेटासेट में समीक्षा के लिए केवल एक तारीख है, लेकिन कोई सटीक समय नहीं है, तो आइए इस डेटा को रैंडन से भरें।

आपको डेटा का एक बड़ा सेट प्राप्त करने के लिए सभी टीएसवी फ़ाइलों को डाउनलोड करने और खुद को पहले ~ 10-20 तक सीमित रखने की ज़रूरत नहीं है जो 16 जीबी रैम में फिट नहीं होगा। टीएसवी फ़ाइलें अपलोड करने के लिए मैंने निम्नलिखित कमांड का उपयोग किया:

for i in *.tsv; do
    echo $i;
    tail -n +2 $i | pv |
    clickhouse-client --input_format_allow_errors_ratio 0.5 --query='INSERT INTO amazon(marketplace,customer_id,review_id,product_id,product_parent,product_title,product_category,star_rating,helpful_votes,total_votes,vine,verified_purchase,review_headline,review_body,review_date) FORMAT TabSeparated'
done

1000 जीबी आकार के साथ Google क्लाउड में एक मानक पर्सिस्टेंट डिस्क (जो एक एचडीडी है) पर अपलोड करें (मैंने यह आकार मुख्य रूप से इसलिए लिया ताकि गति थोड़ी अधिक हो, हालांकि शायद आवश्यक आकार का एसएसडी सस्ता होता) 75 कोर पर गति लगभग ~ 4 एमबी/सेकंड थी।

मुझे आरक्षण देना होगा कि मैं Google में काम करता हूं, लेकिन मैंने एक व्यक्तिगत खाते का उपयोग किया है और इस लेख का कंपनी में मेरे काम से कोई लेना-देना नहीं है

मैं इस विशेष डेटासेट के साथ सभी चित्र तैयार करूंगा, क्योंकि मेरे पास यही सब कुछ था।

डेटा स्कैनिंग प्रगति दिखाएं

चूँकि ClickHouse में हम लॉग के साथ एक टेबल पर पूर्ण स्कैन का उपयोग करेंगे, और इस ऑपरेशन में काफी समय लग सकता है और यदि कुछ मिलान पाए जाते हैं तो लंबे समय तक कोई परिणाम नहीं मिल सकता है, इसलिए यह सलाह दी जाती है कि आप इसे दिखाने में सक्षम हों परिणाम वाली पहली पंक्तियाँ प्राप्त होने तक क्वेरी की प्रगति। ऐसा करने के लिए, HTTP इंटरफ़ेस में एक पैरामीटर है जो आपको HTTP हेडर में प्रगति भेजने की अनुमति देता है: send_progress_in_http_headers=1. दुर्भाग्य से, मानक गो लाइब्रेरी हेडर को प्राप्त होते ही नहीं पढ़ सकती है, लेकिन HTTP 1.0 इंटरफ़ेस (1.1 के साथ भ्रमित न हों!) ClickHouse द्वारा समर्थित है, इसलिए आप ClickHouse के लिए एक कच्चा टीसीपी कनेक्शन खोल सकते हैं और इसे वहां भेज सकते हैं GET /?query=... HTTP/1.0nn और बिना किसी एस्केपिंग या एन्क्रिप्शन के प्रतिक्रिया हेडर और बॉडी प्राप्त करते हैं, इसलिए इस मामले में हमें मानक लाइब्रेरी का उपयोग करने की भी आवश्यकता नहीं है।

ClickHouse से स्ट्रीमिंग लॉग

ClickHouse ने अपेक्षाकृत लंबे समय (2019 से?) के लिए ORDER BY वाले प्रश्नों के लिए अनुकूलन किया है, इसलिए एक प्रश्न

SELECT time, millis, message
FROM logs
WHERE message LIKE '%something%'
ORDER BY time DESC, millis DESC

यह तुरंत उन पंक्तियों को लौटाना शुरू कर देगा जिनके संदेश में सबस्ट्रिंग "कुछ" है, स्कैन समाप्त होने की प्रतीक्षा किए बिना।

साथ ही, यह बहुत सुविधाजनक होगा यदि ClickHouse ने कनेक्शन बंद होने पर स्वयं अनुरोध रद्द कर दिया, लेकिन यह डिफ़ॉल्ट व्यवहार नहीं है। विकल्प का उपयोग करके स्वचालित अनुरोध रद्दीकरण सक्षम किया जा सकता है cancel_http_readonly_queries_on_client_close=1.

गो में SIGPIPE का सही संचालन

जब आप निष्पादित करते हैं, तो कहें, आदेश some_cmd | head -n 10, बिल्कुल कैसे आदेश some_cmd जब निष्पादन बंद हो जाता है head 10 पंक्तियाँ घटाईं? उत्तर सरल है: कब head समाप्त होता है, पाइप बंद हो जाता है, और some_cmd कमांड का स्टडआउट, सशर्त रूप से, "कहीं नहीं" इंगित करना शुरू कर देता है। कब some_cmd एक बंद पाइप पर लिखने का प्रयास करता है, इसे एक SIGPIPE सिग्नल प्राप्त होता है, जो डिफ़ॉल्ट रूप से प्रोग्राम को चुपचाप समाप्त कर देता है.

गो में यह डिफ़ॉल्ट रूप से भी होता है, लेकिन SIGPIPE सिग्नल हैंडलर अंत में "सिग्नल: SIGPIPE" या एक समान संदेश भी प्रिंट करता है, और इस संदेश को साफ़ करने के लिए हमें बस SIGPIPE को अपने इच्छित तरीके से संभालना होगा, यानी बस चुपचाप बाहर निकलना:

ch := make(chan os.Signal)
signal.Notify(ch, syscall.SIGPIPE)
go func() {
    <-ch
    os.Exit(0)
}()

संदेश संदर्भ दिखाएँ

अक्सर आप उस संदर्भ को देखना चाहते हैं जिसमें कुछ त्रुटि हुई (उदाहरण के लिए, किस अनुरोध के कारण घबराहट हुई, या क्रैश से पहले कौन सी संबंधित समस्याएं दिखाई दे रही थीं), और grep यह -ए, -बी, और -सी विकल्पों का उपयोग करके किया जाता है, जो क्रमशः संदेश के बाद, पहले और उसके आसपास पंक्तियों की निर्दिष्ट संख्या दिखाते हैं।

दुर्भाग्य से, मुझे ClickHouse में ऐसा करने का कोई आसान तरीका नहीं मिला, इसलिए संदर्भ प्रदर्शित करने के लिए, परिणाम की प्रत्येक पंक्ति में इस तरह का एक अतिरिक्त अनुरोध भेजा जाता है (विवरण सॉर्टिंग पर निर्भर करता है और क्या संदर्भ पहले दिखाया गया है या नहीं) या के बाद):

SELECT time,millis,review_body FROM amazon
WHERE (time = 'ВРЕМЯ_СОБЫТИЯ' AND millis < МИЛЛИСЕКУНДЫ_СОБЫТИЯ) OR (time < 'ВРЕМЯ_СОБЫТИЯ')
ORDER BY time DESC, millis DESC
LIMIT КОЛИЧЕСТВО_СТРОК_КОНТЕКСТА
SETTINGS max_threads=1

चूँकि ClickHouse द्वारा संबंधित लाइन लौटाने के लगभग तुरंत बाद अनुरोध भेजा जाता है, यह कैश में समाप्त हो जाता है और सामान्य तौर पर अनुरोध बहुत जल्दी निष्पादित होता है और थोड़ा CPU खपत करता है (आमतौर पर अनुरोध मेरी वर्चुअल मशीन पर लगभग ~ 6 एमएस लेता है)।

वास्तविक समय में नए संदेश दिखाएं

आने वाले संदेशों को (लगभग) वास्तविक समय में दिखाने के लिए, हम बस हर कुछ सेकंड में एक बार अनुरोध निष्पादित करते हैं, पिछले टाइमस्टैम्प को याद करते हुए जो हमने पहले देखा था।

कमान के उदाहरण

सामान्य लॉग्सक्ली कमांड व्यवहार में कैसे दिखते हैं?

यदि आपने अमेज़ॅन डेटासेट डाउनलोड किया है जिसका मैंने लेख की शुरुआत में उल्लेख किया है, तो आप निम्नलिखित कमांड चला सकते हैं:

# Показать строки, где встречается слово walmart
$ logscli -F 'walmart' | less

# Показать самые свежие 10 строк, где встречается "terrible"
$ logscli -F terrible -limit 10

# То же самое без -limit:
$ logscli -F terrible | head -n 10

# Показать все строки, подходящие под /times [0-9]/, написанные для vine и у которых высокий рейтинг
$ logscli -E 'times [0-9]' -where="vine='Y' AND star_rating>4" | less

# Показать все строки со словом "panic" и 3 строки контекста вокруг
$ logscli -F 'panic' -C 3 | less

# Непрерывно показывать новые строки со словом "5-star"
$ logscli -F '5-star' -tailf

संदर्भों

उपयोगिता कोड (दस्तावेज़ीकरण के बिना) जीथब पर उपलब्ध है https://github.com/YuriyNasretdinov/logscli. ClickHouse पर आधारित लॉग देखने के लिए कंसोल इंटरफ़ेस के मेरे विचार पर आपके विचार सुनकर मुझे खुशी होगी।

स्रोत: www.habr.com

हम लॉग देखने के लिए दुनिया में सबसे सुविधाजनक इंटरफ़ेस* विकसित कर रहे हैं