🥇 हामी लगहरू हेर्नको लागि संसारमा सबैभन्दा सुविधाजनक इन्टरफेस विकास गर्दैछौं। प्रोहोस्टर

यदि तपाईंले लगहरू हेर्नको लागि वेब इन्टरफेसहरू प्रयोग गर्नुभएको छ भने, तपाईंले सायद याद गर्नुभएको छ कि कसरी, नियमको रूपमा, यी इन्टरफेसहरू बोझिल हुन्छन् र (प्रायः) धेरै सुविधाजनक र उत्तरदायी हुँदैनन्। केहि तपाईलाई बानी पर्न सक्छ, केहि एकदम डरलाग्दो छन्, तर मलाई लाग्छ कि सबै समस्याहरूको कारण यो हो कि हामी लगहरू गलत रूपमा हेर्ने कार्यमा पुग्छौं: हामी वेब इन्टरफेस सिर्जना गर्ने प्रयास गर्दछौं जहाँ CLI (कमांड लाइन इन्टरफेस)। राम्रो काम गर्दछ। म व्यक्तिगत रूपमा tail, grep, awk र अन्यसँग काम गर्न धेरै सहज छु, र त्यसैले मेरो लागि लगहरूसँग काम गर्नको लागि आदर्श इन्टरफेस tail र grep जस्तै हुनेछ, तर जुन धेरै सर्भरहरूबाट आएका लगहरू पढ्न पनि प्रयोग गर्न सकिन्छ। त्यो हो, अवश्य पनि, तिनीहरूलाई क्लिकहाउसबाट पढ्नुहोस्!

* habra प्रयोगकर्ता को व्यक्तिगत राय अनुसार तपाईंरोक

logscli भेट्नुहोस्

म मेरो इन्टरफेसको लागि नाम लिएर आएको छैन, र, इमानदार हुन, यो बरु प्रोटोटाइपको रूपमा अवस्थित छ, तर यदि तपाइँ तुरुन्तै स्रोत कोड हेर्न चाहनुहुन्छ भने, तपाइँलाई स्वागत छ: https://github.com/YuriyNasretdinov/logscli (चयनित गो कोडको 350 लाइनहरू)।

विशेषताहरू

मेरो लक्ष्य एउटा इन्टरफेस बनाउनु थियो जुन टेल/ग्रेपमा प्रयोग हुनेहरूलाई परिचित देखिन्छ, अर्थात्, निम्न कुराहरूलाई समर्थन गर्न:

फिल्टर नगरी सबै लगहरू हेर्नुहोस्।
निश्चित सबस्ट्रिङ (झण्डा -F у grep).
नियमित अभिव्यक्तिसँग मेल खाने रेखाहरू छोड्नुहोस् (झण्डा -E у grep).
पूर्वनिर्धारित रूपमा, हेर्ने उल्टो कालानुक्रमिक क्रममा हुन्छ, किनकि सबैभन्दा हालैका लगहरू प्रायः पहिले चासोको हुन्छन्।
प्रत्येक रेखाको छेउमा सन्दर्भ देखाउनुहोस् (विकल्पहरू -A, -B и -C у grep, क्रमशः प्रत्येक मिल्दो लाइनको अघि, पछि, र वरपर N लाइनहरू प्रिन्ट गर्दै)।
वास्तविक समयमा आगमन लगहरू हेर्नुहोस्, फिल्टरिङको साथ वा बिना (अनिवार्य रूपमा tail -f | grep).
इन्टरफेस संग मिल्दो हुनुपर्छ less, head, tail र अन्य - पूर्वनिर्धारित रूपमा, तिनीहरूको संख्यामा प्रतिबन्ध बिना परिणामहरू फर्काइनुपर्छ; लाइनहरू स्ट्रिमको रूपमा मुद्रित हुन्छन् जबसम्म प्रयोगकर्ताले तिनीहरूलाई प्राप्त गर्न चासो राख्छ; संकेत SIGPIPE तिनीहरूले जस्तै चुपचाप लग स्ट्रिमिङमा अवरोध गर्नुपर्छ tail, grep र अन्य UNIX उपयोगिताहरू।

कार्यान्वयन

म मान्छु कि तपाईलाई पहिले नै थाहा छ कि कसरी लगहरू ClickHouse मा डेलिभर गर्ने। यदि होइन भने, म यसलाई प्रयास गर्न सिफारिस गर्दछु lsd и बिरालोको घरर लग डेलिभरीको बारेमा यो लेख.

पहिले तपाईंले आधार योजनामा निर्णय गर्न आवश्यक छ। तपाईं सामान्यतया समय अनुसार क्रमबद्ध लगहरू प्राप्त गर्न चाहानुहुन्छ, यो त्यसरी भण्डारण गर्न तार्किक देखिन्छ। यदि त्यहाँ धेरै लग कोटीहरू छन् र तिनीहरू सबै एउटै प्रकारका छन् भने, त्यसपछि तपाइँ प्राथमिक कुञ्जीको पहिलो स्तम्भको रूपमा लग कोटी बनाउन सक्नुहुन्छ - यसले तपाइँलाई धेरैको सट्टा एउटा तालिका राख्न अनुमति दिनेछ, जुन ठूलो प्लस हुनेछ जब ClickHouse मा सम्मिलित गर्दै (हार्ड ड्राइभ भएका सर्भरहरूमा, यसलाई प्रति सेकेन्ड ~ 1 पटक भन्दा बढी डेटा सम्मिलित गर्न सिफारिस गरिन्छ। सम्पूर्ण सर्भरको लागि).

त्यो हो, हामीलाई लगभग निम्न तालिका योजना चाहिन्छ:

CREATE TABLE logs(
    category LowCardinality(String), -- категория логов (опционально)
    time DateTime, -- время события
    millis UInt16, -- миллисекунды (могут быть и микросекунды, и т.д.): рекомендуется хранить, если событий много, чтобы было легче различать события между собой
    ..., -- ваши собственные поля, например имя сервера, уровень логирования, и так далее
    message String -- текст сообщения
) ENGINE=MergeTree()
ORDER BY (category, time, millis)

दुर्भाग्यवश, मैले समात्न र डाउनलोड गर्न सक्ने यथार्थवादी लगहरू भएको कुनै पनि खुला स्रोतहरू तुरुन्तै फेला पार्न सकिन, त्यसैले मैले यसलाई उदाहरणको रूपमा लिएँ। 2015 अघि अमेजनबाट उत्पादनहरूको समीक्षा। निस्सन्देह, तिनीहरूको संरचना पाठ लगहरूको जस्तै छैन, तर चित्रण उद्देश्यका लागि यो महत्त्वपूर्ण छैन।

क्लिकहाउसमा अमेजन समीक्षाहरू अपलोड गर्नका लागि निर्देशनहरू

एउटा तालिका बनाउनुहोस्:

CREATE TABLE amazon(
   review_date Date,
   time DateTime DEFAULT toDateTime(toUInt32(review_date) * 86400 + rand() % 86400),
   millis UInt16 DEFAULT rand() % 1000,
   marketplace LowCardinality(String),
   customer_id Int64,
   review_id String,
   product_id LowCardinality(String),
   product_parent Int64,
   product_title String,
   product_category LowCardinality(String),
   star_rating UInt8,
   helpful_votes UInt32,
   total_votes UInt32,
   vine FixedString(1),
   verified_purchase FixedString(1),
   review_headline String,
   review_body String
)
ENGINE=MergeTree()
ORDER BY (time, millis)
SETTINGS index_granularity=8192

अमेजन डेटासेटमा समीक्षाको लागि मात्र मिति छ, तर त्यहाँ कुनै सही समय छैन, त्यसैले यो डेटालाई र्यान्डनको साथ भरौं।

तपाईंले सबै tsv फाइलहरू डाउनलोड गर्नुपर्दैन र 10 GB RAM मा फिट नहुने डेटाको एकदम ठूलो सेट प्राप्त गर्नको लागि पहिलो ~ 20-16 मा आफूलाई सीमित गर्नुहोस्। TSV फाइलहरू अपलोड गर्न मैले निम्न आदेश प्रयोग गरें:

for i in *.tsv; do
    echo $i;
    tail -n +2 $i | pv |
    clickhouse-client --input_format_allow_errors_ratio 0.5 --query='INSERT INTO amazon(marketplace,customer_id,review_id,product_id,product_parent,product_title,product_category,star_rating,helpful_votes,total_votes,vine,verified_purchase,review_headline,review_body,review_date) FORMAT TabSeparated'
done

गुगल क्लाउडमा 1000 GB को साइजको मानक पर्सिस्टेन्ट डिस्क (जुन HDD हो) मा (मैले यो साइज मुख्य रूपमा लिएको छु ताकि गति अलि बढी थियो, यद्यपि आवश्यक साइजको SSD सस्तो हुने थियो) अपलोड। गति 75 कोर मा लगभग ~ 4 MB/सेकेन्ड थियो।

मैले Google मा काम गरेको रिजर्भेसन गर्नुपर्छ, तर मैले व्यक्तिगत खाता प्रयोग गरेको छु र यो लेख कम्पनीमा मेरो कामसँग कुनै सरोकार छैन।

म यो विशेष डेटासेटको साथ सबै दृष्टान्तहरू उत्पादन गर्नेछु, किनकि यो मेरो हातमा थियो।

डेटा स्क्यानिङ प्रगति देखाउनुहोस्

क्लिकहाउसमा भएकोले हामी लगहरू सहितको टेबलमा पूर्ण स्क्यान प्रयोग गर्नेछौं, र यो अपरेसनले महत्त्वपूर्ण समय लिन सक्छ र यदि केही मिल्दोहरू फेला परेमा लामो समयसम्म कुनै पनि परिणामहरू उत्पादन नगर्न सक्छ, यो देखाउन सक्षम हुन सल्लाह दिइन्छ। परिणामको साथ पहिलो पङ्क्तिहरू प्राप्त नभएसम्म क्वेरीको प्रगति। यो गर्नको लागि, HTTP इन्टरफेसमा एउटा प्यारामिटर छ जसले तपाईंलाई HTTP हेडरहरूमा प्रगति पठाउन अनुमति दिन्छ: send_progress_in_http_headers=1। दुर्भाग्यवश, मानक गो पुस्तकालयले हेडरहरू पढ्न सक्दैन किनकि तिनीहरू प्राप्त हुन्छन्, तर HTTP 1.0 इन्टरफेस (1.1 सँग भ्रमित नहुने!) क्लिकहाउसद्वारा समर्थित छ, त्यसैले तपाईंले क्लिकहाउसमा कच्चा TCP जडान खोल्न सक्नुहुन्छ र त्यहाँ पठाउन सक्नुहुन्छ। GET /?query=... HTTP/1.0nn र प्रतिक्रिया हेडरहरू र शरीर कुनै पनि एस्केपिङ वा इन्क्रिप्शन बिना प्राप्त गर्नुहोस्, त्यसैले यस अवस्थामा हामीले मानक पुस्तकालय प्रयोग गर्न आवश्यक पर्दैन।

ClickHouse बाट स्ट्रिमिङ लगहरू

ClickHouse ले अपेक्षाकृत लामो समय (२०१९ देखि?) को लागि ORDER BY को साथ क्वेरीहरूको लागि अप्टिमाइजेसन गरेको छ, त्यसैले एक क्वेरी जस्तै

SELECT time, millis, message
FROM logs
WHERE message LIKE '%something%'
ORDER BY time DESC, millis DESC

यसले तुरुन्तै स्क्यान समाप्त हुने प्रतीक्षा नगरी आफ्नो सन्देशमा सबस्ट्रिङ "केहि" भएको लाइनहरू फर्काउन सुरु गर्नेछ।

साथै, यो धेरै सुविधाजनक हुनेछ यदि क्लिकहाउस आफैले अनुरोध रद्द गरे जब यो जडान बन्द थियो, तर यो पूर्वनिर्धारित व्यवहार होइन। स्वचालित अनुरोध रद्द विकल्प प्रयोग गरेर सक्षम गर्न सकिन्छ cancel_http_readonly_queries_on_client_close=1.

Go मा SIGPIPE को सही ह्यान्डलिंग

जब तपाइँ कार्यान्वयन गर्नुहुन्छ, भन्नुहोस्, आदेश some_cmd | head -n 10, ठ्याक्कै कसरी आदेश some_cmd जब कार्यान्वयन रोक्छ head 10 लाइन घटाउनुभयो? जवाफ सरल छ: कहिले head समाप्त हुन्छ, पाइप बन्द हुन्छ, र some_cmd कमाण्डको stdout सशर्त रूपमा, "कहीँ पनि" देखाउन सुरु हुन्छ। कहिले some_cmd बन्द पाइपमा लेख्न खोज्छ, यसले SIGPIPE सङ्केत प्राप्त गर्दछ, जसले मौनतापूर्वक कार्यक्रमलाई पूर्वनिर्धारित रूपमा समाप्त गर्दछ.

Go मा यो पनि पूर्वनिर्धारित रूपमा हुन्छ, तर SIGPIPE सिग्नल ह्यान्डलरले "signal: SIGPIPE" वा यस्तै सन्देश अन्तमा छाप्छ, र यो सन्देश खाली गर्न हामीले SIGPIPE लाई हामीले चाहेको तरिकाले ह्यान्डल गर्न आवश्यक छ, अर्थात् चुपचाप। बाहिर निस्कनुहोस्:

ch := make(chan os.Signal)
signal.Notify(ch, syscall.SIGPIPE)
go func() {
    <-ch
    os.Exit(0)
}()

सन्देश सन्दर्भ देखाउनुहोस्

प्रायः तपाइँ सन्दर्भ हेर्न चाहानुहुन्छ जसमा केहि त्रुटि देखा पर्‍यो (उदाहरणका लागि, कुन अनुरोधले आतंक उत्पन्न गर्‍यो, वा दुर्घटना हुनु अघि कुन सम्बन्धित समस्याहरू देखिन्थ्यो), र grep यो -A, -B, र -C विकल्पहरू प्रयोग गरी गरिन्छ, जसले सन्देशको पछि, अघि र वरपर क्रमशः रेखाहरूको निर्दिष्ट संख्या देखाउँदछ।

दुर्भाग्यवश, मैले ClickHouse मा त्यसै गर्ने सजिलो तरिका फेला पारेको छैन, त्यसैले सन्दर्भ देखाउनको लागि, परिणामको प्रत्येक पङ्क्तिमा यस प्रकारको थप अनुरोध पठाइन्छ (विवरणहरू क्रमबद्धमा निर्भर गर्दछ र सन्दर्भ अघि देखाइएको छ कि छैन। वा पछि):

SELECT time,millis,review_body FROM amazon
WHERE (time = 'ВРЕМЯ_СОБЫТИЯ' AND millis < МИЛЛИСЕКУНДЫ_СОБЫТИЯ) OR (time < 'ВРЕМЯ_СОБЫТИЯ')
ORDER BY time DESC, millis DESC
LIMIT КОЛИЧЕСТВО_СТРОК_КОНТЕКСТА
SETTINGS max_threads=1

किनकी अनुरोध लगभग तुरुन्तै क्लिकहाउसले सम्बन्धित लाइन फर्काए पछि पठाइन्छ, यो क्यासमा समाप्त हुन्छ र सामान्यतया अनुरोध एकदम चाँडो कार्यान्वयन हुन्छ र थोरै CPU खपत हुन्छ (सामान्यतया अनुरोधले मेरो भर्चुअल मेसिनमा लगभग ~ 6 एमएस लिन्छ)।

वास्तविक समयमा नयाँ सन्देशहरू देखाउनुहोस्

आगमन सन्देशहरू (लगभग) वास्तविक समयमा देखाउनको लागि, हामीले पहिले सामना गरेको अन्तिम टाइमस्ट्याम्प सम्झेर, प्रत्येक केही सेकेन्डमा एक पटक अनुरोध कार्यान्वयन गर्छौं।

आदेश उदाहरणहरू

सामान्य logscli आदेशहरू व्यवहारमा कस्तो देखिन्छन्?

यदि तपाईंले अमेजन डाटासेट डाउनलोड गर्नुभयो जुन मैले लेखको सुरुमा उल्लेख गरेको छु, तपाईंले निम्न आदेशहरू चलाउन सक्नुहुन्छ:

# Показать строки, где встречается слово walmart
$ logscli -F 'walmart' | less

# Показать самые свежие 10 строк, где встречается "terrible"
$ logscli -F terrible -limit 10

# То же самое без -limit:
$ logscli -F terrible | head -n 10

# Показать все строки, подходящие под /times [0-9]/, написанные для vine и у которых высокий рейтинг
$ logscli -E 'times [0-9]' -where="vine='Y' AND star_rating>4" | less

# Показать все строки со словом "panic" и 3 строки контекста вокруг
$ logscli -F 'panic' -C 3 | less

# Непрерывно показывать новые строки со словом "5-star"
$ logscli -F '5-star' -tailf

सन्दर्भ

उपयोगिता कोड (कागजात बिना) github मा उपलब्ध छ https://github.com/YuriyNasretdinov/logscli। क्लिकहाउसमा आधारित लगहरू हेर्नको लागि कन्सोल इन्टरफेसको लागि मेरो विचारमा तपाईंको विचारहरू सुन्न पाउँदा म खुसी हुनेछु।

स्रोत: www.habr.com

हामीले लगहरू हेर्नका लागि संसारको सबैभन्दा सुविधाजनक* इन्टरफेस विकास गर्छौं