লগ দেখার জন্য আমরা বিশ্বের সবচেয়ে সুবিধাজনক ইন্টারফেস তৈরি করছি*

আপনি যদি লগগুলি দেখার জন্য কখনও ওয়েব ইন্টারফেস ব্যবহার করে থাকেন, তাহলে আপনি সম্ভবত লক্ষ্য করেছেন যে কীভাবে, একটি নিয়ম হিসাবে, এই ইন্টারফেসগুলি জটিল এবং (প্রায়শই) খুব সুবিধাজনক এবং প্রতিক্রিয়াশীল নয়। কিছু আপনি অভ্যস্ত হতে পারেন, কিছু একেবারে ভয়ানক, কিন্তু এটা আমার মনে হয় যে সমস্ত সমস্যার কারণ হল যে আমরা ভুলভাবে লগ দেখার কাজটির সাথে যোগাযোগ করি: আমরা একটি ওয়েব ইন্টারফেস তৈরি করার চেষ্টা করি যেখানে CLI (কমান্ড লাইন ইন্টারফেস) ভাল কাজ করে আমি ব্যক্তিগতভাবে tail, grep, awk এবং অন্যান্যদের সাথে কাজ করতে খুব স্বাচ্ছন্দ্যবোধ করি এবং তাই আমার জন্য লগগুলির সাথে কাজ করার জন্য আদর্শ ইন্টারফেসটি টেল এবং গ্রেপের মতোই কিছু হবে, তবে এটি অনেক সার্ভার থেকে আসা লগগুলি পড়তেও ব্যবহার করা যেতে পারে। যে, অবশ্যই, ক্লিকহাউস থেকে তাদের পড়ুন!

*হাবরা ব্যবহারকারীর ব্যক্তিগত মতামত অনুযায়ী আপনিরক

logscli এর সাথে দেখা করুন

আমি আমার ইন্টারফেসের জন্য একটি নাম নিয়ে আসিনি, এবং, সত্যি বলতে, এটি একটি প্রোটোটাইপের আকারে বিদ্যমান, তবে আপনি যদি অবিলম্বে সোর্স কোডটি দেখতে চান তবে আপনাকে স্বাগত জানাই: https://github.com/YuriyNasretdinov/logscli (নির্বাচিত Go কোডের 350 লাইন)।

সুযোগ

আমার লক্ষ্য ছিল এমন একটি ইন্টারফেস তৈরি করা যা তাদের কাছে পরিচিত বলে মনে হবে যারা টেইল/গ্রেপ করতে অভ্যস্ত, অর্থাৎ নিম্নলিখিত জিনিসগুলিকে সমর্থন করার জন্য:

1. ফিল্টারিং ছাড়াই সমস্ত লগ দেখুন।
2. একটি নির্দিষ্ট সাবস্ট্রিং ধারণকারী লাইনগুলি ছেড়ে দিন (পতাকা -F у grep).
3. রেগুলার এক্সপ্রেশনের সাথে মেলে এমন লাইনগুলি ছেড়ে দিন (পতাকা -E у grep).
4. ডিফল্টরূপে, দেখা বিপরীত কালানুক্রমিক ক্রমে হয়, যেহেতু সাম্প্রতিক লগগুলি সাধারণত প্রথম আগ্রহের হয়৷
5. প্রতিটি লাইনের পাশে প্রসঙ্গ দেখান (বিকল্প -A, -B и -C у grep, যথাক্রমে প্রতিটি মিলিত লাইনের আগে, পরে এবং চারপাশে N লাইন মুদ্রণ)।
6. রিয়েল টাইমে ইনকামিং লগগুলি দেখুন, ফিল্টারিং সহ বা ছাড়াই (মূলত tail -f | grep).
7. ইন্টারফেস এর সাথে সামঞ্জস্যপূর্ণ হতে হবে less, head, tail এবং অন্যান্য - ডিফল্টরূপে, ফলাফলগুলি তাদের সংখ্যার উপর সীমাবদ্ধতা ছাড়াই ফেরত দেওয়া উচিত; লাইনগুলি একটি স্ট্রীম হিসাবে মুদ্রিত হয় যতক্ষণ না ব্যবহারকারী সেগুলি পেতে আগ্রহী হয়; সংকেত SIGPIPE নিঃশব্দে লগ স্ট্রিমিং বাধা দেওয়া উচিত, ঠিক যেমন তারা করে tail, grep এবং অন্যান্য ইউনিক্স ইউটিলিটি।

বাস্তবায়ন

আমি অনুমান করব যে আপনি ইতিমধ্যেই জানেন কিভাবে ক্লিক হাউসে লগ প্রদান করতে হয়। যদি না হয়, আমি এটি চেষ্টা করার পরামর্শ দিই এলএসডি и kittenhouseএবং লগ বিতরণ সম্পর্কে এই নিবন্ধ.

প্রথমে আপনাকে বেস স্কিমের সিদ্ধান্ত নিতে হবে। যেহেতু আপনি সাধারণত সময় অনুসারে সাজানো লগগুলি পেতে চান, তাই সেগুলিকে সেভাবে সংরক্ষণ করা যৌক্তিক বলে মনে হয়। যদি অনেকগুলি লগ বিভাগ থাকে এবং সেগুলি একই ধরণের হয়, তবে আপনি প্রাথমিক কী-এর প্রথম কলাম হিসাবে একটি লগ বিভাগ তৈরি করতে পারেন - এটি আপনাকে একাধিক টেবিলের পরিবর্তে একটি টেবিল রাখার অনুমতি দেবে, যা একটি বড় প্লাস হবে যখন ক্লিকহাউসে ঢোকানো (হার্ড ড্রাইভ সহ সার্ভারে, প্রতি সেকেন্ডে ~1 বারের বেশি ডেটা সন্নিবেশ করানো বাঞ্ছনীয় পুরো সার্ভারের জন্য).

অর্থাৎ, আমাদের প্রায় নিম্নলিখিত টেবিল স্কিম প্রয়োজন:

CREATE TABLE logs(
    category LowCardinality(String), -- категория логов (опционально)
    time DateTime, -- время события
    millis UInt16, -- миллисекунды (могут быть и микросекунды, и т.д.): рекомендуется хранить, если событий много, чтобы было легче различать события между собой
    ..., -- ваши собственные поля, например имя сервера, уровень логирования, и так далее
    message String -- текст сообщения
) ENGINE=MergeTree()
ORDER BY (category, time, millis)

দুর্ভাগ্যবশত, আমি অবিলম্বে বাস্তবসম্মত লগ সহ কোনো উন্মুক্ত উত্স খুঁজে পাইনি যা আমি ধরতে এবং ডাউনলোড করতে পারি, তাই আমি এটির পরিবর্তে একটি উদাহরণ হিসাবে নিয়েছি 2015 সাল পর্যন্ত অ্যামাজন থেকে পণ্যের পর্যালোচনা. অবশ্যই, তাদের গঠন টেক্সট লগগুলির মতো ঠিক একই নয়, তবে চিত্রের উদ্দেশ্যে এটি গুরুত্বপূর্ণ নয়।

ক্লিকহাউসে অ্যামাজন রিভিউ আপলোড করার জন্য নির্দেশাবলী

আসুন একটি টেবিল তৈরি করি:

CREATE TABLE amazon(
   review_date Date,
   time DateTime DEFAULT toDateTime(toUInt32(review_date) * 86400 + rand() % 86400),
   millis UInt16 DEFAULT rand() % 1000,
   marketplace LowCardinality(String),
   customer_id Int64,
   review_id String,
   product_id LowCardinality(String),
   product_parent Int64,
   product_title String,
   product_category LowCardinality(String),
   star_rating UInt8,
   helpful_votes UInt32,
   total_votes UInt32,
   vine FixedString(1),
   verified_purchase FixedString(1),
   review_headline String,
   review_body String
)
ENGINE=MergeTree()
ORDER BY (time, millis)
SETTINGS index_granularity=8192

অ্যামাজন ডেটাসেটে একটি পর্যালোচনার জন্য শুধুমাত্র একটি তারিখ আছে, কিন্তু কোন সঠিক সময় নেই, তাই আসুন একটি র্যান্ডন দিয়ে এই ডেটা পূরণ করি।

10 GB র‍্যামের সাথে মানানসই নয় এমন একটি মোটামুটি বড় ডেটা পাওয়ার জন্য আপনাকে সমস্ত tsv ফাইল ডাউনলোড করতে হবে এবং নিজেকে প্রথম ~20-16-এ সীমাবদ্ধ করতে হবে না। TSV ফাইল আপলোড করতে আমি নিম্নলিখিত কমান্ডটি ব্যবহার করেছি:

for i in *.tsv; do
    echo $i;
    tail -n +2 $i | pv |
    clickhouse-client --input_format_allow_errors_ratio 0.5 --query='INSERT INTO amazon(marketplace,customer_id,review_id,product_id,product_parent,product_title,product_category,star_rating,helpful_votes,total_votes,vine,verified_purchase,review_headline,review_body,review_date) FORMAT TabSeparated'
done

Google ক্লাউডে 1000 গিগাবাইট আকারের একটি স্ট্যান্ডার্ড পারসিস্টেন্ট ডিস্কে (যা একটি HDD) (আমি মূলত এই আকারটি নিয়েছি যাতে গতি একটু বেশি হয়, যদিও সম্ভবত প্রয়োজনীয় আকারের একটি SSD সস্তা হত) আপলোড 75 কোরে গতি ছিল প্রায় ~ 4 MB/sec.

• আমি অবশ্যই একটি রিজার্ভেশন করব যে আমি Google এ কাজ করি, কিন্তু আমি একটি ব্যক্তিগত অ্যাকাউন্ট ব্যবহার করেছি এবং এই নিবন্ধটি কোম্পানিতে আমার কাজের সাথে কোন সম্পর্ক নেই

আমি এই নির্দিষ্ট ডেটাসেটের সাহায্যে সমস্ত চিত্র তৈরি করব, যেহেতু আমার হাতে এটিই ছিল।

ডেটা স্ক্যানিং অগ্রগতি দেখান

যেহেতু ClickHouse-এ আমরা লগ সহ একটি টেবিলে একটি সম্পূর্ণ স্ক্যান ব্যবহার করব, এবং এই অপারেশনটি একটি উল্লেখযোগ্য পরিমাণ সময় নিতে পারে এবং যদি কিছু মিল পাওয়া যায় তবে দীর্ঘ সময়ের জন্য কোনো ফলাফল নাও দিতে পারে, তাই এটি দেখাতে সক্ষম হওয়া বাঞ্ছনীয়। ফলাফল সহ প্রথম সারি প্রাপ্ত না হওয়া পর্যন্ত প্রশ্নের অগ্রগতি। এটি করার জন্য, HTTP ইন্টারফেসে একটি প্যারামিটার রয়েছে যা আপনাকে HTTP শিরোনামে অগ্রগতি পাঠাতে দেয়: send_progress_in_http_headers=1. দুর্ভাগ্যবশত, স্ট্যান্ডার্ড গো লাইব্রেরি শিরোনামগুলি প্রাপ্ত হওয়ার সাথে সাথে পড়তে পারে না, তবে HTTP 1.0 ইন্টারফেস (1.1 এর সাথে বিভ্রান্ত হবেন না!) ClickHouse দ্বারা সমর্থিত, তাই আপনি ClickHouse-এ একটি কাঁচা TCP সংযোগ খুলতে পারেন এবং এটি সেখানে পাঠাতে পারেন GET /?query=... HTTP/1.0nn এবং কোনো পালানো বা এনক্রিপশন ছাড়াই রেসপন্স হেডার এবং বডি পাবেন, তাই এই ক্ষেত্রে আমাদের স্ট্যান্ডার্ড লাইব্রেরি ব্যবহার করারও দরকার নেই।

ClickHouse থেকে স্ট্রিমিং লগ

ClickHouse তুলনামূলকভাবে দীর্ঘ সময়ের জন্য (2019 সাল থেকে?) ORDER BY-এর সাথে প্রশ্নের জন্য অপ্টিমাইজেশান করেছে, তাই একটি প্রশ্ন যেমন

SELECT time, millis, message
FROM logs
WHERE message LIKE '%something%'
ORDER BY time DESC, millis DESC

এটি অবিলম্বে স্ক্যান শেষ হওয়ার জন্য অপেক্ষা না করে, তাদের বার্তায় সাবস্ট্রিং "কিছু" আছে এমন লাইনগুলি ফেরত দেওয়া শুরু করবে।

এছাড়াও, এটি খুব সুবিধাজনক হবে যদি ক্লিকহাউস নিজেই অনুরোধটি বাতিল করে দেয় যখন এটির সাথে সংযোগ বন্ধ ছিল, তবে এটি ডিফল্ট আচরণ নয়। বিকল্পটি ব্যবহার করে স্বয়ংক্রিয় অনুরোধ বাতিলকরণ সক্ষম করা যেতে পারে cancel_http_readonly_queries_on_client_close=1.

Go-তে SIGPIPE-এর সঠিক হ্যান্ডলিং

যখন আপনি চালান, বলুন, আদেশ some_cmd | head -n 10, ঠিক কিভাবে আদেশ some_cmd যখন মৃত্যুদন্ড বন্ধ করে দেয় head 10 লাইন বিয়োগ? উত্তরটি সহজ: কখন head শেষ হয়, পাইপ বন্ধ হয়, এবং some_cmd কমান্ডের stdout নির্দেশ করতে শুরু করে, শর্তসাপেক্ষে, "কোথাও না"। কখন some_cmd একটি বন্ধ পাইপে লিখতে চেষ্টা করে, এটি একটি SIGPIPE সংকেত পায়, যা নীরবে ডিফল্টভাবে প্রোগ্রামটি বন্ধ করে দেয়.

গো-তে এটি ডিফল্টরূপেও ঘটে, কিন্তু SIGPIPE সংকেত হ্যান্ডলার শেষে "সিগন্যাল: SIGPIPE" বা অনুরূপ একটি বার্তাও প্রিন্ট করে এবং এই বার্তাটি পরিষ্কার করার জন্য আমাদের শুধুমাত্র আমাদের ইচ্ছামত SIGPIPE পরিচালনা করতে হবে, অর্থাৎ, শুধু নীরবে। প্রস্থান:

ch := make(chan os.Signal)
signal.Notify(ch, syscall.SIGPIPE)
go func() {
    <-ch
    os.Exit(0)
}()

বার্তা প্রসঙ্গ দেখান

প্রায়শই আপনি সেই প্রসঙ্গে দেখতে চান যেখানে কিছু ত্রুটি ঘটেছে (উদাহরণস্বরূপ, কোন অনুরোধটি একটি আতঙ্ক সৃষ্টি করেছিল, বা ক্র্যাশের আগে কী সম্পর্কিত সমস্যাগুলি দৃশ্যমান ছিল), এবং grep এটি -A, -B, এবং -C বিকল্পগুলি ব্যবহার করে করা হয়, যা যথাক্রমে বার্তার পরে, আগে এবং চারপাশে নির্দিষ্ট সংখ্যক লাইন দেখায়।

দুর্ভাগ্যবশত, আমি ClickHouse-এ একই কাজ করার সহজ উপায় খুঁজে পাইনি, তাই প্রসঙ্গটি প্রদর্শন করার জন্য, ফলাফলের প্রতিটি লাইনে এইরকম একটি অতিরিক্ত অনুরোধ পাঠানো হয় (বিশদটি সাজানোর উপর নির্ভর করে এবং প্রসঙ্গটি আগে দেখানো হয়েছে কিনা) বা পরে):

SELECT time,millis,review_body FROM amazon
WHERE (time = 'ВРЕМЯ_СОБЫТИЯ' AND millis < МИЛЛИСЕКУНДЫ_СОБЫТИЯ) OR (time < 'ВРЕМЯ_СОБЫТИЯ')
ORDER BY time DESC, millis DESC
LIMIT КОЛИЧЕСТВО_СТРОК_КОНТЕКСТА
SETTINGS max_threads=1

যেহেতু অনুরোধটি ClickHouse সংশ্লিষ্ট লাইনটি ফেরত দেওয়ার প্রায় সাথে সাথেই পাঠানো হয়, তাই এটি ক্যাশে শেষ হয় এবং সাধারণভাবে অনুরোধটি খুব দ্রুত কার্যকর করা হয় এবং সামান্য CPU খরচ করে (সাধারণত অনুরোধটি আমার ভার্চুয়াল মেশিনে প্রায় ~6 ms লাগে)।

রিয়েল টাইমে নতুন বার্তা দেখান

(প্রায়) রিয়েল টাইমে ইনকামিং বার্তাগুলি দেখানোর জন্য, আমরা কেবলমাত্র প্রতি কয়েক সেকেন্ডে একবার অনুরোধটি কার্যকর করি, আমরা আগে যে শেষ টাইমস্ট্যাম্পটি পেয়েছি তা মনে রেখে।

কমান্ড উদাহরণ

সাধারণ logscli কমান্ডগুলি অনুশীলনে কেমন দেখায়?

আপনি যদি অ্যামাজন ডেটাসেটটি ডাউনলোড করেন যা আমি নিবন্ধের শুরুতে উল্লেখ করেছি, আপনি নিম্নলিখিত কমান্ডগুলি চালাতে পারেন:

# Показать строки, где встречается слово walmart
$ logscli -F 'walmart' | less

# Показать самые свежие 10 строк, где встречается "terrible"
$ logscli -F terrible -limit 10

# То же самое без -limit:
$ logscli -F terrible | head -n 10

# Показать все строки, подходящие под /times [0-9]/, написанные для vine и у которых высокий рейтинг
$ logscli -E 'times [0-9]' -where="vine='Y' AND star_rating>4" | less

# Показать все строки со словом "panic" и 3 строки контекста вокруг
$ logscli -F 'panic' -C 3 | less

# Непрерывно показывать новые строки со словом "5-star"
$ logscli -F '5-star' -tailf

রেফারেন্স

ইউটিলিটি কোড (ডকুমেন্টেশন ছাড়া) github-এ উপলব্ধ https://github.com/YuriyNasretdinov/logscli. ক্লিকহাউসের উপর ভিত্তি করে লগ দেখার জন্য একটি কনসোল ইন্টারফেসের জন্য আমার ধারণা সম্পর্কে আপনার চিন্তাভাবনা শুনে আমি খুশি হব।

উত্স: www.habr.com