ਅਸੀਂ ਲੌਗ ਦੇਖਣ ਲਈ ਦੁਨੀਆ ਦਾ ਸਭ ਤੋਂ ਸੁਵਿਧਾਜਨਕ ਇੰਟਰਫੇਸ* ਵਿਕਸਿਤ ਕਰ ਰਹੇ ਹਾਂ

ਜੇਕਰ ਤੁਸੀਂ ਲੌਗ ਦੇਖਣ ਲਈ ਕਦੇ ਵੈੱਬ ਇੰਟਰਫੇਸ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਸ਼ਾਇਦ ਦੇਖਿਆ ਹੋਵੇਗਾ ਕਿ ਕਿਵੇਂ, ਇੱਕ ਨਿਯਮ ਦੇ ਤੌਰ 'ਤੇ, ਇਹ ਇੰਟਰਫੇਸ ਬੋਝਲ ਹੁੰਦੇ ਹਨ ਅਤੇ (ਅਕਸਰ) ਬਹੁਤ ਸੁਵਿਧਾਜਨਕ ਅਤੇ ਜਵਾਬਦੇਹ ਨਹੀਂ ਹੁੰਦੇ ਹਨ। ਕੁਝ ਦੀ ਤੁਸੀਂ ਆਦਤ ਪਾ ਸਕਦੇ ਹੋ, ਕੁਝ ਬਿਲਕੁਲ ਭਿਆਨਕ ਹਨ, ਪਰ ਇਹ ਮੈਨੂੰ ਜਾਪਦਾ ਹੈ ਕਿ ਸਾਰੀਆਂ ਸਮੱਸਿਆਵਾਂ ਦਾ ਕਾਰਨ ਇਹ ਹੈ ਕਿ ਅਸੀਂ ਲੌਗਸ ਨੂੰ ਦੇਖਣ ਦੇ ਕੰਮ ਨੂੰ ਗਲਤ ਤਰੀਕੇ ਨਾਲ ਪਹੁੰਚਦੇ ਹਾਂ: ਅਸੀਂ ਇੱਕ ਵੈਬ ਇੰਟਰਫੇਸ ਬਣਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਾਂ ਜਿੱਥੇ ਸੀ.ਐਲ.ਆਈ. (ਕਮਾਂਡ ਲਾਈਨ ਇੰਟਰਫੇਸ) ਬਿਹਤਰ ਕੰਮ ਕਰਦਾ ਹੈ। ਮੈਂ ਨਿੱਜੀ ਤੌਰ 'ਤੇ tail, grep, awk ਅਤੇ ਹੋਰਾਂ ਨਾਲ ਕੰਮ ਕਰਨ ਵਿੱਚ ਬਹੁਤ ਆਰਾਮਦਾਇਕ ਹਾਂ, ਅਤੇ ਇਸਲਈ ਮੇਰੇ ਲਈ ਲੌਗਸ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਆਦਰਸ਼ ਇੰਟਰਫੇਸ tail ਅਤੇ grep ਦੇ ਸਮਾਨ ਹੋਵੇਗਾ, ਪਰ ਜੋ ਕਿ ਬਹੁਤ ਸਾਰੇ ਸਰਵਰਾਂ ਤੋਂ ਆਏ ਲੌਗਸ ਨੂੰ ਪੜ੍ਹਨ ਲਈ ਵੀ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਇਹ ਹੈ, ਬੇਸ਼ਕ, ਉਹਨਾਂ ਨੂੰ ਕਲਿਕਹਾਊਸ ਤੋਂ ਪੜ੍ਹੋ!

* ਹੈਬਰਾ ਉਪਭੋਗਤਾ ਦੀ ਨਿੱਜੀ ਰਾਏ ਦੇ ਅਨੁਸਾਰ ਤੁੰ ਕਮਾਲ ਕਰ ਦਿਤੀ

logscli ਨੂੰ ਮਿਲੋ

ਮੈਂ ਆਪਣੇ ਇੰਟਰਫੇਸ ਲਈ ਕੋਈ ਨਾਮ ਨਹੀਂ ਲੈ ਕੇ ਆਇਆ ਸੀ, ਅਤੇ, ਇਮਾਨਦਾਰ ਹੋਣ ਲਈ, ਇਹ ਇੱਕ ਪ੍ਰੋਟੋਟਾਈਪ ਦੇ ਰੂਪ ਵਿੱਚ ਮੌਜੂਦ ਹੈ, ਪਰ ਜੇਕਰ ਤੁਸੀਂ ਸਰੋਤ ਕੋਡ ਨੂੰ ਤੁਰੰਤ ਦੇਖਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਤੁਹਾਡਾ ਸੁਆਗਤ ਹੈ: https://github.com/YuriyNasretdinov/logscli (ਚੁਣੇ ਗਏ ਗੋ ਕੋਡ ਦੀਆਂ 350 ਲਾਈਨਾਂ)।

ਫੀਚਰ

ਮੇਰਾ ਟੀਚਾ ਇੱਕ ਇੰਟਰਫੇਸ ਬਣਾਉਣਾ ਸੀ ਜੋ ਉਹਨਾਂ ਲੋਕਾਂ ਲਈ ਜਾਣੂ ਜਾਪਦਾ ਹੈ ਜੋ ਟੇਲ/ਗ੍ਰੇਪ ਲਈ ਵਰਤੇ ਜਾਂਦੇ ਹਨ, ਭਾਵ, ਹੇਠ ਲਿਖੀਆਂ ਚੀਜ਼ਾਂ ਦਾ ਸਮਰਥਨ ਕਰਨ ਲਈ:

1. ਫਿਲਟਰ ਕੀਤੇ ਬਿਨਾਂ, ਸਾਰੇ ਲੌਗ ਦੇਖੋ।
2. ਇੱਕ ਸਥਿਰ ਸਬਸਟ੍ਰਿੰਗ ਵਾਲੀਆਂ ਲਾਈਨਾਂ ਛੱਡੋ (ਫਲੈਗ -F у grep).
3. ਰੈਗੂਲਰ ਸਮੀਕਰਨ ਨਾਲ ਮੇਲ ਖਾਂਦੀਆਂ ਲਾਈਨਾਂ ਛੱਡੋ (ਫਲੈਗ -E у grep).
4. ਮੂਲ ਰੂਪ ਵਿੱਚ, ਦੇਖਣਾ ਉਲਟ ਕਾਲਕ੍ਰਮਿਕ ਕ੍ਰਮ ਵਿੱਚ ਹੁੰਦਾ ਹੈ, ਕਿਉਂਕਿ ਸਭ ਤੋਂ ਤਾਜ਼ਾ ਲੌਗ ਆਮ ਤੌਰ 'ਤੇ ਪਹਿਲਾਂ ਦਿਲਚਸਪੀ ਦੇ ਹੁੰਦੇ ਹਨ।
5. ਹਰੇਕ ਲਾਈਨ ਦੇ ਅੱਗੇ ਸੰਦਰਭ ਦਿਖਾਓ (ਵਿਕਲਪ -A, -B и -C у grep, ਕ੍ਰਮਵਾਰ ਹਰੇਕ ਮੇਲ ਖਾਂਦੀ ਲਾਈਨ ਤੋਂ ਪਹਿਲਾਂ, ਬਾਅਦ ਅਤੇ ਆਲੇ ਦੁਆਲੇ N ਲਾਈਨਾਂ ਨੂੰ ਛਾਪਣਾ)।
6. ਆਉਣ ਵਾਲੇ ਲੌਗਸ ਨੂੰ ਰੀਅਲ ਟਾਈਮ ਵਿੱਚ ਦੇਖੋ, ਫਿਲਟਰਿੰਗ ਦੇ ਨਾਲ ਜਾਂ ਬਿਨਾਂ (ਜ਼ਰੂਰੀ ਤੌਰ 'ਤੇ tail -f | grep).
7. ਇੰਟਰਫੇਸ ਨਾਲ ਅਨੁਕੂਲ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ less, head, tail ਅਤੇ ਹੋਰ - ਮੂਲ ਰੂਪ ਵਿੱਚ, ਨਤੀਜੇ ਉਹਨਾਂ ਦੀ ਗਿਣਤੀ 'ਤੇ ਪਾਬੰਦੀਆਂ ਤੋਂ ਬਿਨਾਂ ਵਾਪਸ ਕੀਤੇ ਜਾਣੇ ਚਾਹੀਦੇ ਹਨ; ਲਾਈਨਾਂ ਨੂੰ ਇੱਕ ਸਟ੍ਰੀਮ ਵਜੋਂ ਛਾਪਿਆ ਜਾਂਦਾ ਹੈ ਜਦੋਂ ਤੱਕ ਉਪਭੋਗਤਾ ਉਹਨਾਂ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਵਿੱਚ ਦਿਲਚਸਪੀ ਰੱਖਦਾ ਹੈ; ਇਸ਼ਾਰਾ SIGPIPE ਨੂੰ ਚੁੱਪਚਾਪ ਲੌਗ ਸਟ੍ਰੀਮਿੰਗ ਵਿੱਚ ਵਿਘਨ ਪਾਉਣਾ ਚਾਹੀਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਉਹ ਕਰਦੇ ਹਨ tail, grep ਅਤੇ ਹੋਰ UNIX ਉਪਯੋਗਤਾਵਾਂ।

Реализация

ਮੈਂ ਇਹ ਮੰਨ ਲਵਾਂਗਾ ਕਿ ਤੁਸੀਂ ਪਹਿਲਾਂ ਹੀ ਕਿਸੇ ਤਰ੍ਹਾਂ ਜਾਣਦੇ ਹੋ ਕਿ ਕਲਿਕਹਾਊਸ ਨੂੰ ਲੌਗਸ ਨੂੰ ਕਿਵੇਂ ਪਹੁੰਚਾਉਣਾ ਹੈ. ਜੇ ਨਹੀਂ, ਤਾਂ ਮੈਂ ਇਸਨੂੰ ਅਜ਼ਮਾਉਣ ਦੀ ਸਿਫਾਰਸ਼ ਕਰਦਾ ਹਾਂ LSD и kittenhouseਅਤੇ ਲੌਗ ਡਿਲੀਵਰੀ ਬਾਰੇ ਇਹ ਲੇਖ.

ਪਹਿਲਾਂ ਤੁਹਾਨੂੰ ਅਧਾਰ ਸਕੀਮ 'ਤੇ ਫੈਸਲਾ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਹੈ. ਕਿਉਂਕਿ ਤੁਸੀਂ ਆਮ ਤੌਰ 'ਤੇ ਸਮੇਂ ਅਨੁਸਾਰ ਕ੍ਰਮਬੱਧ ਕੀਤੇ ਲੌਗਾਂ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ, ਇਸ ਲਈ ਉਹਨਾਂ ਨੂੰ ਇਸ ਤਰੀਕੇ ਨਾਲ ਸਟੋਰ ਕਰਨਾ ਲਾਜ਼ੀਕਲ ਲੱਗਦਾ ਹੈ। ਜੇਕਰ ਬਹੁਤ ਸਾਰੀਆਂ ਲੌਗ ਸ਼੍ਰੇਣੀਆਂ ਹਨ ਅਤੇ ਉਹ ਸਾਰੀਆਂ ਇੱਕੋ ਕਿਸਮ ਦੀਆਂ ਹਨ, ਤਾਂ ਤੁਸੀਂ ਪ੍ਰਾਇਮਰੀ ਕੁੰਜੀ ਦੇ ਪਹਿਲੇ ਕਾਲਮ ਵਜੋਂ ਇੱਕ ਲੌਗ ਸ਼੍ਰੇਣੀ ਬਣਾ ਸਕਦੇ ਹੋ - ਇਹ ਤੁਹਾਨੂੰ ਕਈਆਂ ਦੀ ਬਜਾਏ ਇੱਕ ਸਾਰਣੀ ਰੱਖਣ ਦੀ ਇਜਾਜ਼ਤ ਦੇਵੇਗਾ, ਜੋ ਕਿ ਇੱਕ ਵੱਡਾ ਪਲੱਸ ਹੋਵੇਗਾ ਜਦੋਂ ਕਲਿਕਹਾਊਸ ਵਿੱਚ ਸੰਮਿਲਿਤ ਕਰਨਾ (ਹਾਰਡ ਡਰਾਈਵਾਂ ਵਾਲੇ ਸਰਵਰਾਂ 'ਤੇ, ਪ੍ਰਤੀ ਸਕਿੰਟ ~ 1 ਵਾਰ ਤੋਂ ਵੱਧ ਡਾਟਾ ਪਾਉਣ ਦੀ ਸਿਫਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ) ਪੂਰੇ ਸਰਵਰ ਲਈ).

ਭਾਵ, ਸਾਨੂੰ ਲਗਭਗ ਹੇਠਾਂ ਦਿੱਤੀ ਸਾਰਣੀ ਸਕੀਮ ਦੀ ਲੋੜ ਹੈ:

CREATE TABLE logs(
    category LowCardinality(String), -- категория логов (опционально)
    time DateTime, -- время события
    millis UInt16, -- миллисекунды (могут быть и микросекунды, и т.д.): рекомендуется хранить, если событий много, чтобы было легче различать события между собой
    ..., -- ваши собственные поля, например имя сервера, уровень логирования, и так далее
    message String -- текст сообщения
) ENGINE=MergeTree()
ORDER BY (category, time, millis)

ਬਦਕਿਸਮਤੀ ਨਾਲ, ਮੈਨੂੰ ਤੁਰੰਤ ਵਾਸਤਵਿਕ ਲੌਗਸ ਦੇ ਨਾਲ ਕੋਈ ਖੁੱਲਾ ਸਰੋਤ ਨਹੀਂ ਮਿਲਿਆ ਜਿਸਨੂੰ ਮੈਂ ਫੜ ਕੇ ਡਾਊਨਲੋਡ ਕਰ ਸਕਦਾ/ਸਕਦੀ ਹਾਂ, ਇਸਲਈ ਮੈਂ ਇਸਨੂੰ ਇੱਕ ਉਦਾਹਰਣ ਵਜੋਂ ਲਿਆ। 2015 ਤੋਂ ਪਹਿਲਾਂ ਐਮਾਜ਼ਾਨ ਤੋਂ ਉਤਪਾਦਾਂ ਦੀਆਂ ਸਮੀਖਿਆਵਾਂ. ਬੇਸ਼ੱਕ, ਉਹਨਾਂ ਦੀ ਬਣਤਰ ਟੈਕਸਟ ਲੌਗਸ ਵਰਗੀ ਨਹੀਂ ਹੈ, ਪਰ ਦ੍ਰਿਸ਼ਟਾਂਤ ਦੇ ਉਦੇਸ਼ਾਂ ਲਈ ਇਹ ਮਹੱਤਵਪੂਰਨ ਨਹੀਂ ਹੈ।

ਕਲਿਕਹਾਊਸ 'ਤੇ ਐਮਾਜ਼ਾਨ ਸਮੀਖਿਆਵਾਂ ਨੂੰ ਅੱਪਲੋਡ ਕਰਨ ਲਈ ਨਿਰਦੇਸ਼

ਆਉ ਇੱਕ ਸਾਰਣੀ ਬਣਾਈਏ:

CREATE TABLE amazon(
   review_date Date,
   time DateTime DEFAULT toDateTime(toUInt32(review_date) * 86400 + rand() % 86400),
   millis UInt16 DEFAULT rand() % 1000,
   marketplace LowCardinality(String),
   customer_id Int64,
   review_id String,
   product_id LowCardinality(String),
   product_parent Int64,
   product_title String,
   product_category LowCardinality(String),
   star_rating UInt8,
   helpful_votes UInt32,
   total_votes UInt32,
   vine FixedString(1),
   verified_purchase FixedString(1),
   review_headline String,
   review_body String
)
ENGINE=MergeTree()
ORDER BY (time, millis)
SETTINGS index_granularity=8192

ਐਮਾਜ਼ਾਨ ਡੇਟਾਸੇਟ ਵਿੱਚ ਸਮੀਖਿਆ ਲਈ ਸਿਰਫ ਇੱਕ ਮਿਤੀ ਹੈ, ਪਰ ਕੋਈ ਸਹੀ ਸਮਾਂ ਨਹੀਂ ਹੈ, ਇਸ ਲਈ ਆਓ ਇਸ ਡੇਟਾ ਨੂੰ ਰੈਂਡਨ ਨਾਲ ਭਰੀਏ।

ਤੁਹਾਨੂੰ ਸਾਰੀਆਂ tsv ਫਾਈਲਾਂ ਨੂੰ ਡਾਉਨਲੋਡ ਕਰਨ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ ਅਤੇ ਆਪਣੇ ਆਪ ਨੂੰ ਪਹਿਲੇ ~ 10-20 ਤੱਕ ਸੀਮਿਤ ਕਰਨ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ ਤਾਂ ਜੋ ਡੇਟਾ ਦਾ ਕਾਫ਼ੀ ਵੱਡਾ ਸੈੱਟ ਪ੍ਰਾਪਤ ਕੀਤਾ ਜਾ ਸਕੇ ਜੋ 16 GB RAM ਵਿੱਚ ਫਿੱਟ ਨਹੀਂ ਹੋਵੇਗਾ। TSV ਫਾਈਲਾਂ ਨੂੰ ਅਪਲੋਡ ਕਰਨ ਲਈ ਮੈਂ ਹੇਠਾਂ ਦਿੱਤੀ ਕਮਾਂਡ ਦੀ ਵਰਤੋਂ ਕੀਤੀ:

for i in *.tsv; do
    echo $i;
    tail -n +2 $i | pv |
    clickhouse-client --input_format_allow_errors_ratio 0.5 --query='INSERT INTO amazon(marketplace,customer_id,review_id,product_id,product_parent,product_title,product_category,star_rating,helpful_votes,total_votes,vine,verified_purchase,review_headline,review_body,review_date) FORMAT TabSeparated'
done

1000 GB ਦੇ ਆਕਾਰ ਦੇ ਨਾਲ Google ਕਲਾਉਡ ਵਿੱਚ ਇੱਕ ਮਿਆਰੀ ਪਰਸਿਸਟੈਂਟ ਡਿਸਕ (ਜੋ ਕਿ ਇੱਕ HDD ਹੈ) ਉੱਤੇ (ਮੈਂ ਮੁੱਖ ਤੌਰ 'ਤੇ ਇਹ ਆਕਾਰ ਲਿਆ ਹੈ ਤਾਂ ਕਿ ਸਪੀਡ ਥੋੜੀ ਵੱਧ ਹੋਵੇ, ਹਾਲਾਂਕਿ ਸ਼ਾਇਦ ਲੋੜੀਂਦੇ ਆਕਾਰ ਦਾ ਇੱਕ SSD ਸਸਤਾ ਹੁੰਦਾ) ਅੱਪਲੋਡ 75 ਕੋਰਾਂ 'ਤੇ ਗਤੀ ਲਗਭਗ ~ 4 MB/sec ਸੀ।

• ਮੈਨੂੰ ਇੱਕ ਰਿਜ਼ਰਵੇਸ਼ਨ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਮੈਂ Google ਵਿੱਚ ਕੰਮ ਕਰਦਾ ਹਾਂ, ਪਰ ਮੈਂ ਇੱਕ ਨਿੱਜੀ ਖਾਤਾ ਵਰਤਿਆ ਹੈ ਅਤੇ ਇਸ ਲੇਖ ਦਾ ਕੰਪਨੀ ਵਿੱਚ ਮੇਰੇ ਕੰਮ ਨਾਲ ਕੋਈ ਲੈਣਾ-ਦੇਣਾ ਨਹੀਂ ਹੈ

ਮੈਂ ਇਸ ਵਿਸ਼ੇਸ਼ ਡੇਟਾਸੈਟ ਨਾਲ ਸਾਰੇ ਦ੍ਰਿਸ਼ਟਾਂਤ ਤਿਆਰ ਕਰਾਂਗਾ, ਕਿਉਂਕਿ ਇਹ ਸਭ ਮੇਰੇ ਕੋਲ ਸੀ।

ਡਾਟਾ ਸਕੈਨਿੰਗ ਪ੍ਰਗਤੀ ਦਿਖਾਓ

ਕਿਉਂਕਿ ਕਲਿਕਹਾਊਸ ਵਿੱਚ ਅਸੀਂ ਲੌਗਸ ਦੇ ਨਾਲ ਇੱਕ ਟੇਬਲ 'ਤੇ ਇੱਕ ਪੂਰੇ ਸਕੈਨ ਦੀ ਵਰਤੋਂ ਕਰਾਂਗੇ, ਅਤੇ ਇਸ ਕਾਰਵਾਈ ਵਿੱਚ ਕਾਫ਼ੀ ਸਮਾਂ ਲੱਗ ਸਕਦਾ ਹੈ ਅਤੇ ਹੋ ਸਕਦਾ ਹੈ ਕਿ ਲੰਬੇ ਸਮੇਂ ਤੱਕ ਕੋਈ ਨਤੀਜਾ ਨਾ ਦੇ ਸਕੇ ਜੇਕਰ ਕੁਝ ਮੇਲ ਮਿਲੇ ਹਨ, ਤਾਂ ਇਹ ਦਿਖਾਉਣ ਦੇ ਯੋਗ ਹੋਣ ਦੀ ਸਲਾਹ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ। ਨਤੀਜੇ ਦੇ ਨਾਲ ਪਹਿਲੀ ਕਤਾਰਾਂ ਪ੍ਰਾਪਤ ਹੋਣ ਤੱਕ ਪੁੱਛਗਿੱਛ ਦੀ ਪ੍ਰਗਤੀ। ਅਜਿਹਾ ਕਰਨ ਲਈ, HTTP ਇੰਟਰਫੇਸ ਵਿੱਚ ਇੱਕ ਪੈਰਾਮੀਟਰ ਹੈ ਜੋ ਤੁਹਾਨੂੰ HTTP ਸਿਰਲੇਖਾਂ ਵਿੱਚ ਤਰੱਕੀ ਭੇਜਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ: send_progress_in_http_headers=1. ਬਦਕਿਸਮਤੀ ਨਾਲ, ਮਿਆਰੀ ਗੋ ਲਾਇਬ੍ਰੇਰੀ ਸਿਰਲੇਖਾਂ ਨੂੰ ਪੜ੍ਹ ਨਹੀਂ ਸਕਦੀ ਕਿਉਂਕਿ ਉਹ ਪ੍ਰਾਪਤ ਹੋਏ ਹਨ, ਪਰ HTTP 1.0 ਇੰਟਰਫੇਸ (1.1 ਨਾਲ ਉਲਝਣ ਵਿੱਚ ਨਹੀਂ!) ਕਲਿਕਹਾਊਸ ਦੁਆਰਾ ਸਮਰਥਿਤ ਹੈ, ਇਸਲਈ ਤੁਸੀਂ ਕਲਿਕਹਾਊਸ ਲਈ ਇੱਕ ਕੱਚਾ TCP ਕਨੈਕਸ਼ਨ ਖੋਲ੍ਹ ਸਕਦੇ ਹੋ ਅਤੇ ਇਸਨੂੰ ਉੱਥੇ ਭੇਜ ਸਕਦੇ ਹੋ। GET /?query=... HTTP/1.0nn ਅਤੇ ਬਿਨਾਂ ਕਿਸੇ ਬਚਣ ਜਾਂ ਏਨਕ੍ਰਿਪਸ਼ਨ ਦੇ ਜਵਾਬ ਸਿਰਲੇਖ ਅਤੇ ਬਾਡੀ ਪ੍ਰਾਪਤ ਕਰੋ, ਇਸ ਲਈ ਇਸ ਸਥਿਤੀ ਵਿੱਚ ਸਾਨੂੰ ਮਿਆਰੀ ਲਾਇਬ੍ਰੇਰੀ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਵੀ ਲੋੜ ਨਹੀਂ ਹੈ।

ਕਲਿਕਹਾਊਸ ਤੋਂ ਸਟ੍ਰੀਮਿੰਗ ਲੌਗਸ

ਕਲਿਕਹਾਊਸ ਕੋਲ ਮੁਕਾਬਲਤਨ ਲੰਬੇ ਸਮੇਂ (2019 ਤੋਂ?) ਲਈ ORDER BY ਨਾਲ ਪੁੱਛਗਿੱਛਾਂ ਲਈ ਅਨੁਕੂਲਤਾ ਹੈ, ਇਸ ਲਈ ਇੱਕ ਪੁੱਛਗਿੱਛ ਵਰਗੀ

SELECT time, millis, message
FROM logs
WHERE message LIKE '%something%'
ORDER BY time DESC, millis DESC

ਇਹ ਤੁਰੰਤ ਉਹਨਾਂ ਲਾਈਨਾਂ ਨੂੰ ਵਾਪਸ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰ ਦੇਵੇਗਾ ਜਿਨ੍ਹਾਂ ਦੇ ਸੁਨੇਹੇ ਵਿੱਚ ਸਬਸਟਰਿੰਗ "ਕੁਝ" ਹੈ, ਸਕੈਨ ਦੇ ਪੂਰਾ ਹੋਣ ਦੀ ਉਡੀਕ ਕੀਤੇ ਬਿਨਾਂ।

ਨਾਲ ਹੀ, ਇਹ ਬਹੁਤ ਸੁਵਿਧਾਜਨਕ ਹੋਵੇਗਾ ਜੇਕਰ ਕਲਿਕਹਾਊਸ ਖੁਦ ਹੀ ਬੇਨਤੀ ਨੂੰ ਰੱਦ ਕਰ ਦਿੰਦਾ ਹੈ ਜਦੋਂ ਇਸਦਾ ਕਨੈਕਸ਼ਨ ਬੰਦ ਹੋ ਗਿਆ ਸੀ, ਪਰ ਇਹ ਡਿਫੌਲਟ ਵਿਵਹਾਰ ਨਹੀਂ ਹੈ। ਵਿਕਲਪ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਆਟੋਮੈਟਿਕ ਬੇਨਤੀ ਰੱਦ ਕਰਨ ਨੂੰ ਸਮਰੱਥ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ cancel_http_readonly_queries_on_client_close=1.

ਗੋ ਵਿੱਚ SIGPIPE ਦਾ ਸਹੀ ਪ੍ਰਬੰਧਨ

ਜਦੋਂ ਤੁਸੀਂ ਚਲਾਉਂਦੇ ਹੋ, ਤਾਂ ਕਮਾਂਡ ਕਹੋ some_cmd | head -n 10, ਬਿਲਕੁਲ ਕਿਵੇਂ ਹੁਕਮ ਹੈ some_cmd ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਨੂੰ ਰੋਕਦਾ ਹੈ ਜਦੋਂ head 10 ਲਾਈਨਾਂ ਘਟਾਈਆਂ? ਜਵਾਬ ਸਧਾਰਨ ਹੈ: ਕਦੋਂ head ਖਤਮ ਹੁੰਦਾ ਹੈ, ਪਾਈਪ ਬੰਦ ਹੋ ਜਾਂਦੀ ਹੈ, ਅਤੇ some_cmd ਕਮਾਂਡ ਦਾ stdout, ਸ਼ਰਤ ਅਨੁਸਾਰ, "ਕਿਤੇ ਵੀ ਨਹੀਂ" ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰਦਾ ਹੈ। ਜਦੋਂ some_cmd ਇੱਕ ਬੰਦ ਪਾਈਪ ਨੂੰ ਲਿਖਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦਾ ਹੈ, ਇਹ ਇੱਕ SIGPIPE ਸਿਗਨਲ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ, ਜੋ ਮੂਲ ਰੂਪ ਵਿੱਚ ਪ੍ਰੋਗਰਾਮ ਨੂੰ ਚੁੱਪਚਾਪ ਸਮਾਪਤ ਕਰ ਦਿੰਦਾ ਹੈ.

ਗੋ ਵਿੱਚ ਇਹ ਡਿਫੌਲਟ ਰੂਪ ਵਿੱਚ ਵੀ ਹੁੰਦਾ ਹੈ, ਪਰ SIGPIPE ਸਿਗਨਲ ਹੈਂਡਲਰ ਅੰਤ ਵਿੱਚ "ਸਿਗਨਲ: SIGPIPE" ਜਾਂ ਇੱਕ ਸਮਾਨ ਸੁਨੇਹਾ ਵੀ ਪ੍ਰਿੰਟ ਕਰਦਾ ਹੈ, ਅਤੇ ਇਸ ਸੁਨੇਹੇ ਨੂੰ ਸਾਫ਼ ਕਰਨ ਲਈ ਸਾਨੂੰ SIGPIPE ਨੂੰ ਆਪਣੇ ਆਪ ਨੂੰ ਉਸੇ ਤਰ੍ਹਾਂ ਸੰਭਾਲਣ ਦੀ ਲੋੜ ਹੈ ਜਿਵੇਂ ਅਸੀਂ ਚਾਹੁੰਦੇ ਹਾਂ, ਭਾਵ, ਚੁੱਪਚਾਪ। ਨਿਕਾਸ:

ch := make(chan os.Signal)
signal.Notify(ch, syscall.SIGPIPE)
go func() {
    <-ch
    os.Exit(0)
}()

ਸੁਨੇਹਾ ਸੰਦਰਭ ਦਿਖਾਓ

ਅਕਸਰ ਤੁਸੀਂ ਉਸ ਸੰਦਰਭ ਨੂੰ ਦੇਖਣਾ ਚਾਹੁੰਦੇ ਹੋ ਜਿਸ ਵਿੱਚ ਕੁਝ ਗਲਤੀ ਆਈ ਹੈ (ਉਦਾਹਰਣ ਲਈ, ਕਿਹੜੀ ਬੇਨਤੀ ਕਾਰਨ ਘਬਰਾਹਟ ਪੈਦਾ ਹੋਈ, ਜਾਂ ਕਰੈਸ਼ ਤੋਂ ਪਹਿਲਾਂ ਕਿਹੜੀਆਂ ਸੰਬੰਧਿਤ ਸਮੱਸਿਆਵਾਂ ਦਿਖਾਈ ਦੇ ਰਹੀਆਂ ਸਨ), ਅਤੇ ਵਿੱਚ grep ਇਹ -A, -B, ਅਤੇ -C ਵਿਕਲਪਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜੋ ਕ੍ਰਮਵਾਰ ਸੁਨੇਹੇ ਦੇ ਬਾਅਦ, ਪਹਿਲਾਂ ਅਤੇ ਆਲੇ-ਦੁਆਲੇ ਲਾਈਨਾਂ ਦੀ ਨਿਰਧਾਰਤ ਸੰਖਿਆ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਨ।

ਬਦਕਿਸਮਤੀ ਨਾਲ, ਮੈਨੂੰ ਕਲਿਕਹਾਊਸ ਵਿੱਚ ਅਜਿਹਾ ਕਰਨ ਦਾ ਕੋਈ ਆਸਾਨ ਤਰੀਕਾ ਨਹੀਂ ਮਿਲਿਆ ਹੈ, ਇਸਲਈ ਸੰਦਰਭ ਨੂੰ ਪ੍ਰਦਰਸ਼ਿਤ ਕਰਨ ਲਈ, ਇਸ ਤਰ੍ਹਾਂ ਦੀ ਇੱਕ ਵਾਧੂ ਬੇਨਤੀ ਨਤੀਜੇ ਦੀ ਹਰੇਕ ਲਾਈਨ ਨੂੰ ਭੇਜੀ ਜਾਂਦੀ ਹੈ (ਵੇਰਵੇ ਛਾਂਟੀ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ ਅਤੇ ਕੀ ਸੰਦਰਭ ਪਹਿਲਾਂ ਦਿਖਾਇਆ ਗਿਆ ਹੈ। ਜਾਂ ਬਾਅਦ):

SELECT time,millis,review_body FROM amazon
WHERE (time = 'ВРЕМЯ_СОБЫТИЯ' AND millis < МИЛЛИСЕКУНДЫ_СОБЫТИЯ) OR (time < 'ВРЕМЯ_СОБЫТИЯ')
ORDER BY time DESC, millis DESC
LIMIT КОЛИЧЕСТВО_СТРОК_КОНТЕКСТА
SETTINGS max_threads=1

ਕਿਉਂਕਿ ਬੇਨਤੀ ਨੂੰ ਕਲਿਕਹਾਊਸ ਦੁਆਰਾ ਸੰਬੰਧਿਤ ਲਾਈਨ ਵਾਪਸ ਕਰਨ ਤੋਂ ਤੁਰੰਤ ਬਾਅਦ ਭੇਜਿਆ ਜਾਂਦਾ ਹੈ, ਇਹ ਕੈਸ਼ ਵਿੱਚ ਖਤਮ ਹੁੰਦਾ ਹੈ ਅਤੇ ਆਮ ਤੌਰ 'ਤੇ ਬੇਨਤੀ ਬਹੁਤ ਤੇਜ਼ੀ ਨਾਲ ਚਲਾਈ ਜਾਂਦੀ ਹੈ ਅਤੇ ਥੋੜਾ ਜਿਹਾ CPU ਖਪਤ ਕਰਦੀ ਹੈ (ਆਮ ਤੌਰ 'ਤੇ ਮੇਰੀ ਵਰਚੁਅਲ ਮਸ਼ੀਨ 'ਤੇ ਬੇਨਤੀ ਲਗਭਗ ~ 6 ms ਲੈਂਦਾ ਹੈ)।

ਰੀਅਲ ਟਾਈਮ ਵਿੱਚ ਨਵੇਂ ਸੁਨੇਹੇ ਦਿਖਾਓ

ਆਉਣ ਵਾਲੇ ਸੁਨੇਹਿਆਂ ਨੂੰ (ਲਗਭਗ) ਰੀਅਲ ਟਾਈਮ ਵਿੱਚ ਦਿਖਾਉਣ ਲਈ, ਅਸੀਂ ਹਰ ਕੁਝ ਸਕਿੰਟਾਂ ਵਿੱਚ ਇੱਕ ਵਾਰ ਬੇਨਤੀ ਨੂੰ ਲਾਗੂ ਕਰਦੇ ਹਾਂ, ਪਿਛਲੇ ਟਾਈਮਸਟੈਂਪ ਨੂੰ ਯਾਦ ਕਰਦੇ ਹੋਏ ਜਿਸਦਾ ਅਸੀਂ ਪਹਿਲਾਂ ਸਾਹਮਣਾ ਕੀਤਾ ਸੀ।

ਕਮਾਂਡ ਦੀਆਂ ਉਦਾਹਰਣਾਂ

ਅਭਿਆਸ ਵਿੱਚ ਆਮ logscli ਕਮਾਂਡਾਂ ਕਿਵੇਂ ਦਿਖਾਈ ਦਿੰਦੀਆਂ ਹਨ?

ਜੇ ਤੁਸੀਂ ਐਮਾਜ਼ਾਨ ਡੇਟਾਸੈਟ ਨੂੰ ਡਾਉਨਲੋਡ ਕੀਤਾ ਹੈ ਜਿਸਦਾ ਮੈਂ ਲੇਖ ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਜ਼ਿਕਰ ਕੀਤਾ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਹੇਠ ਲਿਖੀਆਂ ਕਮਾਂਡਾਂ ਚਲਾ ਸਕਦੇ ਹੋ:

# Показать строки, где встречается слово walmart
$ logscli -F 'walmart' | less

# Показать самые свежие 10 строк, где встречается "terrible"
$ logscli -F terrible -limit 10

# То же самое без -limit:
$ logscli -F terrible | head -n 10

# Показать все строки, подходящие под /times [0-9]/, написанные для vine и у которых высокий рейтинг
$ logscli -E 'times [0-9]' -where="vine='Y' AND star_rating>4" | less

# Показать все строки со словом "panic" и 3 строки контекста вокруг
$ logscli -F 'panic' -C 3 | less

# Непрерывно показывать новые строки со словом "5-star"
$ logscli -F '5-star' -tailf

ਹਵਾਲੇ

ਉਪਯੋਗਤਾ ਕੋਡ (ਦਸਤਾਵੇਜ਼ਾਂ ਤੋਂ ਬਿਨਾਂ) github 'ਤੇ ਉਪਲਬਧ ਹੈ https://github.com/YuriyNasretdinov/logscli. ਕਲਿਕਹਾਊਸ 'ਤੇ ਆਧਾਰਿਤ ਲੌਗ ਦੇਖਣ ਲਈ ਕੰਸੋਲ ਇੰਟਰਫੇਸ ਲਈ ਮੇਰੇ ਵਿਚਾਰ 'ਤੇ ਤੁਹਾਡੇ ਵਿਚਾਰ ਸੁਣ ਕੇ ਮੈਨੂੰ ਖੁਸ਼ੀ ਹੋਵੇਗੀ।

ਸਰੋਤ: www.habr.com