અમે લોગ જોવા માટે વિશ્વમાં સૌથી અનુકૂળ ઇન્ટરફેસ વિકસાવી રહ્યા છીએ*

જો તમે ક્યારેય લોગ્સ જોવા માટે વેબ ઈન્ટરફેસનો ઉપયોગ કર્યો હોય, તો તમે કદાચ નોંધ્યું હશે કે કેવી રીતે, એક નિયમ તરીકે, આ ઈન્ટરફેસો બોજારૂપ છે અને (ઘણીવાર) ખૂબ અનુકૂળ અને પ્રતિભાવ આપતા નથી. કેટલાકની તમને આદત પડી શકે છે, કેટલીક એકદમ ભયંકર છે, પરંતુ મને લાગે છે કે બધી સમસ્યાઓનું કારણ એ છે કે અમે લોગ જોવાના કાર્યને ખોટી રીતે સંપર્ક કરીએ છીએ: અમે એક વેબ ઇન્ટરફેસ બનાવવાનો પ્રયાસ કરીએ છીએ જ્યાં CLI (કમાન્ડ લાઇન ઇન્ટરફેસ) વધુ સારી રીતે કામ કરે છે. હું અંગત રીતે tail, grep, awk અને અન્ય સાથે કામ કરવા માટે ખૂબ જ આરામદાયક છું અને તેથી મારા માટે લોગ સાથે કામ કરવા માટેનું આદર્શ ઈન્ટરફેસ tail અને grep જેવું જ હશે, પરંતુ જેનો ઉપયોગ ઘણા સર્વર્સમાંથી આવતા લોગને વાંચવા માટે પણ થઈ શકે છે. તે છે, અલબત્ત, તેમને ક્લિકહાઉસમાંથી વાંચો!

*હાબ્રા વપરાશકર્તાના અંગત અભિપ્રાય મુજબ માની ગયા તમને

logscli ને મળો

હું મારા ઇન્ટરફેસ માટે નામ સાથે આવ્યો નથી, અને, પ્રમાણિકપણે, તે પ્રોટોટાઇપના રૂપમાં અસ્તિત્વમાં છે, પરંતુ જો તમે તરત જ સ્રોત કોડ જોવા માંગતા હો, તો તમારું સ્વાગત છે: https://github.com/YuriyNasretdinov/logscli (પસંદ કરેલ ગો કોડની 350 લીટીઓ).

લક્ષણો

મારો ધ્યેય એક ઇન્ટરફેસ બનાવવાનો હતો જે પૂંછડી/ગ્રેપ માટે વપરાય છે, એટલે કે નીચેની બાબતોને ટેકો આપવા માટે પરિચિત લાગે.

1. ફિલ્ટર કર્યા વિના, બધા લોગ જુઓ.
2. નિશ્ચિત સબસ્ટ્રિંગ ધરાવતી રેખાઓ છોડો (ધ્વજ -F у grep).
3. નિયમિત અભિવ્યક્તિ સાથે મેળ ખાતી રેખાઓ છોડો (ધ્વજ -E у grep).
4. મૂળભૂત રીતે, જોવું એ વિપરીત કાલક્રમિક ક્રમમાં છે, કારણ કે સૌથી તાજેતરના લોગ સામાન્ય રીતે પ્રથમ રસ ધરાવતા હોય છે.
5. દરેક લાઇનની બાજુમાં સંદર્ભ બતાવો (વિકલ્પો -A, -B и -C у grep, અનુક્રમે દરેક મેળ ખાતી લાઇનની પહેલા, પછી અને આસપાસ N રેખાઓ છાપવી).
6. ફિલ્ટરિંગ સાથે અથવા વગર (આવશ્યક રીતે tail -f | grep).
7. ઇન્ટરફેસ સાથે સુસંગત હોવું આવશ્યક છે less, head, tail અને અન્ય - ડિફૉલ્ટ રૂપે, પરિણામો તેમની સંખ્યા પર પ્રતિબંધ વિના પરત કરવા જોઈએ; જ્યાં સુધી વપરાશકર્તા તેમને પ્રાપ્ત કરવામાં રસ ધરાવતો હોય ત્યાં સુધી રેખાઓ સ્ટ્રીમ તરીકે છાપવામાં આવે છે; સંકેત SIGPIPE લોગ સ્ટ્રીમિંગને શાંતિપૂર્વક અટકાવવું જોઈએ, જેમ તેઓ કરે છે tail, grep અને અન્ય UNIX ઉપયોગિતાઓ.

Реализация

હું ધારીશ કે તમે પહેલેથી જ કોઈક રીતે જાણો છો કે ક્લિકહાઉસ પર લોગ કેવી રીતે પહોંચાડવા. જો નહિં, તો હું તેનો પ્રયાસ કરવાની ભલામણ કરું છું એલએસડી и બિલાડીનું બચ્ચું, અને લોગ ડિલિવરી વિશેનો આ લેખ.

પ્રથમ તમારે આધાર યોજના પર નિર્ણય લેવાની જરૂર છે. તમે સામાન્ય રીતે સમય પ્રમાણે સૉર્ટ કરેલા લૉગ્સ પ્રાપ્ત કરવા માગતા હોવાથી, તેને તે રીતે સંગ્રહિત કરવું તાર્કિક લાગે છે. જો ત્યાં ઘણી બધી લોગ કેટેગરીઝ છે અને તે બધી એક જ પ્રકારની છે, તો પછી તમે પ્રાથમિક કીની પ્રથમ કૉલમ તરીકે લોગ કેટેગરી બનાવી શકો છો - આ તમને ઘણાને બદલે એક ટેબલ રાખવા દેશે, જે એક મોટો વત્તા હશે જ્યારે ક્લિકહાઉસમાં દાખલ કરવું (હાર્ડ ડ્રાઇવ સાથેના સર્વર પર, પ્રતિ સેકન્ડમાં ~1 વખતથી વધુ ડેટા દાખલ કરવાની ભલામણ કરવામાં આવે છે સમગ્ર સર્વર માટે).

એટલે કે, અમને લગભગ નીચેની કોષ્ટક યોજનાની જરૂર છે:

CREATE TABLE logs(
    category LowCardinality(String), -- категория логов (опционально)
    time DateTime, -- время события
    millis UInt16, -- миллисекунды (могут быть и микросекунды, и т.д.): рекомендуется хранить, если событий много, чтобы было легче различать события между собой
    ..., -- ваши собственные поля, например имя сервера, уровень логирования, и так далее
    message String -- текст сообщения
) ENGINE=MergeTree()
ORDER BY (category, time, millis)

કમનસીબે, મને તરત જ વાસ્તવિક લૉગ્સ સાથેના કોઈપણ ખુલ્લા સ્રોતો મળ્યાં નથી કે જેને હું પકડી શકું અને ડાઉનલોડ કરી શકું, તેથી મેં તેને બદલે ઉદાહરણ તરીકે લીધું 2015 પહેલા એમેઝોનના ઉત્પાદનોની સમીક્ષાઓ. અલબત્ત, તેમનું માળખું ટેક્સ્ટ લૉગ્સ જેવું જ નથી, પરંતુ ચિત્રના હેતુઓ માટે આ મહત્વપૂર્ણ નથી.

ક્લિકહાઉસ પર એમેઝોન સમીક્ષાઓ અપલોડ કરવા માટેની સૂચનાઓ

ચાલો એક ટેબલ બનાવીએ:

CREATE TABLE amazon(
   review_date Date,
   time DateTime DEFAULT toDateTime(toUInt32(review_date) * 86400 + rand() % 86400),
   millis UInt16 DEFAULT rand() % 1000,
   marketplace LowCardinality(String),
   customer_id Int64,
   review_id String,
   product_id LowCardinality(String),
   product_parent Int64,
   product_title String,
   product_category LowCardinality(String),
   star_rating UInt8,
   helpful_votes UInt32,
   total_votes UInt32,
   vine FixedString(1),
   verified_purchase FixedString(1),
   review_headline String,
   review_body String
)
ENGINE=MergeTree()
ORDER BY (time, millis)
SETTINGS index_granularity=8192

એમેઝોન ડેટાસેટમાં સમીક્ષા માટે માત્ર એક તારીખ છે, પરંતુ ત્યાં કોઈ ચોક્કસ સમય નથી, તેથી ચાલો આ ડેટાને રેન્ડન સાથે ભરીએ.

તમારે બધી tsv ફાઇલો ડાઉનલોડ કરવાની જરૂર નથી અને 10 GB RAM માં ફિટ ન હોય તેવા ડેટાનો એકદમ મોટો સેટ મેળવવા માટે તમારી જાતને પ્રથમ ~20-16 સુધી મર્યાદિત કરવાની જરૂર નથી. TSV ફાઇલો અપલોડ કરવા માટે મેં નીચેના આદેશનો ઉપયોગ કર્યો:

for i in *.tsv; do
    echo $i;
    tail -n +2 $i | pv |
    clickhouse-client --input_format_allow_errors_ratio 0.5 --query='INSERT INTO amazon(marketplace,customer_id,review_id,product_id,product_parent,product_title,product_category,star_rating,helpful_votes,total_votes,vine,verified_purchase,review_headline,review_body,review_date) FORMAT TabSeparated'
done

Google ક્લાઉડમાં 1000 GB ની સાઈઝ ધરાવતી સ્ટાન્ડર્ડ પર્સિસ્ટન્ટ ડિસ્ક (જે HDD છે) પર (મેં આ સાઈઝ મુખ્યત્વે એટલા માટે લીધી છે કે સ્પીડ થોડી વધારે હતી, જો કે કદાચ જરૂરી કદનો SSD સસ્તો હોત) અપલોડ 75 કોરો પર ઝડપ આશરે ~ 4 MB/sec હતી.

• મારે એક રિઝર્વેશન કરવું જોઈએ કે હું Google પર કામ કરું છું, પરંતુ મેં વ્યક્તિગત એકાઉન્ટનો ઉપયોગ કર્યો છે અને આ લેખને કંપનીમાં મારા કામ સાથે કોઈ લેવાદેવા નથી

હું આ ચોક્કસ ડેટાસેટ સાથે તમામ ચિત્રો બનાવીશ, કારણ કે મારી પાસે આ બધું છે.

ડેટા સ્કેનિંગ પ્રગતિ બતાવો

ક્લિકહાઉસમાં અમે લૉગ્સ સાથેના ટેબલ પર સંપૂર્ણ સ્કેનનો ઉપયોગ કરીશું, અને આ ઑપરેશનમાં નોંધપાત્ર સમય લાગી શકે છે અને જો થોડા મેચ જોવા મળે તો લાંબા સમય સુધી કોઈ પરિણામ ન આપી શકે, તે બતાવવા માટે સક્ષમ બનવાની સલાહ આપવામાં આવે છે. પરિણામ સાથેની પ્રથમ પંક્તિઓ પ્રાપ્ત થાય ત્યાં સુધી ક્વેરી પ્રગતિ. આ કરવા માટે, HTTP ઇન્ટરફેસમાં એક પરિમાણ છે જે તમને HTTP હેડરોમાં પ્રગતિ મોકલવાની મંજૂરી આપે છે: send_progress_in_http_headers=1. કમનસીબે, સ્ટાન્ડર્ડ ગો લાઇબ્રેરી મથાળાઓ પ્રાપ્ત થતાં વાંચી શકતી નથી, પરંતુ HTTP 1.0 ઇન્ટરફેસ (1.1 સાથે મૂંઝવણમાં ન આવે!) ClickHouse દ્વારા સપોર્ટેડ છે, તેથી તમે ClickHouse પર કાચું TCP કનેક્શન ખોલી શકો છો અને તેને ત્યાં મોકલી શકો છો. GET /?query=... HTTP/1.0nn અને કોઈપણ એસ્કેપિંગ અથવા એન્ક્રિપ્શન વિના પ્રતિસાદ હેડરો અને મુખ્ય ભાગ પ્રાપ્ત કરો, તેથી આ કિસ્સામાં અમારે પ્રમાણભૂત પુસ્તકાલયનો ઉપયોગ કરવાની પણ જરૂર નથી.

ક્લિકહાઉસમાંથી સ્ટ્રીમિંગ લોગ

ClickHouse પ્રમાણમાં લાંબા સમયથી (2019 થી?) માટે ORDER BY સાથે ક્વેરી માટે ઓપ્ટિમાઇઝેશન ધરાવે છે, તેથી ક્વેરી જેવી

SELECT time, millis, message
FROM logs
WHERE message LIKE '%something%'
ORDER BY time DESC, millis DESC

તે તરત જ લાઇન્સ પરત કરવાનું શરૂ કરશે કે જેના સંદેશમાં "કંઈક" સબસ્ટ્રિંગ હશે, સ્કેન પૂર્ણ થવાની રાહ જોયા વિના.

ઉપરાંત, તે ખૂબ અનુકૂળ રહેશે જો ક્લિકહાઉસ પોતે વિનંતીને રદ કરે જ્યારે તેનું જોડાણ બંધ હોય, પરંતુ આ ડિફોલ્ટ વર્તન નથી. વિકલ્પનો ઉપયોગ કરીને સ્વચાલિત વિનંતી રદ કરવાનું સક્ષમ કરી શકાય છે cancel_http_readonly_queries_on_client_close=1.

ગોમાં SIGPIPE નું યોગ્ય સંચાલન

જ્યારે તમે ચલાવો, કહો, આદેશ some_cmd | head -n 10, બરાબર કેવી રીતે આદેશ some_cmd જ્યારે અમલ અટકે છે head 10 લીટીઓ બાદ કરી? જવાબ સરળ છે: ક્યારે head સમાપ્ત થાય છે, પાઇપ બંધ થાય છે, અને some_cmd આદેશનો stdout શરતી રીતે, "ક્યાંય સુધી" નિર્દેશ કરવાનું શરૂ કરે છે. ક્યારે some_cmd બંધ પાઇપ પર લખવાનો પ્રયાસ કરે છે, તે SIGPIPE સિગ્નલ મેળવે છે, જે મૂળભૂત રીતે પ્રોગ્રામને શાંતિપૂર્વક સમાપ્ત કરે છે.

ગોમાં આ ડિફૉલ્ટ રૂપે પણ થાય છે, પરંતુ SIGPIPE સિગ્નલ હેન્ડલર "સિગ્નલ: SIGPIPE" અથવા સમાન સંદેશ પણ છાપે છે, અને આ સંદેશને સાફ કરવા માટે આપણે ફક્ત SIGPIPEને આપણે જે રીતે જોઈએ છે તે રીતે હેન્ડલ કરવાની જરૂર છે, એટલે કે, માત્ર શાંતિથી બહાર નીકળો

ch := make(chan os.Signal)
signal.Notify(ch, syscall.SIGPIPE)
go func() {
    <-ch
    os.Exit(0)
}()

સંદેશનો સંદર્ભ બતાવો

ઘણીવાર તમે તે સંદર્ભને જોવા માંગો છો કે જેમાં કેટલીક ભૂલ આવી હતી (ઉદાહરણ તરીકે, કઈ વિનંતીને કારણે ગભરાટ થયો હતો, અથવા ક્રેશ પહેલાં કઈ સંબંધિત સમસ્યાઓ દેખાતી હતી), અને grep આ -A, -B, અને -C વિકલ્પોનો ઉપયોગ કરીને કરવામાં આવે છે, જે અનુક્રમે સંદેશ પછી, પહેલા અને આસપાસની રેખાઓની ઉલ્લેખિત સંખ્યા દર્શાવે છે.

કમનસીબે, મને ClickHouse માં આવું કરવાની સરળ રીત મળી નથી, તેથી સંદર્ભ દર્શાવવા માટે, આના જેવી વધારાની વિનંતી પરિણામની દરેક લાઇન પર મોકલવામાં આવે છે (વિગતો સૉર્ટિંગ પર આધારિત છે અને સંદર્ભ પહેલાં બતાવવામાં આવ્યો છે કે કેમ. અથવા પછી):

SELECT time,millis,review_body FROM amazon
WHERE (time = 'ВРЕМЯ_СОБЫТИЯ' AND millis < МИЛЛИСЕКУНДЫ_СОБЫТИЯ) OR (time < 'ВРЕМЯ_СОБЫТИЯ')
ORDER BY time DESC, millis DESC
LIMIT КОЛИЧЕСТВО_СТРОК_КОНТЕКСТА
SETTINGS max_threads=1

ક્લિકહાઉસ અનુરૂપ લાઇન પરત કર્યા પછી વિનંતી લગભગ તરત જ મોકલવામાં આવતી હોવાથી, તે કેશમાં સમાપ્ત થાય છે અને સામાન્ય રીતે વિનંતી ખૂબ જ ઝડપથી એક્ઝિક્યુટ થાય છે અને થોડો CPU વાપરે છે (સામાન્ય રીતે વિનંતી મારા વર્ચ્યુઅલ મશીન પર લગભગ ~6 ms લે છે).

રીઅલ ટાઇમમાં નવા સંદેશાઓ બતાવો

આવનારા સંદેશાઓને (લગભગ) રીઅલ ટાઇમમાં બતાવવા માટે, અમે દર થોડીક સેકન્ડમાં એકવાર વિનંતીને એક્ઝિક્યુટ કરીએ છીએ, અમે પહેલાં અનુભવેલી છેલ્લી ટાઇમસ્ટેમ્પને યાદ રાખીને.

આદેશ ઉદાહરણો

વ્યવહારમાં લાક્ષણિક logscli આદેશો કેવા દેખાય છે?

જો તમે એમેઝોન ડેટાસેટ ડાઉનલોડ કર્યો છે જેનો મેં લેખની શરૂઆતમાં ઉલ્લેખ કર્યો છે, તો તમે નીચેના આદેશો ચલાવી શકો છો:

# Показать строки, где встречается слово walmart
$ logscli -F 'walmart' | less

# Показать самые свежие 10 строк, где встречается "terrible"
$ logscli -F terrible -limit 10

# То же самое без -limit:
$ logscli -F terrible | head -n 10

# Показать все строки, подходящие под /times [0-9]/, написанные для vine и у которых высокий рейтинг
$ logscli -E 'times [0-9]' -where="vine='Y' AND star_rating>4" | less

# Показать все строки со словом "panic" и 3 строки контекста вокруг
$ logscli -F 'panic' -C 3 | less

# Непрерывно показывать новые строки со словом "5-star"
$ logscli -F '5-star' -tailf

સંદર્ભો

યુટિલિટી કોડ (દસ્તાવેજો વિના) ગીથબ પર અહીં ઉપલબ્ધ છે https://github.com/YuriyNasretdinov/logscli. ક્લિકહાઉસ પર આધારિત લોગ જોવા માટે કન્સોલ ઇન્ટરફેસ માટેના મારા વિચાર પર તમારા વિચારો સાંભળીને મને આનંદ થશે.

સોર્સ: www.habr.com