אנו מפתחים את הממשק הנוח ביותר בעולם* לצפייה ביומנים

אם אי פעם השתמשת בממשקי אינטרנט לצפייה ביומנים, אז בוודאי שמת לב כיצד, ככלל, הממשקים הללו מסורבלים ו(לעיתים קרובות) לא מאוד נוחים ומגיבים. לחלקם אפשר להתרגל, לחלקם נוראיים לחלוטין, אבל נראה לי שהסיבה לכל הבעיות היא שאנחנו ניגשים למשימה של צפייה ביומנים בצורה לא נכונה: אנחנו מנסים ליצור ממשק אינטרנט שבו ה-CLI (ממשק שורת הפקודה) עובד טוב יותר. אני אישית מאוד נוח לעבוד עם tail, grep, awk ואחרים, ולכן עבורי הממשק האידיאלי לעבודה עם לוגים יהיה משהו דומה ל-tail ו-grep, אך ניתן להשתמש בו גם לקריאת לוגים שהגיעו משרתים רבים. כלומר, כמובן, קרא אותם מ- ClickHouse!

*לפי דעתו האישית של משתמש החברה אתה תותח

הכירו את logscli

לא המצאתי שם לממשק שלי, ולמען האמת, הוא קיים בצורה של אב טיפוס, אבל אם אתה רוצה לראות מיד את קוד המקור, אתה מוזמן: https://github.com/YuriyNasretdinov/logscli (350 שורות של קוד Go נבחר).

יכולות

המטרה שלי הייתה ליצור ממשק שייראה מוכר למי שרגיל ל-tail/grep, כלומר לתמוך בדברים הבאים:

1. הצג את כל היומנים, ללא סינון.
2. השאר שורות המכילות מחרוזת משנה קבועה (דגל -F у grep).
3. השאר שורות התואמות לביטוי הרגולרי (דגל -E у grep).
4. כברירת מחדל, הצפייה היא בסדר כרונולוגי הפוך, שכן היומנים העדכניים ביותר מעניינים בדרך כלל תחילה.
5. הצג הקשר ליד כל שורה (אפשרויות -A, -B и -C у grep, הדפסת N שורות לפני, אחרי ומסביב לכל שורה תואמת, בהתאמה).
6. הצג יומנים נכנסים בזמן אמת, עם או בלי סינון (בעיקרון tail -f | grep).
7. הממשק חייב להיות תואם ל less, head, tail ואחרים - כברירת מחדל, יש להחזיר תוצאות ללא הגבלות על מספרן; שורות מודפסות כזרם כל עוד המשתמש מעוניין לקבל אותן; אוֹת SIGPIPE צריכים להפריע בשקט את הזרמת יומן, בדיוק כמו שהם עושים tail, grep וכלי עזר אחרים של UNIX.

Реализация

אניח שאתה כבר איכשהו יודע איך להעביר לוגים ל- ClickHouse. אם לא, אני ממליץ לנסות את זה סם קשה и בית חתוליםו - מאמר זה על משלוח יומנים.

ראשית עליך להחליט על ערכת הבסיס. מכיוון שבדרך כלל אתה רוצה לקבל יומנים ממוינים לפי זמן, נראה הגיוני לאחסן אותם כך. אם יש הרבה קטגוריות יומן וכולן מאותו סוג, אז אתה יכול ליצור קטגוריית יומן בתור העמודה הראשונה של המפתח הראשי - זה יאפשר לך לקבל טבלה אחת במקום כמה, מה שיהווה יתרון גדול כאשר הכנסה ל-ClickHouse (בשרתים עם כוננים קשיחים, מומלץ להכניס נתונים לא יותר מ-1 פעמים בשנייה עבור כל השרת).

כלומר, אנחנו צריכים בערך את ערכת הטבלה הבאה:

CREATE TABLE logs(
    category LowCardinality(String), -- категория логов (опционально)
    time DateTime, -- время события
    millis UInt16, -- миллисекунды (могут быть и микросекунды, и т.д.): рекомендуется хранить, если событий много, чтобы было легче различать события между собой
    ..., -- ваши собственные поля, например имя сервера, уровень логирования, и так далее
    message String -- текст сообщения
) ENGINE=MergeTree()
ORDER BY (category, time, millis)

לצערי, לא הצלחתי למצוא מיד מקורות פתוחים עם יומנים מציאותיים שאוכל לתפוס ולהוריד, אז לקחתי את זה במקום זאת כדוגמה ביקורות על מוצרים מאמזון לפני 2015. כמובן שהמבנה שלהם לא בדיוק זהה לזה של יומני טקסט, אבל לצרכי המחשה זה לא חשוב.

הוראות להעלאת ביקורות של אמזון ל-ClickHouse

בואו ניצור טבלה:

CREATE TABLE amazon(
   review_date Date,
   time DateTime DEFAULT toDateTime(toUInt32(review_date) * 86400 + rand() % 86400),
   millis UInt16 DEFAULT rand() % 1000,
   marketplace LowCardinality(String),
   customer_id Int64,
   review_id String,
   product_id LowCardinality(String),
   product_parent Int64,
   product_title String,
   product_category LowCardinality(String),
   star_rating UInt8,
   helpful_votes UInt32,
   total_votes UInt32,
   vine FixedString(1),
   verified_purchase FixedString(1),
   review_headline String,
   review_body String
)
ENGINE=MergeTree()
ORDER BY (time, millis)
SETTINGS index_granularity=8192

במערך הנתונים של אמזון יש רק תאריך לסקירה, אבל אין זמן מדויק, אז בואו נמלא את הנתונים האלה עם רנדון.

אתה לא צריך להוריד את כל קבצי ה-tsv ולהגביל את עצמך ל-10-20 הראשונים כדי לקבל סט נתונים גדול למדי שלא יתאים ל-16 GB של זיכרון RAM. כדי להעלות קבצי TSV השתמשתי בפקודה הבאה:

for i in *.tsv; do
    echo $i;
    tail -n +2 $i | pv |
    clickhouse-client --input_format_allow_errors_ratio 0.5 --query='INSERT INTO amazon(marketplace,customer_id,review_id,product_id,product_parent,product_title,product_category,star_rating,helpful_votes,total_votes,vine,verified_purchase,review_headline,review_body,review_date) FORMAT TabSeparated'
done

בדיסק קבוע רגיל (שזה HDD) ב-Google Cloud בגודל של 1000 GB (לקחתי את הגודל הזה בעיקר כדי שהמהירות הייתה קצת יותר גבוהה, אם כי אולי SSD בגודל הנדרש היה זול יותר) ההעלאה המהירות הייתה בערך ~ 75 MB/sek על 4 ליבות.

• אני חייב להזמין מקום שאני עובד בגוגל, אבל השתמשתי בחשבון אישי והמאמר הזה לא קשור לעבודה שלי בחברה

אני אפיק את כל האיורים עם מערך הנתונים המסוים הזה, מכיוון שזה כל מה שהיה לי בהישג יד.

הצג את התקדמות סריקת הנתונים

מכיוון שב-ClickHouse נשתמש בסריקה מלאה על טבלה עם יומנים, ופעולה זו עשויה להימשך זמן רב וייתכן שלא תניב תוצאות במשך זמן רב אם יימצאו מעט התאמות, רצוי להיות מסוגל להציג את התקדמות השאילתה עד לקבלת השורות הראשונות עם התוצאה. לשם כך, יש פרמטר בממשק HTTP המאפשר לשלוח התקדמות בכותרות HTTP: send_progress_in_http_headers=1. לרוע המזל, ספריית ה-Go הרגילה לא יכולה לקרוא כותרות עם קבלתן, אך ממשק HTTP 1.0 (לא להתבלבל עם 1.1!) נתמך על ידי ClickHouse, כך שתוכל לפתוח חיבור TCP גולמי ל-ClickHouse ולשלוח אותו לשם GET /?query=... HTTP/1.0nn ולקבל את כותרות התגובה והגוף ללא כל בריחה או הצפנה, כך שבמקרה הזה אנחנו אפילו לא צריכים להשתמש בספרייה הסטנדרטית.

הזרמת יומנים מ-ClickHouse

ל-ClickHouse יש אופטימיזציה לשאילתות עם ORDER BY כבר זמן רב יחסית (מאז 2019?), אז שאילתה כמו

SELECT time, millis, message
FROM logs
WHERE message LIKE '%something%'
ORDER BY time DESC, millis DESC

הוא יתחיל מיד להחזיר שורות שבהן תת-מחרוזת "משהו" בהודעה שלהן, מבלי לחכות לסיום הסריקה.

כמו כן, יהיה נוח מאוד אם ClickHouse בעצמה תבטל את הבקשה כשהחיבור אליה נסגר, אך זו אינה התנהגות ברירת המחדל. ניתן להפעיל ביטול בקשה אוטומטי באמצעות האפשרות cancel_http_readonly_queries_on_client_close=1.

טיפול נכון ב-SIGPIPE ב-Go

כשאתה מבצע, נגיד, את הפקודה some_cmd | head -n 10, בדיוק איך הפקודה some_cmd מפסיק את הביצוע כאשר head הורידו 10 שורות? התשובה פשוטה: מתי head מסתיים, הצינור נסגר, וה-stdout של הפקודה some_cmd מתחיל להצביע, באופן מותנה, "לשום מקום". מתי some_cmd מנסה לכתוב לצינור סגור, הוא מקבל אות SIGPIPE, שמסיים בשקט את התוכנית כברירת מחדל.

ב-Go זה קורה גם כברירת מחדל, אבל מטפל האותות SIGPIPE מדפיס בסוף גם "אות: SIGPIPE" או הודעה דומה, וכדי לנקות את ההודעה הזו אנחנו רק צריכים לטפל ב-SIGPIPE בעצמנו כמו שאנחנו רוצים, כלומר, רק בשקט יְצִיאָה:

ch := make(chan os.Signal)
signal.Notify(ch, syscall.SIGPIPE)
go func() {
    <-ch
    os.Exit(0)
}()

הצג את הקשר ההודעה

לעתים קרובות אתה רוצה לראות את ההקשר שבו אירעה שגיאה כלשהי (לדוגמה, איזו בקשה גרמה לבהלה, או אילו בעיות קשורות היו גלויות לפני הקריסה), וב grep זה נעשה באמצעות האפשרויות -A, -B ו-C, המציגות את מספר השורות שצוין אחרי, לפני ומסביב להודעה, בהתאמה.

לצערי, לא מצאתי דרך קלה לעשות את אותו הדבר ב-ClickHouse, אז כדי להציג את ההקשר, נשלחת בקשה נוספת כזו לכל שורה של התוצאה (הפרטים תלויים במיון והאם ההקשר מוצג לפני או אחר כך):

SELECT time,millis,review_body FROM amazon
WHERE (time = 'ВРЕМЯ_СОБЫТИЯ' AND millis < МИЛЛИСЕКУНДЫ_СОБЫТИЯ) OR (time < 'ВРЕМЯ_СОБЫТИЯ')
ORDER BY time DESC, millis DESC
LIMIT КОЛИЧЕСТВО_СТРОК_КОНТЕКСТА
SETTINGS max_threads=1

מכיוון שהבקשה נשלחת כמעט מיד לאחר ש-ClickHouse מחזירה את השורה המתאימה, היא מסתיימת ב-cache ובאופן כללי הבקשה מבוצעת די מהר וצורכת מעט CPU (בדרך כלל הבקשה אורכת בערך ~6 ms במכונה הוירטואלית שלי).

הצג הודעות חדשות בזמן אמת

על מנת להציג הודעות נכנסות בזמן אמת (כמעט), אנו פשוט מבצעים את הבקשה אחת לכמה שניות, ונזכרים בחותמת הזמן האחרונה שנתקלנו בה בעבר.

דוגמאות לפקודות

איך נראות פקודות logscli טיפוסיות בפועל?

אם הורדתם את מערך הנתונים של אמזון שהזכרתי בתחילת המאמר, תוכלו להפעיל את הפקודות הבאות:

# Показать строки, где встречается слово walmart
$ logscli -F 'walmart' | less

# Показать самые свежие 10 строк, где встречается "terrible"
$ logscli -F terrible -limit 10

# То же самое без -limit:
$ logscli -F terrible | head -n 10

# Показать все строки, подходящие под /times [0-9]/, написанные для vine и у которых высокий рейтинг
$ logscli -E 'times [0-9]' -where="vine='Y' AND star_rating>4" | less

# Показать все строки со словом "panic" и 3 строки контекста вокруг
$ logscli -F 'panic' -C 3 | less

# Непрерывно показывать новые строки со словом "5-star"
$ logscli -F '5-star' -tailf

תזכור

קוד השירות (ללא תיעוד) זמין ב-github בכתובת https://github.com/YuriyNasretdinov/logscli. אשמח לשמוע את דעתכם על הרעיון שלי לממשק קונסולה לצפייה ביומנים המבוססים על ClickHouse.

מקור: www.habr.com