AOL פרסמה את מערכת אינדקס התעבורה ברשת Moloch 2.3

חברת AOL שוחרר שחרור מערכת ללכידה, אחסון ואינדקס של מנות רשת מולוך 2.3, המספק כלים להערכת זרימת תנועה ויזואלית וחיפוש מידע הקשור לפעילות ברשת. הקוד כתוב בשפת C (ממשק ב-Node.js/JavaScript) ו מופץ על ידי מורשה תחת Apache 2.0. תומך בעבודה על לינוקס ו- FreeBSD. מוּכָן חבילות מוכן לגירסאות שונות של CentOS ואובונטו.

הפרויקט נוצר בשנת 2012 במטרה ליצור תחליף פתוח לפלטפורמת עיבוד מנות מסחרית ברשת שיכולה להתאים לנפחי תעבורה של AOL. הטמעת מערכת חדשה ב-AOL אפשרה להשיג שליטה מלאה על התשתית עקב פריסה על השרתים שלה ולהוזיל משמעותית עלויות - שימוש במולוך ללכידת תעבורה מלאה בכל רשתות ה-AOL עלה באותה כמות כמו בעת השימוש פתרון מסחרי בעבר, הוא הושקע בלכידת תעבורה ברשת אחת בלבד. המערכת יכולה להתאים לעיבוד תעבורה במהירויות של עשרות גיגה-ביט לשנייה. נפח הנתונים המאוחסנים מוגבל רק על ידי גודל מערך הדיסקים הזמין.
מטא-נתונים של פעילויות באתר מתווספים לאינדקס באשכול המבוסס על מנוע Elasticsearch.

מולוך כולל כלים ללכידת ואינדקס תעבורה בפורמט PCAP מקורי, כמו גם לגישה מהירה לנתונים שנוספו לאינדקס. לניתוח המידע המצטבר מוצע ממשק אינטרנט המאפשר לנווט, לחפש ולייצא דוגמאות. מסופק גם API, המאפשר לך להעביר נתונים על מנות שנלכדו בפורמט PCAP והפעלות מנותחות בפורמט JSON ליישומי צד שלישי. השימוש בפורמט PCAP מפשט מאוד את האינטגרציה עם מנתחי תעבורה קיימים כגון Wireshark.

מולוך מורכב משלושה מרכיבים בסיסיים:

• מערכת לכידת התעבורה היא אפליקציית C מרובה הליכי לניטור תעבורה, כתיבת dump בפורמט PCAP לדיסק, ניתוח מנות שנלכדו ושליחת מטא נתונים אודות מפגשים (SPI, Stateful packet inspection) ופרוטוקולים לאשכול Elasticsearch. אפשר לאחסן קבצי PCAP בצורה מוצפנת.
• ממשק אינטרנט המבוסס על פלטפורמת Node.js, הפועל על כל שרת לכידת תעבורה ומעבד בקשות הקשורות לגישה לנתונים באינדקס והעברת קבצי PCAP באמצעות API.
• אחסון מטא נתונים מבוסס על Elasticsearch.

ממשק האינטרנט מספק מספר מצבי צפייה - מסטטיסטיקה כללית, מפות חיבור וגרפים ויזואליים עם נתונים על שינויים בפעילות הרשת ועד לכלים ללימוד מפגשים בודדים, ניתוח פעילות בהקשר של הפרוטוקולים בשימוש וניתוח נתונים מ-PCAP dumps.

В נושא חדש:

• בוצע מעבר לשימוש בפורמט נטול סוגים לאינדקס ב-Elasticsearch.
• נוספו דוגמאות של מסנני לכידת תנועה ב-Lua.
• הוטמעה תמיכה בגרסת 46 הטיוטה של ​​פרוטוקול QUIC.
• הקוד לניתוח פרוטוקולים עובד מחדש, מה שמאפשר לכתוב מנתחים לפרוטוקולים ברמת Ethernet ו-IP.
• מנתחים חדשים הוצעו לפרוטוקולים arp, bgp, igmp, isis, lldp, ospf ו-pim, כמו גם מנתחים לפרוטוקולים הלא ידועים unkEthernet ו-unkIpProtocol.
• נוספה אפשרות להשבית סלקטיבית מנתחים (disableParsers).
• היכולת להציג כל שדה מספר שלם בתרשימים, המוגדר בדף ההגדרות, נוספה לממשק האינטרנט.
• כעת ניתן להקפיא גרפים וכותרות ולא לזוז בעת גלילה בעמוד.
• רוב סרגלי הניווט מוסתרים או מכווצים כברירת מחדל.

מקור: OpenNet.ru