AOL ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π» систСму индСксации сСтСвого Ρ‚Ρ€Π°Ρ„ΠΈΠΊΠ° Moloch 2.3

Компания AOL выпустила Ρ€Π΅Π»ΠΈΠ· систСмы для Π·Π°Ρ…Π²Π°Ρ‚Π°, хранСния ΠΈ индСксации сСтСвых ΠΏΠ°ΠΊΠ΅Ρ‚ΠΎΠ² Moloch 2.3, ΠΏΡ€Π΅Π΄ΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‰Π°Ρ инструмСнты для наглядной ΠΎΡ†Π΅Π½ΠΊΠΈ ΠΏΠΎΡ‚ΠΎΠΊΠΎΠ² Ρ‚Ρ€Π°Ρ„ΠΈΠΊΠ° ΠΈ поиска связанной с сСтСвой Π°ΠΊΡ‚ΠΈΠ²Π½ΠΎΡΡ‚ΡŒΡŽ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ. Код написан Π½Π° языкС Π‘ΠΈ (интСрфСйс Π½Π° Node.js/JavaScript) ΠΈ распространяСтся ΠΏΠΎΠ΄ Π»ΠΈΡ†Π΅Π½Π·ΠΈΠ΅ΠΉ Apache 2.0. ΠŸΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ΡΡ Ρ€Π°Π±ΠΎΡ‚Π° Π² Linux ΠΈ FreeBSD. Π“ΠΎΡ‚ΠΎΠ²Ρ‹Π΅ ΠΏΠ°ΠΊΠ΅Ρ‚Ρ‹ ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²Π»Π΅Π½Ρ‹ для Ρ€Π°Π·Π½Ρ‹Ρ… вСрсий CentOS ΠΈ Ubuntu.

ΠŸΡ€ΠΎΠ΅ΠΊΡ‚ Π±Ρ‹Π» создан Π² 2012 Π³ΠΎΠ΄Ρƒ с Ρ†Π΅Π»ΡŒΡŽ создания ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚ΠΎΠΉ Π·Π°ΠΌΠ΅Π½Ρ‹ коммСрчСской ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΡ‹ ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ сСтСвых ΠΏΠ°ΠΊΠ΅Ρ‚ΠΎΠ², способной ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒΡΡ Π΄ΠΎ уровня ΠΎΠ±ΡŠΡ‘ΠΌΠΎΠ² Ρ‚Ρ€Π°Ρ„ΠΈΠΊΠ° AOL. Π’Π½Π΅Π΄Ρ€Π΅Π½ΠΈΠ΅ Π½ΠΎΠ²ΠΎΠΉ систСмы Π² AOL ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΠ»ΠΎ Π΄ΠΎΠ±ΠΈΡ‚ΡŒΡΡ ΠΏΠΎΠ»Π½ΠΎΠ³ΠΎ контроля Π·Π° инфраструктурой Π·Π° счёт развёртывания Π½Π° своих сСрвСрах ΠΈ Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ ΡΠ½ΠΈΠ·ΠΈΡ‚ΡŒ ΠΈΠ·Π΄Π΅Ρ€ΠΆΠΊΠΈ — ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ Moloch для ΠΏΠΎΠ»Π½ΠΎΠ³ΠΎ Π·Π°Ρ…Π²Π°Ρ‚Π° Ρ‚Ρ€Π°Ρ„ΠΈΠΊΠ° Π²ΠΎ всСх сСтях AOL ΠΏΠΎ Π·Π°Ρ‚Ρ€Π°Ρ‚Π°ΠΌ обошлось Π² сумму, Π°Π½Π°Π»ΠΎΠ³ΠΈΡ‡Π½ΡƒΡŽ Ρ‚ΠΎΠΉ, Ρ‡Ρ‚ΠΎ ΠΏΡ€ΠΈ ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠΈ коммСрчСского Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ Ρ€Π°Π½ΡŒΡˆΠ΅ Ρ‚Ρ€Π°Ρ‚ΠΈΠ»Π°ΡΡŒ Π½Π° Π·Π°Ρ…Π²Π°Ρ‚ Ρ‚Ρ€Π°Ρ„ΠΈΠΊΠ° Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π² ΠΎΠ΄Π½ΠΎΠΉ сСти. БистСма ΠΌΠΎΠΆΠ΅Ρ‚ ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒΡΡ для ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ Ρ‚Ρ€Π°Ρ„ΠΈΠΊΠ° Π½Π° скоростях Π² дСсятки Π³ΠΈΠ³Π°Π±ΠΈΡ‚ Π² сСкунду. ΠžΠ±ΡŠΡ‘ΠΌ Ρ…Ρ€Π°Π½ΠΈΠΌΡ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ… ограничиваСтся Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Ρ€Π°Π·ΠΌΠ΅Ρ€ΠΎΠΌ ΠΈΠΌΠ΅ΡŽΡ‰Π΅Π³ΠΎΡΡ дискового массива.
ΠœΠ΅Ρ‚Π°Π΄Π°Π½Π½Ρ‹Π΅ ΠΎ сСансах ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡ€ΡƒΡŽΡ‚ΡΡ Π² кластСрС Π½Π° Π±Π°Π·Π΅ Π΄Π²ΠΈΠΆΠΊΠ° Elasticsearch.

Moloch Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ инструмСнты для Π·Π°Ρ…Π²Π°Ρ‚Π° ΠΈ индСксации Ρ‚Ρ€Π°Ρ„ΠΈΠΊΠ° Π² ΡˆΡ‚Π°Ρ‚Π½ΠΎΠΌ Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ PCAP, Π° Ρ‚Π°ΠΊΠΆΠ΅ для быстрого доступа ΠΊ проиндСксированным Π΄Π°Π½Π½Ρ‹ΠΌ. Для Π°Π½Π°Π»ΠΈΠ·Π° Π½Π°ΠΊΠΎΠΏΠ»Π΅Π½Π½ΠΎΠΉ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ прСдлагаСтся web-интСрфСйс, ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡŽΡ‰ΠΈΠΉ Π²Ρ‹ΠΏΠΎΠ»Π½ΡΡ‚ΡŒ Π½Π°Π²ΠΈΠ³Π°Ρ†ΠΈΡŽ, поиск ΠΈ экспорт Π²Ρ‹Π±ΠΎΡ€ΠΎΠΊ. Π’Π°ΠΊΠΆΠ΅ прСдоставляСтся API, ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡŽΡ‰ΠΈΠΉ ΠΏΠ΅Ρ€Π΅Π΄Π°Π²Π°Ρ‚ΡŒ Π² сторонниС прилоТСния Π΄Π°Π½Π½Ρ‹Π΅ ΠΎ Π·Π°Ρ…Π²Π°Ρ‡Π΅Π½Π½Ρ‹Ρ… ΠΏΠ°ΠΊΠ΅Ρ‚Π°Ρ… Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ PCAP ΠΈ Ρ€Π°Π·ΠΎΠ±Ρ€Π°Π½Π½Ρ‹Ρ… сСансах Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ JSON. ΠŸΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π° PCAP сущСствСнно ΡƒΠΏΡ€ΠΎΡ‰Π°Π΅Ρ‚ ΠΈΠ½Ρ‚Π΅Π³Ρ€Π°Ρ†ΠΈΡŽ с ΡΡƒΡ‰Π΅ΡΡ‚Π²ΡƒΡŽΡ‰ΠΈΠΌΠΈ Π°Π½Π°Π»ΠΈΠ·Π°Ρ‚ΠΎΡ€Π°ΠΌΠΈ Ρ‚Ρ€Π°Ρ„ΠΈΠΊΠ°, Ρ‚Π°ΠΊΠΈΠΌΠΈ ΠΊΠ°ΠΊ Wireshark.

Moloch состоит ΠΈΠ· Ρ‚Ρ€Ρ‘Ρ… Π±Π°Π·ΠΎΠ²Ρ‹Ρ… ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚ΠΎΠ²:

  • БистСма Π·Π°Ρ…Π²Π°Ρ‚Π° Ρ‚Ρ€Π°Ρ„ΠΈΠΊΠ° — ΠΌΠ½ΠΎΠ³ΠΎΠΏΠΎΡ‚ΠΎΡ‡Π½ΠΎΠ΅ ΠΏΡ€ΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΠ΅ Π½Π° языкС Π‘ΠΈ для ΠΌΠΎΠ½ΠΈΡ‚ΠΎΡ€ΠΈΠ½Π³Π° Ρ‚Ρ€Π°Ρ„ΠΈΠΊΠ°, записи Π΄Π°ΠΌΠΏΠΎΠ² Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ PCAP Π½Π° диск, Ρ€Π°Π·Π±ΠΎΡ€Π° Π·Π°Ρ…Π²Π°Ρ‡Π΅Π½Π½Ρ‹Ρ… ΠΏΠ°ΠΊΠ΅Ρ‚ΠΎΠ² ΠΈ ΠΎΡ‚ΠΏΡ€Π°Π²ΠΊΠΈ ΠΌΠ΅Ρ‚Π°Π΄Π°Π½Π½Ρ‹Ρ… ΠΎ сСансах (SPI, Stateful packet inspection) ΠΈ ΠΏΡ€ΠΎΡ‚ΠΎΠΊΠΎΠ»Π°Ρ… Π² кластСр Elasticsearch. Π’ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ Ρ…Ρ€Π°Π½Π΅Π½ΠΈΠ΅ PCAP-Ρ„Π°ΠΉΠ»ΠΎΠ² Π² Π·Π°ΡˆΠΈΡ„Ρ€ΠΎΠ²Π°Π½Π½ΠΎΠΌ Π²ΠΈΠ΄Π΅.
  • Web-интСрфСйс Π½Π° Π±Π°Π·Π΅ ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΡ‹ Node.js, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ запускаСтся Π½Π° ΠΊΠ°ΠΆΠ΄ΠΎΠΌ сСрвСрС Π·Π°Ρ…Π²Π°Ρ‚Π° Ρ‚Ρ€Π°Ρ„ΠΈΠΊΠ° ΠΈ ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Π΅Ρ‚ запросы, связанныС с доступом ΠΊ проиндСксированным Π΄Π°Π½Π½Ρ‹ΠΌ ΠΈ ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡Π΅ΠΉ PCAP-Ρ„Π°ΠΉΠ»ΠΎΠ² Ρ‡Π΅Ρ€Π΅Π· API.
  • Π₯Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π΅ ΠΌΠ΅Ρ‚Π°Π΄Π°Π½Π½Ρ‹Ρ… Π½Π° Π±Π°Π·Π΅ Elasticsearch.

Π’ web-интСрфСйсС прСдусмотрСно нСсколько Ρ€Π΅ΠΆΠΈΠΌΠΎΠ² просмотра — ΠΎΡ‚ ΠΎΠ±Ρ‰Π΅ΠΉ статистики, ΠΊΠ°Ρ€Ρ‚Ρ‹ соСдинСний ΠΈ наглядных Π³Ρ€Π°Ρ„ΠΈΠΊΠΎΠ² с Π΄Π°Π½Π½Ρ‹ΠΌΠΈ ΠΎΠ± ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΠΈ сСтСвой активности Π΄ΠΎ инструмСнтов для изучСния ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Ρ… сСансов, Π°Π½Π°Π»ΠΈΠ·Π° активности Π² Ρ€Π°Π·Ρ€Π΅Π·Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅ΠΌΡ‹Ρ… ΠΏΡ€ΠΎΡ‚ΠΎΠΊΠΎΠ»ΠΎΠ² ΠΈ Ρ€Π°Π·Π±ΠΎΡ€Π° Π΄Π°Π½Π½Ρ‹Ρ… ΠΈΠ· PCAP-Π΄Π°ΠΌΠΏΠΎΠ².

AOL ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π» систСму индСксации сСтСвого Ρ‚Ρ€Π°Ρ„ΠΈΠΊΠ° Moloch 2.3

AOL ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π» систСму индСксации сСтСвого Ρ‚Ρ€Π°Ρ„ΠΈΠΊΠ° Moloch 2.3

AOL ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π» систСму индСксации сСтСвого Ρ‚Ρ€Π°Ρ„ΠΈΠΊΠ° Moloch 2.3

AOL ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π» систСму индСксации сСтСвого Ρ‚Ρ€Π°Ρ„ΠΈΠΊΠ° Moloch 2.3

Π’ Π½ΠΎΠ²ΠΎΠΌ выпускС:

  • ΠžΡΡƒΡ‰Π΅ΡΡ‚Π²Π»Ρ‘Π½ ΠΏΠ΅Ρ€Π΅Ρ…ΠΎΠ΄ Π½Π° использованиС бСстипового Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π° для индСксации Π² Elasticsearch.
  • Π”ΠΎΠ±Π°Π²Π»Π΅Π½Ρ‹ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Ρ‹ Ρ„ΠΈΠ»ΡŒΡ‚Ρ€ΠΎΠ² Π·Π°Ρ…Π²Π°Ρ‚Π° Ρ‚Ρ€Π°Ρ„ΠΈΠΊΠ° Π½Π° языкС Lua.
  • Π Π΅Π°Π»ΠΈΠ·ΠΎΠ²Π°Π½Π° ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠ° 46-Ρ‡Π΅Ρ€Π½ΠΎΠ²ΠΎΠΉ Ρ€Π΅Π΄Π°ΠΊΡ†ΠΈΠΈ ΠΏΡ€ΠΎΡ‚ΠΎΠΊΠΎΠ»Π° QUIC.
  • ΠŸΠ΅Ρ€Π΅Ρ€Π°Π±ΠΎΡ‚Π°Π½ ΠΊΠΎΠ΄ для Ρ€Π°Π·Π±ΠΎΡ€Π° ΠΏΡ€ΠΎΡ‚ΠΎΠΊΠΎΠ»ΠΎΠ², появилась Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ написания парсСров для ΠΏΡ€ΠΎΡ‚ΠΎΠΊΠΎΠ»ΠΎΠ² уровня Ethernet ΠΈ IP.
  • ΠŸΡ€Π΅Π΄Π»ΠΎΠΆΠ΅Π½Ρ‹ Π½ΠΎΠ²Ρ‹Π΅ парсСры для ΠΏΡ€ΠΎΡ‚ΠΎΠΊΠΎΠ»ΠΎΠ² arp, bgp, igmp, isis, lldp, ospf ΠΈ pim, Π° Ρ‚Π°ΠΊΠΆΠ΅ парсСры нСизвСстных ΠΏΡ€ΠΎΡ‚ΠΎΠΊΠΎΠ»ΠΎΠ² unkEthernet ΠΈ unkIpProtocol.
  • Π”ΠΎΠ±Π°Π²Π»Π΅Π½Π° опция для Π²Ρ‹Π±ΠΎΡ€ΠΎΡ‡Π½ΠΎΠ³ΠΎ ΠΎΡ‚ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΡ парсСров (disableParsers).
  • Π’ web-интСрфСйс Π΄ΠΎΠ±Π°Π²Π»Π΅Π½Π° Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΏΠΎΠΊΠ°Π·Π° любого цСлочислСнного поля Π½Π° Π³Ρ€Π°Ρ„ΠΈΠΊΠ°Ρ…, выставлСнного Π½Π° страницС с настройками.
  • Π“Ρ€Π°Ρ„ΠΈΠΊΠΈ ΠΈ Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠΈ Ρ‚Π΅ΠΏΠ΅Ρ€ΡŒ ΠΌΠΎΠ³ΡƒΡ‚ Π·Π°ΠΊΡ€Π΅ΠΏΠ»ΡΡ‚ΡŒΡΡ ΠΈ Π½Π΅ ΡΠΌΠ΅Ρ‰Π°Ρ‚ΡŒΡΡ ΠΏΡ€ΠΈ ΠΏΡ€ΠΎΠΊΡ€ΡƒΡ‚ΠΊΠ΅ страницы.
  • Π‘ΠΎΠ»ΡŒΡˆΠ°Ρ Ρ‡Π°ΡΡ‚ΡŒ Π½Π°Π²ΠΈΠ³Π°Ρ†ΠΈΠΎΠ½Π½Ρ‹Ρ… ΠΏΠ°Π½Π΅Π»Π΅ΠΉ ΠΏΠΎ ΡƒΠΌΠΎΠ»Ρ‡Π°Π½ΠΈΡŽ скрыта ΠΈΠ»ΠΈ свёрнута.

Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ: opennet.ru