AOL нь Moloch 2.3 сүлжээний урсгалыг индексжүүлэх системийг нийтлэв

AOL компани гаргасан сүлжээний пакетуудыг барьж авах, хадгалах, индексжүүлэх системийг гаргах Молох 2.3, замын хөдөлгөөний урсгалыг нүдээр үнэлэх, сүлжээний үйл ажиллагаатай холбоотой мэдээллийг хайх хэрэгслүүдээр хангадаг. Код нь Си хэл дээр бичигдсэн (интерфэйс нь Node.js/JavaScript) ба тараасан Apache 2.0 дагуу лицензтэй. Линукс болон FreeBSD дээр ажиллахыг дэмждэг. Бэлэн багцууд CentOS болон Ubuntu-ийн өөр өөр хувилбаруудад зориулж бэлтгэсэн.

Энэхүү төслийг 2012 онд AOL траффикийн хэмжээг нэмэгдүүлэх боломжтой арилжааны сүлжээний пакет боловсруулах платформыг нээлттэй орлуулах зорилгоор бүтээсэн. AOL-д шинэ системийг нэвтрүүлснээр түүний серверүүд дээр байршуулснаар дэд бүтцэд бүрэн хяналт тавьж, зардлыг мэдэгдэхүйц бууруулах боломжтой болсон - Moloch-ийг ашиглан бүх AOL сүлжээн дэх траффикийг бүрэн барьж авах нь ашиглах үеийнхтэй ижил үнэтэй болно. арилжааны шийдэл Өмнө нь энэ нь зөвхөн нэг сүлжээнд урсгалыг барихад зарцуулагдсан. Энэ систем нь секундэд хэдэн арван гигабит хурдтай замын хөдөлгөөнийг боловсруулах боломжтой. Хадгалагдсан өгөгдлийн хэмжээ нь зөвхөн боломжтой дискний массивын хэмжээгээр хязгаарлагддаг.
Сессия мета өгөгдлийг хөдөлгүүрт суурилсан кластерт индексжүүлсэн Elasticsearch.

Moloch нь траффикийг уугуул PCAP форматаар авах, индексжүүлэх, индексжүүлсэн өгөгдөлд хурдан нэвтрэх хэрэгслүүдийг агуулдаг. Хуримтлагдсан мэдээллийг шинжлэхийн тулд дээжийг чиглүүлэх, хайх, экспортлох боломжийг олгодог вэб интерфэйсийг санал болгож байна. Мөн өгсөн API, энэ нь PCAP форматаар авсан пакетууд болон JSON форматаар задлан шинжилсэн сешнүүдийн талаарх мэдээллийг гуравдагч талын програмуудад дамжуулах боломжийг олгодог. PCAP форматыг ашиглах нь Wireshark зэрэг одоо байгаа траффик анализаторуудтай нэгдэх ажлыг ихээхэн хялбаршуулдаг.

Молох нь гурван үндсэн бүрэлдэхүүн хэсгээс бүрдэнэ.

  • Traffic capture систем нь урсгалыг хянах, диск рүү PCAP форматаар дамп бичих, баригдсан пакетуудыг задлан шинжлэх, сесс (SPI, Stateful packet inspection) болон протоколуудын тухай мета өгөгдлийг Elasticsearch кластерт илгээхэд зориулагдсан олон урсгалтай C програм юм. PCAP файлуудыг шифрлэгдсэн хэлбэрээр хадгалах боломжтой.
  • Node.js платформ дээр суурилсан вэб интерфэйс нь траффик хадгалах сервер бүр дээр ажилладаг бөгөөд индексжүүлсэн өгөгдөлд хандах, PCAP файлуудыг дамжуулахтай холбоотой хүсэлтийг боловсруулдаг. API.
  • Elasticsearch дээр суурилсан мета өгөгдлийн сан.

Вэб интерфэйс нь ерөнхий статистик, холболтын газрын зураг, сүлжээний үйл ажиллагааны өөрчлөлтийн талаарх мэдээлэл бүхий визуал графикаас эхлээд бие даасан сессүүдийг судлах, ашигласан протоколын хүрээнд үйл ажиллагаанд дүн шинжилгээ хийх, PCAP хогийн цэгээс өгөгдлийг задлан шинжлэх зэрэг хэд хэдэн үзэх горимоор хангадаг.

AOL нь Moloch 2.3 сүлжээний урсгалыг индексжүүлэх системийг нийтлэв

AOL нь Moloch 2.3 сүлжээний урсгалыг индексжүүлэх системийг нийтлэв

AOL нь Moloch 2.3 сүлжээний урсгалыг индексжүүлэх системийг нийтлэв

AOL нь Moloch 2.3 сүлжээний урсгалыг индексжүүлэх системийг нийтлэв

В шинэ дугаар:

  • Elasticsearch-д индексжүүлэлт хийхдээ төрөлгүй форматыг ашиглахад шилжилт хийсэн.
  • Луа дахь замын хөдөлгөөний шүүлтүүрийн жишээг нэмсэн.
  • QUIC протоколын 46 ноорог хувилбарт дэмжлэг үзүүлэв.
  • Протоколуудыг задлан шинжлэх кодыг дахин боловсруулж, Ethernet болон IP түвшний протоколуудад задлан шинжлэгч бичих боломжтой болсон.
  • arp, bgp, igmp, isis, lldp, ospf болон pim протоколуудад шинэ задлан шинжлэгч, мөн үл мэдэгдэх unkEthernet болон unkIpProtocol протоколуудад задлан шинжлэгчийг санал болгосон.
  • Парсеруудыг сонгон идэвхгүй болгох сонголтыг нэмсэн (disableParsers).
  • Тохиргооны хуудсан дээр тохируулсан дурын бүхэл тоон талбарыг график дээр харуулах боломжийг вэб интерфэйс дээр нэмсэн.
  • График болон гарчгийг одоо царцааж, хуудсыг гүйлгэх үед хөдөлгөж болохгүй.
  • Ихэнх навигацийн мөрүүд анхдагчаар нуугдмал эсвэл хумигдсан байдаг.

Эх сурвалж: opennet.ru

сэтгэгдэл нэмэх