ການເພີ່ມປະສິດທິພາບ Linux ເພື່ອຈັດການກັບ 1.2 ລ້ານຄໍາຮ້ອງຂໍ JSON ຕໍ່ວິນາທີ

ຄູ່ມືລາຍລະອຽດໄດ້ຖືກຈັດພີມມາກ່ຽວກັບການປັບສະພາບແວດລ້ອມ Linux ເພື່ອບັນລຸປະສິດທິພາບສູງສຸດສໍາລັບການປະມວນຜົນຄໍາຮ້ອງຂໍ HTTP. ວິທີການທີ່ສະເຫນີເຮັດໃຫ້ມັນເປັນໄປໄດ້ທີ່ຈະເພີ່ມປະສິດທິພາບຂອງໂປເຊດເຊີ JSON ໂດຍອີງໃສ່ຫ້ອງສະຫມຸດ libreactor ໃນສະພາບແວດລ້ອມ Amazon EC2 (4 vCPU) ຈາກ 224 ພັນຄໍາຮ້ອງຂໍ API ຕໍ່ວິນາທີກັບການຕັ້ງຄ່າມາດຕະຖານຂອງ Amazon Linux 2 ກັບ kernel 4.14 ຫາ 1.2 ລ້ານຄໍາຮ້ອງຂໍຕໍ່. ທີສອງຫຼັງຈາກການເພີ່ມປະສິດທິພາບ (ເພີ່ມຂຶ້ນ 436%), ແລະຍັງນໍາໄປສູ່ການຫຼຸດຜ່ອນຄວາມລ່າຊ້າໃນການດໍາເນີນການຮ້ອງຂໍ 79%. ວິທີການທີ່ສະເຫນີບໍ່ສະເພາະກັບ libreactor ແລະເຮັດວຽກໃນເວລາທີ່ໃຊ້ເຄື່ອງແມ່ຂ່າຍ http ອື່ນໆ, ລວມທັງ nginx, Actix, Netty ແລະ Node.js (libreactor ຖືກນໍາໃຊ້ໃນການທົດສອບເພາະວ່າການແກ້ໄຂໂດຍອີງໃສ່ມັນສະແດງໃຫ້ເຫັນເຖິງການປະຕິບັດທີ່ດີກວ່າ).

ການເພີ່ມປະສິດທິພາບພື້ນຖານ:

• ການເພີ່ມປະສິດທິພາບລະຫັດ libreactor. ທາງເລືອກ R18 ຈາກຊຸດ Techempower ໄດ້ຖືກນໍາໃຊ້ເປັນພື້ນຖານ, ເຊິ່ງໄດ້ຖືກປັບປຸງໂດຍການຖອນລະຫັດເພື່ອຈໍາກັດຈໍານວນຂອງ CPU cores ທີ່ໃຊ້ (ການເພີ່ມປະສິດທິພາບອະນຸຍາດໃຫ້ເລັ່ງການເຮັດວຽກໂດຍ 25-27%), ປະກອບໃນ GCC ດ້ວຍຕົວເລືອກ "-O3" (ເພີ່ມຂຶ້ນ 5-10%) ແລະ "-march-native" (5-10%), ແທນທີ່ການອ່ານ / ຂຽນການໂທດ້ວຍ recv / ສົ່ງ (5-10%) ແລະຫຼຸດຜ່ອນ overhead ເມື່ອໃຊ້ pthreads (2-3%). . ການເພີ່ມປະສິດທິພາບໂດຍລວມຫຼັງຈາກການເພີ່ມປະສິດທິພາບລະຫັດແມ່ນ 55%, ແລະ throughput ເພີ່ມຂຶ້ນຈາກ 224k req / s ເປັນ 347k req / s.
• ປິດການໃຊ້ງານການປົກປ້ອງຕໍ່ກັບຄວາມອ່ອນແອຂອງການປະຕິບັດການຄາດເດົາ. ການໃຊ້ພາລາມິເຕີ "nospectre_v1 nospectre_v2 pti=off mds=off tsx_async_abort=off" ເມື່ອໂຫລດ kernel ອະນຸຍາດໃຫ້ເພີ່ມປະສິດທິພາບ 28%, ແລະ throughput ເພີ່ມຂຶ້ນຈາກ 347k req/s ເປັນ 446k req/s. ແຍກຕ່າງຫາກ, ການເພີ່ມຂຶ້ນຈາກພາລາມິເຕີ "nospectre_v1" (ການປົກປ້ອງຈາກ Spectre v1 + SWAPGS) ແມ່ນ 1-2%, "nospectre_v2" (ການປົກປ້ອງຈາກ Spectre v2) - 15-20%, "pti = off" (Spectre v3 / Meltdown) - 6 %, "mds=off tsx_async_abort=off" (MDS/Zombieload ແລະ TSX Asynchronous Abort) - 6%. ການຕັ້ງຄ່າເພື່ອປ້ອງກັນ L1TF/Foreshadow (l1tf=flush), iTLB multihit, Speculative Store Bypass ແລະການໂຈມຕີ SRBDS ຖືກປະໄວ້ບໍ່ປ່ຽນແປງ, ເຊິ່ງບໍ່ມີຜົນຕໍ່ປະສິດທິພາບເນື່ອງຈາກພວກມັນບໍ່ຕັດກັນກັບການຕັ້ງຄ່າທີ່ທົດສອບ (ຕົວຢ່າງ, ສະເພາະກັບ KVM, ວາງໄວ້. virtualization ແລະຮູບແບບ CPU ອື່ນໆ).
• ການປິດການກວດສອບແລະກົນໄກການຂັດຂວາງການໂທລະບົບໂດຍໃຊ້ຄໍາສັ່ງ "auditctl -a never,task" ແລະລະບຸທາງເລືອກ "--security-opt seccomp=unconfined" ເມື່ອເລີ່ມຕົ້ນ docker container. ການເພີ່ມປະສິດທິພາບໂດຍລວມແມ່ນ 11%, ແລະ throughput ເພີ່ມຂຶ້ນຈາກ 446k req / s ເປັນ 495k req / s.
• ການປິດການໃຊ້ງານ iptables/netfilter ໂດຍການຍົກເລີກການໂຫຼດໂມດູນ kernel ທີ່ກ່ຽວຂ້ອງ. ຄວາມຄິດທີ່ຈະປິດການທໍາງານໄຟວໍ, ເຊິ່ງບໍ່ໄດ້ໃຊ້ໃນການແກ້ໄຂເຊີຟເວີສະເພາະ, ໄດ້ຖືກກະຕຸ້ນໂດຍຜົນໄດ້ຮັບ profile, ຕັດສິນໂດຍຟັງຊັນ nf_hook_slow ໃຊ້ເວລາ 18% ຂອງເວລາທີ່ຈະດໍາເນີນການ. ມັນໄດ້ຖືກສັງເກດເຫັນວ່າ nftables ເຮັດວຽກທີ່ມີປະສິດທິພາບຫຼາຍກ່ວາ iptables, ແຕ່ Amazon Linux ຍັງສືບຕໍ່ໃຊ້ iptables. ຫຼັງຈາກການປິດການໃຊ້ງານ iptables, ປະສິດທິພາບເພີ່ມຂຶ້ນແມ່ນ 22%, ແລະ throughput ເພີ່ມຂຶ້ນຈາກ 495k req/s ເປັນ 603k req/s.
• ຫຼຸດຜ່ອນການເຄື່ອນຍ້າຍຕົວຈັດການລະຫວ່າງແກນ CPU ທີ່ແຕກຕ່າງກັນເພື່ອປັບປຸງປະສິດທິພາບຂອງການໃຊ້ cache ຂອງໂປເຊດເຊີ. ການເພີ່ມປະສິດທິພາບໄດ້ຖືກປະຕິບັດທັງໃນລະດັບຂອງຂະບວນການ libreactor binding ກັບ CPU cores (CPU Pinning) ແລະໂດຍຜ່ານການ pinning kernel network handlers (Receive Side Scaling). ຕົວຢ່າງ, irqbalance ຖືກປິດໃຊ້ງານ ແລະຄວາມໃກ້ຊິດຂອງຄິວກັບ CPU ໄດ້ຖືກກໍານົດຢ່າງຈະແຈ້ງໃນ /proc/irq/$IRQ/smp_affinity_list. ເພື່ອໃຊ້ຫຼັກ CPU ດຽວກັນເພື່ອປະມວນຜົນຂະບວນການ libreactor ແລະແຖວເຄືອຂ່າຍຂອງແພັກເກັດທີ່ເຂົ້າມາ, ຕົວຈັດການ BPF ແບບກຳນົດເອງຖືກໃຊ້, ເຊື່ອມຕໍ່ໂດຍການຕັ້ງຄ່າທຸງ SO_ATTACH_REUSEPORT_CBPF ເມື່ອສ້າງເຕົ້າຮັບ. ເພື່ອຜູກມັດຄິວຂອງແພັກເກັດຂາອອກກັບ CPU, ການຕັ້ງຄ່າ /sys/class/net/eth0/queues/tx- ໄດ້ຖືກປ່ຽນແປງ. /xps_cpu. ການເພີ່ມປະສິດທິພາບໂດຍລວມແມ່ນ 38%, ແລະ throughput ເພີ່ມຂຶ້ນຈາກ 603k req / s ເປັນ 834k req / s.
• ການເພີ່ມປະສິດທິພາບຂອງການຈັດການຂັດຂວາງແລະການນໍາໃຊ້ການລົງຄະແນນສຽງ. ການເປີດໃຊ້ໂໝດ adaptive-rx ໃນໄດເວີ ENA ແລະການຈັດການ sysctl net.core.busy_read ປະສິດທິພາບເພີ່ມຂຶ້ນ 28% (ການສົ່ງຜ່ານເພີ່ມຂຶ້ນຈາກ 834k req/s ເປັນ 1.06M req/s, ແລະ latency ຫຼຸດລົງຈາກ 361μs ຫາ 292μs).
• ການປິດການບໍລິການລະບົບທີ່ນໍາໄປສູ່ການປິດກັ້ນທີ່ບໍ່ຈໍາເປັນໃນ stack ເຄືອຂ່າຍ. ການປິດການໃຊ້ງານ dhclient ແລະການຕັ້ງຄ່າທີ່ຢູ່ IP ດ້ວຍຕົນເອງເຮັດໃຫ້ການເພີ່ມປະສິດທິພາບ 6% ເພີ່ມຂຶ້ນແລະ passput ເພີ່ມຂຶ້ນຈາກ 1.06M req/s ເປັນ 1.12M req/s. ເຫດຜົນ dhclient ຜົນກະທົບຕໍ່ການປະຕິບັດແມ່ນຢູ່ໃນການວິເຄາະການຈະລາຈອນໂດຍໃຊ້ຊັອກເກັດດິບ.
• ຕໍ່ສູ້ກັບ Spin Lock. ການປ່ຽນ stack ເຄືອຂ່າຍເປັນໂຫມດ "noqueue" ຜ່ານ sysctl "net.core.default_qdisc=noqueue" ແລະ "tc qdisc ແທນ dev eth0 root mq" ເຮັດໃຫ້ປະສິດທິພາບ 2% ເພີ່ມຂຶ້ນ, ແລະ throughput ເພີ່ມຂຶ້ນຈາກ 1.12M req/s ເປັນ 1.15M. req/s.
• ການເພີ່ມປະສິດທິພາບເລັກນ້ອຍສຸດທ້າຍ, ເຊັ່ນການປິດການໃຊ້ງານ GRO (Generic Receive Offload) ດ້ວຍຄຳສັ່ງ “ethtool -K eth0 gro off” ແລະການປ່ຽນແທນລະບົບຄວບຄຸມຄວາມແອອັດຂອງ cubic ດ້ວຍ reno ໂດຍໃຊ້ sysctl “net.ipv4.tcp_congestion_control=reno”. ຜົນຜະລິດໂດຍລວມເພີ່ມຂຶ້ນ 4%. ການສົ່ງຜ່ານເພີ່ມຂຶ້ນຈາກ 1.15M req/s ເປັນ 1.2M req/s.

ນອກເຫນືອຈາກການເພີ່ມປະສິດທິພາບທີ່ເຮັດວຽກ, ບົດຄວາມຍັງສົນທະນາວິທີການທີ່ບໍ່ນໍາໄປສູ່ການເພີ່ມປະສິດທິພາບທີ່ຄາດວ່າຈະເພີ່ມຂຶ້ນ. ສໍາລັບຕົວຢ່າງ, ດັ່ງຕໍ່ໄປນີ້ໄດ້ບໍ່ມີປະສິດທິພາບ:

• ການແລ່ນ libreactor ແຍກຕ່າງຫາກບໍ່ແຕກຕ່າງກັນໃນການປະຕິບັດຈາກການແລ່ນມັນຢູ່ໃນຖັງ. ການປ່ຽນ writev ດ້ວຍການສົ່ງ, ການເພີ່ມ maxevents ໃນ epoll_wait, ແລະການທົດລອງກັບລຸ້ນ ແລະທຸງ GCC ບໍ່ມີຜົນ (ຜົນກະທົບແມ່ນເຫັນໄດ້ຊັດເຈນສໍາລັບທຸງ “-O3” ແລະ “-march-native”).
• ການອັບເກຣດ kernel Linux ເປັນເວີຊັ່ນ 4.19 ແລະ 5.4, ໂດຍໃຊ້ SCHED_FIFO ແລະ SCHED_RR ກຳນົດເວລາ, ໝູນໃຊ້ sysctl kernel.sched_min_granularity_ns, kernel.sched_wakeup_granularity_ns, transparent_hugepages=clockew_sourced, ຜົນກະທົບຕໍ່ການເຮັດວຽກ.
• ໃນໄດເວີ ENA, ການເປີດໃຊ້ໂໝດ Offload (segmentation, scatter-gather, rx/tx checksum), ການກໍ່ສ້າງດ້ວຍທຸງ “-O3”, ແລະການໃຊ້ພາລາມິເຕີ ena.rx_queue_size ແລະ ena.force_large_llq_header ບໍ່ມີຜົນຫຍັງເລີຍ.
• ການປ່ຽນແປງໃນ stack ເຄືອຂ່າຍບໍ່ໄດ້ປັບປຸງປະສິດທິພາບ:
  • ປິດການໃຊ້ງານ IPv6: ipv6.disable=1
  • ປິດໃຊ້ງານ VLAN: modprobe -rv 8021q
  • ປິດການກວດສອບແຫຼ່ງທີ່ມາຂອງແພັກເກດ
    • net.ipv4.conf.all.rp_filter=0
    • net.ipv4.conf.eth0.rp_filter=0
    • net.ipv4.conf.all.accept_local=1 (ຜົນກະທົບທາງລົບ)
  • net.ipv4.tcp_sack = 0
  • net.ipv4.tcp_dsack=0
  • net.ipv4.tcp_mem/tcp_wmem/tcp_rmem
  • net.core.netdev_budget
  • net.core.dev_weight
  • net.core.netdev_max_backlog
  • net.ipv4.tcp_slow_start_after_idle=0
  • net.ipv4.tcp_moderate_rcvbuf=0
  • net.ipv4.tcp_timestamps=0
  • net.ipv4.tcp_low_latency = 1
  • SO_PRIORITY
  • TCP_NODELAY

  ແຫຼ່ງຂໍ້ມູນ: opennet.ru