Linux-ის ოპტიმიზაცია წამში 1.2 მილიონი JSON მოთხოვნის დასამუშავებლად

გამოქვეყნებულია დეტალური სახელმძღვანელო ლინუქსის გარემოს დარეგულირების შესახებ HTTP მოთხოვნების დამუშავების მაქსიმალური შესრულების მისაღწევად. შემოთავაზებულმა მეთოდებმა შესაძლებელი გახადა გაიზარდოს JSON პროცესორის ეფექტურობა, რომელიც დაფუძნებულია Amazon EC2 გარემოში (4 vCPU) Libreactor ბიბლიოთეკაზე 224 ათასი API მოთხოვნიდან წამში Amazon Linux 2-ის სტანდარტული პარამეტრებით, ბირთვით 4.14-მდე 1.2 მილიონ მოთხოვნამდე. მეორე ოპტიმიზაციის შემდეგ (ზრდა 436%) და ასევე გამოიწვია მოთხოვნების დამუშავების შეფერხებების 79%-ით შემცირება. შემოთავაზებული მეთოდები არ არის სპეციფიკური libreactor-ისთვის და მუშაობს სხვა http სერვერების გამოყენებისას, მათ შორის nginx, Actix, Netty და Node.js (libreactor გამოიყენებოდა ტესტებში, რადგან მასზე დაფუძნებული გამოსავალი აჩვენა უკეთესი შესრულება).

ძირითადი ოპტიმიზაცია:

• Libreactor კოდის ოპტიმიზაცია. საფუძვლად გამოიყენებოდა R18 ვარიანტი Techempower-ის ნაკრებიდან, რომელიც გაუმჯობესდა კოდის ამოღებით გამოყენებული CPU ბირთვების რაოდენობის შეზღუდვის მიზნით (ოპტიმიზაცია საშუალებას აძლევდა დააჩქაროს მუშაობა 25-27%), GCC-ში აწყობა “-O3” ვარიანტებით. (მატება 5-10%) და "-მარტი-მშობლიური" (5-10%), წაკითხვის/ჩაწერის ზარების ჩანაცვლება recv/გაგზავნით (5-10%) და ზედნადების შემცირება pthread-ების გამოყენებისას (2-3%). . მთლიანი შესრულების ზრდა კოდის ოპტიმიზაციის შემდეგ იყო 55%, ხოლო გამტარუნარიანობა გაიზარდა 224k req/s-დან 347k req/s-მდე.
• გამორთეთ დაცვა სპეკულაციური შესრულების ხარვეზებისგან. ბირთვის ჩატვირთვისას პარამეტრების „nospectre_v1 nospectre_v2 pti=off mds=off tsx_async_abort=off“ გამოყენებამ საშუალება მისცა გაზარდოს შესრულება 28%-ით და გამტარუნარიანობა გაიზარდა 347k req/s-დან 446k req/s-მდე. ცალკე, ზრდა პარამეტრიდან „nospectre_v1“ (დაცვა Spectre v1 + SWAPGS-ისგან) იყო 1-2%, „nospectre_v2“ (დაცვა Spectre v2-ისგან) - 15-20%, „pti=off“ (Spectre v3/Meltdown) - 6%, "mds=off tsx_async_abort=off" (MDS/Zombieload და TSX ასინქრონული შეწყვეტა) - 6%. L1TF/Foreshadow (l1tf=flush), iTLB multihit, Speculative Store Bypass და SRBDS თავდასხმებისგან დაცვის პარამეტრები დარჩა უცვლელი, რაც გავლენას არ მოახდენს შესრულებაზე, რადგან ისინი არ იკვეთება ტესტირებულ კონფიგურაციასთან (მაგალითად, სპეციფიკური KVM-ისთვის, ჩასმული ვირტუალიზაცია და სხვა CPU მოდელები).
• აუდიტისა და სისტემური ზარების დაბლოკვის მექანიზმების გამორთვა ბრძანების "auditctl -a never,task" გამოყენებით და ოფციის "--security-opt seccomp=unconfined" მითითებით დოკერის კონტეინერის გაშვებისას. მთლიანი შესრულების ზრდა იყო 11%, ხოლო გამტარუნარიანობა გაიზარდა 446k req/s-დან 495k req/s-მდე.
• iptables/netfilter-ის გამორთვა დაკავშირებული ბირთვის მოდულების გადმოტვირთვით. Firewall-ის გამორთვის იდეა, რომელიც არ იყო გამოყენებული სერვერის სპეციფიკურ გადაწყვეტაში, გამოწვეული იყო პროფილირებული შედეგებით, ვიმსჯელებთ, რომ nf_hook_slow ფუნქციის შესრულებას დროის 18% დასჭირდა. აღნიშნულია, რომ nftables უფრო ეფექტურად მუშაობს, ვიდრე iptables, მაგრამ Amazon Linux აგრძელებს iptables-ის გამოყენებას. iptable-ების გამორთვის შემდეგ, შესრულების ზრდა იყო 22%, ხოლო გამტარუნარიანობა გაიზარდა 495k req/s-დან 603k req/s-მდე.
• შემცირდა დამმუშავებლების მიგრაცია სხვადასხვა CPU ბირთვებს შორის პროცესორის ქეშის გამოყენების ეფექტურობის გასაუმჯობესებლად. ოპტიმიზაცია განხორციელდა როგორც CPU-ის ბირთვებთან (CPU Pinning), ასევე ბირთვის ქსელის დამმუშავებლების (Receive Side Scaling) დამაგრების დონეზე (Receive Side Scaling). მაგალითად, irqbalance გათიშული იყო და რიგთან კავშირი CPU-სთან აშკარად იყო დაყენებული /proc/irq/$IRQ/smp_affinity_list-ში. იმავე CPU ბირთვის გამოსაყენებლად ლიბრაქტორის პროცესისა და შემომავალი პაკეტების ქსელის რიგის დასამუშავებლად, გამოიყენება მორგებული BPF დამმუშავებელი, რომელიც დაკავშირებულია სოკეტის შექმნისას SO_ATTACH_REUSEPORT_CBPF დროშის დაყენებით. გამავალი პაკეტების რიგების CPU-სთან დასაკავშირებლად, პარამეტრები /sys/class/net/eth0/queues/tx- შეიცვალა. /xps_cpus. მთლიანი შესრულების ზრდა იყო 38%, ხოლო გამტარუნარიანობა გაიზარდა 603k req/s-დან 834k req/s-მდე.
• შეფერხების მართვისა და პოლინგის გამოყენების ოპტიმიზაცია. ადაპტაციური-rx რეჟიმის ჩართვა ENA-ს დრაივერში და sysctl net.core.busy_read მანიპულირებამ გაზარდა შესრულება 28%-ით (გამტარუნარიანობა გაიზარდა 834k req/s-დან 1.06M req/s-მდე, ხოლო შეყოვნება შემცირდა 361μs-დან 292μs-მდე).
• სისტემის სერვისების გამორთვა, რაც იწვევს ქსელის სტეკში არასაჭირო ბლოკირებას. dhclient-ის გამორთვამ და IP მისამართის ხელით დაყენებამ გამოიწვია შესრულების 6%-იანი მატება და გამტარუნარიანობის გაზრდა 1.06M req/s-დან 1.12M req/s-მდე. მიზეზი, რის გამოც dhclient გავლენას ახდენს შესრულებაზე, არის ტრაფიკის ანალიზი ნედლეული სოკეტის გამოყენებით.
• Fighting Spin Lock. ქსელის სტეკის „noqueue“ რეჟიმში გადართვამ sysctl „net.core.default_qdisc=noqueue“ და „tc qdisc შეცვლის dev eth0 root mq“-ის საშუალებით გამოიწვია შესრულების 2%-ით ზრდა და გამტარუნარიანობა გაიზარდა 1.12M req/s-დან 1.15M-მდე. მოთხოვნა/წმ.
• საბოლოო მცირე ოპტიმიზაცია, როგორიცაა GRO (Generic Receive Offload) გამორთვა ბრძანებით „ethtool -K eth0 gro off“ და კუბური გადატვირთულობის კონტროლის ალგორითმის შეცვლა reno-ით sysctl „net.ipv4.tcp_congestion_control=reno“ გამოყენებით. მთლიანი პროდუქტიულობის ზრდა იყო 4%. გამტარუნარიანობა გაიზარდა 1.15 მ მოთხოვნით/წმ-დან 1.2 მ მოთხოვნით/წმ-მდე.

გარდა იმ ოპტიმიზაციისა, რომელიც მუშაობდა, სტატიაში ასევე განიხილება მეთოდები, რომლებმაც არ გამოიწვია შესრულების მოსალოდნელი ზრდა. მაგალითად, შემდეგი აღმოჩნდა არაეფექტური:

• ცალ-ცალკე გაშვებული ლიბრექტორის შესრულება არ განსხვავდებოდა კონტეინერში გაშვებისგან. Writv-ის გაგზავნით ჩანაცვლებამ, epoll_wait-ში maxevents-ის გაზრდამ და GCC ვერსიებთან და დროშებთან ექსპერიმენტებმა შედეგი არ მოიტანა (ეფექტი შესამჩნევი იყო მხოლოდ „-O3“ და „-march-native“ დროშებისთვის).
• Linux-ის ბირთვის განახლება 4.19 და 5.4 ვერსიებზე, SCHED_FIFO და SCHED_RR გრაფიკების გამოყენებით, sysctl kernel.sched_min_granularity_ns, kernel.sched_wakeup_granularity_ns, transparent_hugepages=never, skew_tick=1 და c-ის მანიპულირება.
• ENA-ს დრაივერში Offload რეჟიმების ჩართვამ (სეგმენტაცია, სკატერ-შეგროვება, rx/tx გამშვები ჯამი), აშენებამ “-O3” დროშით და ena.rx_queue_size და ena.force_large_llq_header პარამეტრების გამოყენებას არანაირი ეფექტი არ მოჰყოლია.
• ქსელის დასტაში ცვლილებებმა არ გააუმჯობესა შესრულება:
  • გამორთეთ IPv6: ipv6.disable=1
  • გამორთეთ VLAN: modprobe -rv 8021q
  • გამორთეთ პაკეტის წყაროს შემოწმება
    • net.ipv4.conf.all.rp_filter=0
    • net.ipv4.conf.eth0.rp_filter=0
    • net.ipv4.conf.all.accept_local=1 (უარყოფითი ეფექტი)
  • net.ipv4.tcp_sack = 0
  • net.ipv4.tcp_dsack=0
  • net.ipv4.tcp_mem/tcp_wmem/tcp_rmem
  • net.core.netdev_budget
  • net.core.dev_weight
  • net.core.netdev_max_backlog
  • net.ipv4.tcp_slow_start_after_idle=0
  • net.ipv4.tcp_moderate_rcvbuf=0
  • net.ipv4.tcp_timestamps=0
  • net.ipv4.tcp_low_latency = 1
  • SO_PRIORITY
  • TCP_NODELAY

  წყარო: opennet.ru