प्रति सेकेन्ड 1.2 मिलियन JSON अनुरोधहरू ह्यान्डल गर्न लिनक्सलाई अनुकूलन गर्दै

HTTP अनुरोधहरू प्रशोधन गर्नको लागि अधिकतम प्रदर्शन प्राप्त गर्न लिनक्स वातावरण ट्युनिङमा विस्तृत गाइड प्रकाशित गरिएको छ। प्रस्तावित विधिहरूले अमेजन EC2 वातावरण (4 vCPU) मा libreactor पुस्तकालयमा आधारित JSON प्रोसेसरको कार्यसम्पादनलाई 224 हजार API अनुरोधहरू प्रति सेकेन्डमा वृद्धि गर्न सम्भव बनायो Amazon Linux 2 को मानक सेटिङहरूसँग कर्नेल 4.14 देखि 1.2 मिलियन अनुरोधहरू प्रति सेकेन्ड। अप्टिमाइजेसन पछि दोस्रो (436% को बृद्धि), र 79% द्वारा प्रशोधन अनुरोधहरूमा ढिलाइमा पनि कमी भयो। प्रस्तावित विधिहरू nginx, Actix, Netty र Node.js सहित अन्य http सर्भरहरू प्रयोग गर्दा libreactor र कामका लागि विशिष्ट छैनन् (libreactor परीक्षणहरूमा प्रयोग गरिएको थियो किनभने यसमा आधारित समाधानले राम्रो प्रदर्शन देखाएको थियो)।

आधारभूत अनुकूलनहरू:

• लिब्रेक्टर कोड अप्टिमाइज गर्दै। Techempower किटबाट R18 विकल्पलाई आधारको रूपमा प्रयोग गरिएको थियो, जुन प्रयोग गरिएको CPU कोरहरूको संख्या सीमित गर्न कोड हटाएर सुधार गरिएको थियो (अप्टिमाइजेसनले 25-27% ले कामको गति बढाउन अनुमति दियो), "-O3" विकल्पहरूसँग GCC मा भेला भयो। (५-१०% को बृद्धि) र "-मार्च-नेटिभ" (५-१०%), रिड/राइट कललाई recv/send (5-10%) को साथ बदल्दै र pthreads प्रयोग गर्दा ओभरहेड घटाउँदै (5-10%) । कोड अप्टिमाइजेसन पछि समग्र प्रदर्शन वृद्धि 5% थियो, र थ्रुपुट 10k req/s बाट 2k req/s मा बढ्यो।
• सट्टा कार्यान्वयन कमजोरीहरू विरुद्ध सुरक्षा असक्षम गर्नुहोस्। प्यारामिटरहरू प्रयोग गरेर "nospectre_v1 nospectre_v2 pti=off mds=off tsx_async_abort=off" कर्नेल लोड गर्दा 28% ले कार्यसम्पादन बढाउन अनुमति दियो, र थ्रुपुट 347k req/s बाट 446k req/s मा बढ्यो। अलग रूपमा, प्यारामिटर "nospectre_v1" (स्पेक्टर v1 + SWAPGS बाट सुरक्षा) बाट वृद्धि 1-2% थियो, "nospectre_v2" (स्पेक्टर v2 बाट सुरक्षा) - 15-20%, "pti=off" (Spectre v3/Meltdown) - 6%, "mds=off tsx_async_abort=off" (MDS/Zombieload र TSX एसिन्क्रोनस एबोर्ट) - 6%। L1TF/Foreshadow (l1tf=flush), iTLB मल्टिहिट, सट्टा स्टोर बाइपास र SRBDS आक्रमणहरू विरुद्ध सुरक्षाका लागि सेटिङहरू अपरिवर्तित छोडिएका थिए, जसले प्रदर्शनलाई असर गर्दैन किनभने तिनीहरू परीक्षण गरिएको कन्फिगरेसनसँग प्रतिच्छेदन गर्दैनन् (उदाहरणका लागि, KVM को लागि विशिष्ट, नेस्टेड। भर्चुअलाइजेशन र अन्य CPU मोडेलहरू)।
• "auditctl -a never,task" आदेश प्रयोग गरेर अडिटिङ र प्रणाली कल अवरुद्ध गर्ने संयन्त्रहरू असक्षम गर्दै र डकर कन्टेनर सुरु गर्दा "--security-opt seccomp=unconfined" विकल्प निर्दिष्ट गर्दै। समग्र प्रदर्शन वृद्धि 11% थियो, र थ्रुपुट 446k अनुरोध/s बाट 495k अनुरोध/सेकेन्डमा बढ्यो।
• सम्बद्ध कर्नेल मोड्युलहरू अनलोड गरेर iptables/netfilter असक्षम गर्दै। फायरवाल असक्षम गर्ने विचार, जुन एक विशिष्ट सर्भर समाधानमा प्रयोग गरिएको थिएन, नतिजाहरू प्रोफाइलिङद्वारा प्रेरित गरिएको थियो, जसको आधारमा nf_hook_slow प्रकार्यले कार्यान्वयन गर्न 18% समय लियो। यो नोट गरिएको छ कि nftables ले iptables भन्दा बढी कुशलतापूर्वक काम गर्दछ, तर Amazon Linux ले iptables प्रयोग गर्न जारी राख्छ। iptables असक्षम गरेपछि, प्रदर्शन वृद्धि 22% थियो, र थ्रुपुट 495k req/s बाट 603k req/s मा बढ्यो।
• प्रोसेसर क्यास प्रयोगको दक्षता सुधार गर्न विभिन्न CPU कोरहरू बीच ह्यान्डलरहरूको कम माइग्रेसन। अप्टिमाइजेसनलाई सीपीयू कोर (सीपीयू पिनिङ) र पिनिङ कर्नेल नेटवर्क ह्यान्डलरहरू (साइड स्केलिंग प्राप्त गर्नुहोस्) मार्फत बाइन्डिङ लिब्रेक्टर प्रक्रियाहरूको स्तरमा गरिएको थियो। उदाहरणका लागि, irqbalance असक्षम पारिएको थियो र CPU लाई लामबद्धता स्पष्ट रूपमा /proc/irq/$IRQ/smp_affinity_list मा सेट गरिएको थियो। libreactor प्रक्रिया र आगमन प्याकेटहरूको नेटवर्क लाम प्रशोधन गर्न उही CPU कोर प्रयोग गर्न, सकेट सिर्जना गर्दा SO_ATTACH_REUSEPORT_CBPF फ्ल्याग सेट गरेर जडान गरिएको अनुकूलन BPF ह्यान्डलर प्रयोग गरिन्छ। CPU मा बाहिर जाने प्याकेटहरूको लामहरू बाँध्न, सेटिङहरू /sys/class/net/eth0/queues/tx- परिवर्तन गरिएको छ। /xps_cpus। समग्र प्रदर्शन वृद्धि 38% थियो, र थ्रुपुट 603k req/s बाट 834k req/s मा बढ्यो।
• अवरोध ह्यान्डलिंग र मतदान को उपयोग को अनुकूलन। ENA ड्राइभरमा adaptive-rx मोड सक्षम पार्दै र sysctl net.core.busy_read हेरफेरले 28% ले कार्यसम्पादन बढायो (थ्रुपुट 834k req/s बाट 1.06M req/s मा बढ्यो, र विलम्बता 361μs बाट 292μs मा घट्यो)।
• नेटवर्क स्ट्याकमा अनावश्यक ब्लक गर्ने प्रणाली सेवाहरू असक्षम गर्दै। dhclient असक्षम पार्ने र IP ठेगाना म्यानुअल रूपमा सेट गर्दा 6% कार्यसम्पादन वृद्धि भयो र थ्रुपुट 1.06M req/s बाट 1.12M req/s मा बढ्यो। dhclient ले कार्यसम्पादनलाई असर गर्ने कारण कच्चा सकेट प्रयोग गरेर ट्राफिक विश्लेषणमा छ।
• स्पिन लक लड्दै। sysctl "net.core.default_qdisc=noqueue" र "tc qdisc बदल्नुहोस् dev eth0 root mq" मार्फत नेटवर्क स्ट्याकलाई "noqueue" मोडमा स्विच गर्दा 2% कार्यसम्पादन वृद्धि भयो, र थ्रुपुट 1.12M req/s बाट 1.15M मा बढ्यो। अनुरोध/से।
• "ethtool -K eth0 gro off" आदेशको साथ GRO (जेनेरिक रिसिभ अफलोड) असक्षम गर्ने र sysctl "net.ipv4.tcp_congestion_control=reno" को प्रयोग गरेर रेनोको साथ घन भीड नियन्त्रण एल्गोरिदमलाई प्रतिस्थापन गर्ने जस्ता अन्तिम साना अप्टिमाइजेसनहरू। कुल उत्पादकता वृद्धि 4% थियो। थ्रुपुट 1.15M req/s बाट 1.2M req/s मा बढ्यो।

काम गर्ने अप्टिमाइजेसनको अतिरिक्त, लेखले अपेक्षित कार्यसम्पादन वृद्धिको नेतृत्व नगर्ने विधिहरू पनि छलफल गर्दछ। उदाहरणका लागि, निम्न प्रभावकारी हुन सकेन:

• लिब्रेएक्टरलाई छुट्टै चलाउनु कन्टेनरमा चलाउनु भन्दा प्रदर्शनमा फरक थिएन। Writv लाई पठाएर प्रतिस्थापन गर्ने, epoll_wait मा maxevents बढाउने, र GCC संस्करणहरू र झण्डाहरू प्रयोग गर्दा कुनै प्रभाव परेन (प्रभाव "-O3" र "-march-native" झण्डाहरूमा मात्र देख्न सकिने थियो)।
• लिनक्स कर्नेललाई संस्करण 4.19 र 5.4 मा स्तरवृद्धि गर्दै, SCHED_FIFO र SCHED_RR शेड्युलरहरू प्रयोग गरेर, sysctl kernel.sched_min_granularity_ns, kernel.sched_wakeup_granularity_ns, पारदर्शी_hugepages=never,tsk=1 लाई असर गर्दैन।
• ENA ड्राइभरमा, अफलोड मोडहरू (सेगमेन्टेसन, स्क्याटर-गदर, rx/tx चेकसम), "-O3" फ्ल्यागको साथ निर्माण, र ena.rx_queue_size र ena.force_large_llq_header मापदण्डहरू प्रयोग गर्दा कुनै प्रभाव परेन।
• नेटवर्क स्ट्याकमा परिवर्तनहरूले कार्यसम्पादन सुधार गरेन:
  • IPv6 असक्षम गर्नुहोस्: ipv6.disable=1
  • VLAN असक्षम गर्नुहोस्: modprobe -rv 8021q
  • प्याकेज स्रोत जाँच असक्षम पार्नुहोस्
    • net.ipv4.conf.all.rp_filter=0
    • net.ipv4.conf.eth0.rp_filter=0
    • net.ipv4.conf.all.accept_local=1 (नकारात्मक प्रभाव)
  • net.ipv4.tcp_sack = १
  • net.ipv4.tcp_dsack=0
  • net.ipv4.tcp_mem/tcp_wmem/tcp_rmem
  • net.core.netdev_budget
  • net.core.dev_weight
  • net.core.netdev_max_backlog
  • net.ipv4.tcp_slow_start_after_idle=0
  • net.ipv4.tcp_moderate_rcvbuf=0
  • net.ipv4.tcp_timestamps=0
  • net.ipv4.tcp_low_latency = 1
  • SO_PRIORITY
  • TCP_NODELAY

  स्रोत: opennet.ru