প্রতি সেকেন্ডে 1.2 মিলিয়ন JSON অনুরোধগুলি পরিচালনা করতে Linux অপ্টিমাইজ করা হচ্ছে

HTTP অনুরোধ প্রক্রিয়াকরণের জন্য সর্বাধিক কর্মক্ষমতা অর্জনের জন্য Linux এনভায়রনমেন্ট টিউন করার বিষয়ে একটি বিস্তারিত নির্দেশিকা প্রকাশিত হয়েছে। প্রস্তাবিত পদ্ধতিগুলি অ্যামাজন EC2 পরিবেশে (4 vCPU) লাইব্রেক্টর লাইব্রেরির উপর ভিত্তি করে একটি JSON প্রসেসরের কর্মক্ষমতা বাড়ানো সম্ভব করেছে প্রতি সেকেন্ডে 224 হাজার API অনুরোধ থেকে Amazon Linux 2-এর স্ট্যান্ডার্ড সেটিংস সহ কার্নেল 4.14 থেকে 1.2 মিলিয়ন অনুরোধ প্রতি সেকেন্ডে। অপ্টিমাইজেশানের পরে দ্বিতীয় (436% বৃদ্ধি), এবং এছাড়াও 79% দ্বারা প্রক্রিয়াকরণের অনুরোধে বিলম্ব হ্রাসের দিকে পরিচালিত করে। nginx, Actix, Netty এবং Node.js সহ অন্যান্য HTTP সার্ভারগুলি ব্যবহার করার সময় প্রস্তাবিত পদ্ধতিগুলি libreactor এবং কাজ করার জন্য নির্দিষ্ট নয় (পরীক্ষায় libreactor ব্যবহার করা হয়েছিল কারণ এটির উপর ভিত্তি করে একটি সমাধান ভাল কর্মক্ষমতা দেখায়)।

মৌলিক অপ্টিমাইজেশান:

• libreactor কোড অপ্টিমাইজ করা. টেকমপাওয়ার কিট থেকে R18 বিকল্পটি একটি ভিত্তি হিসাবে ব্যবহার করা হয়েছিল, যা ব্যবহার করা CPU কোরের সংখ্যা সীমিত করার জন্য কোড অপসারণ করে উন্নত করা হয়েছিল (অপ্টিমাইজেশন 25-27% দ্বারা কাজকে ত্বরান্বিত করার অনুমতি দেয়), "-O3" বিকল্পগুলির সাথে GCC-এ একত্রিত হয় (5-10% বৃদ্ধি) এবং "-march-native" (5-10%), recv/send (5-10%) দিয়ে কল রিড/রাইট প্রতিস্থাপন করা এবং pthreads ব্যবহার করার সময় ওভারহেড হ্রাস করা (2-3%) . কোড অপ্টিমাইজেশনের পরে সামগ্রিক কর্মক্ষমতা বৃদ্ধি ছিল 55%, এবং থ্রুপুট 224k req/s থেকে 347k req/s-এ বৃদ্ধি পেয়েছে।
• অনুমানমূলক মৃত্যুদন্ডের দুর্বলতার বিরুদ্ধে সুরক্ষা অক্ষম করুন। কার্নেল লোড করার সময় "nospectre_v1 nospectre_v2 pti=off mds=off tsx_async_abort=off" পরামিতি ব্যবহার করে কর্মক্ষমতা 28% বৃদ্ধি করার অনুমতি দেয়, এবং থ্রুপুট 347k req/s থেকে 446k req/s-এ বৃদ্ধি পায়। আলাদাভাবে, প্যারামিটার "nospectre_v1" (স্পেক্টার v1 + SWAPGS থেকে সুরক্ষা) থেকে বৃদ্ধি ছিল 1-2%, "nospectre_v2" (স্পেক্টার v2 থেকে সুরক্ষা) - 15-20%, "pti=off" (Spectre v3/Meltdown) - 6%, "mds=off tsx_async_abort=off" (MDS/Zombieload এবং TSX অ্যাসিঙ্ক্রোনাস অ্যাবোর্ট) - 6%৷ L1TF/Foreshadow (l1tf=flush), iTLB মাল্টিহিট, স্পেকুলেটিভ স্টোর বাইপাস এবং SRBDS আক্রমণগুলির বিরুদ্ধে সুরক্ষার জন্য সেটিংস অপরিবর্তিত রাখা হয়েছিল, যা কার্যক্ষমতাকে প্রভাবিত করেনি কারণ তারা পরীক্ষিত কনফিগারেশনের সাথে ছেদ করেনি (উদাহরণস্বরূপ, KVM-এর জন্য নির্দিষ্ট, নেস্টেড ভার্চুয়ালাইজেশন এবং অন্যান্য CPU মডেল)।
• "auditctl -a never,task" কমান্ড ব্যবহার করে অডিটিং এবং সিস্টেম কল ব্লকিং মেকানিজম নিষ্ক্রিয় করা এবং ডকার কন্টেইনার শুরু করার সময় "--security-opt seccomp=unconfined" বিকল্পটি নির্দিষ্ট করা। সামগ্রিক কর্মক্ষমতা বৃদ্ধি ছিল 11%, এবং থ্রুপুট 446k অনুরোধ/s থেকে 495k অনুরোধ/সেকেন্ডে বৃদ্ধি পেয়েছে।
• সংশ্লিষ্ট কার্নেল মডিউল আনলোড করে iptables/netfilter নিষ্ক্রিয় করা হচ্ছে। ফায়ারওয়াল নিষ্ক্রিয় করার ধারণা, যা একটি নির্দিষ্ট সার্ভার সমাধানে ব্যবহার করা হয়নি, প্রোফাইলিং ফলাফলের দ্বারা প্রম্পট করা হয়েছিল, যার দ্বারা nf_hook_slow ফাংশনটি কার্যকর করতে 18% সময় নেয়। এটা উল্লেখ্য যে nftables iptables এর চেয়ে বেশি দক্ষতার সাথে কাজ করে, কিন্তু Amazon Linux iptables ব্যবহার করে চলেছে। iptables নিষ্ক্রিয় করার পরে, কর্মক্ষমতা বৃদ্ধি ছিল 22%, এবং থ্রুপুট 495k req/s থেকে 603k req/s হয়েছে।
• প্রসেসর ক্যাশে ব্যবহারের দক্ষতা উন্নত করতে বিভিন্ন CPU কোরের মধ্যে হ্যান্ডলারের স্থানান্তর হ্রাস। সিপিইউ কোর (সিপিইউ পিনিং) এবং পিনিং কার্নেল নেটওয়ার্ক হ্যান্ডলারের মাধ্যমে (পার্শ্ব স্কেলিং গ্রহণ) উভয় স্তরে অপ্টিমাইজেশান লিব্রেক্টর প্রসেস বাঁধাই করা হয়েছিল। উদাহরণস্বরূপ, irqbalance নিষ্ক্রিয় করা হয়েছে এবং CPU-এর সাথে সারিবদ্ধতা স্পষ্টভাবে /proc/irq/$IRQ/smp_affinity_list-এ সেট করা হয়েছে। লিব্রেক্টর প্রক্রিয়া এবং ইনকামিং প্যাকেটগুলির নেটওয়ার্ক সারি প্রক্রিয়া করার জন্য একই CPU কোর ব্যবহার করতে, একটি কাস্টম BPF হ্যান্ডলার ব্যবহার করা হয়, সকেট তৈরি করার সময় SO_ATTACH_REUSEPORT_CBPF পতাকা সেট করে সংযুক্ত করা হয়। সিপিইউতে বহির্গামী প্যাকেটের সারি বাঁধতে, /sys/class/net/eth0/queues/tx- সেটিংস পরিবর্তন করা হয়েছে /xps_cpus। সামগ্রিক কর্মক্ষমতা বৃদ্ধি ছিল 38%, এবং থ্রুপুট 603k অনুরোধ/সেকেন্ড থেকে 834k অনুরোধ/সেকেন্ডে বৃদ্ধি পেয়েছে।
• ইন্টারাপ্ট হ্যান্ডলিং এবং পোলিং ব্যবহারের অপ্টিমাইজেশন। ENA ড্রাইভারে অ্যাডাপ্টিভ-আরএক্স মোড সক্রিয় করা এবং sysctl net.core.busy_read এর কার্যকারিতা 28% বৃদ্ধি পেয়েছে (থ্রুপুট 834k req/s থেকে 1.06M req/s, এবং লেটেন্সি 361μs থেকে 292μs এ কমেছে)।
• সিস্টেম পরিষেবাগুলি অক্ষম করা যা নেটওয়ার্ক স্ট্যাকে অপ্রয়োজনীয় ব্লকিংয়ের দিকে পরিচালিত করে৷ dhclient অক্ষম করা এবং ম্যানুয়ালি IP ঠিকানা সেট করার ফলে 6% কর্মক্ষমতা বৃদ্ধি পেয়েছে এবং থ্রুপুট 1.06M অনুরোধ/s থেকে 1.12M অনুরোধ/সেকেন্ডে বৃদ্ধি পেয়েছে। dhclient যে কারণে কর্মক্ষমতা প্রভাবিত করে তা হল একটি কাঁচা সকেট ব্যবহার করে ট্রাফিক বিশ্লেষণে।
• স্পিন লক যুদ্ধ. sysctl “net.core.default_qdisc=noqueue” এবং “tc qdisc প্রতিস্থাপন dev eth0 root mq” এর মাধ্যমে নেটওয়ার্ক স্ট্যাকটিকে “noqueue” মোডে স্যুইচ করার ফলে কার্যক্ষমতা 2% বৃদ্ধি পেয়েছে, এবং থ্রুপুট 1.12M req/s থেকে বেড়ে 1.15M হয়েছে অনুরোধ
• চূড়ান্ত ছোটখাট অপ্টিমাইজেশান, যেমন "ethtool -K eth0 gro off" কমান্ড দিয়ে GRO (জেনারিক রিসিভ অফলোড) নিষ্ক্রিয় করা এবং sysctl "net.ipv4.tcp_congestion_control=reno" ব্যবহার করে কিউবিক কনজেশন কন্ট্রোল অ্যালগরিদমকে রেনো দিয়ে প্রতিস্থাপন করা। সামগ্রিক উত্পাদনশীলতা বৃদ্ধি ছিল 4%। থ্রুপুট 1.15M req/s থেকে 1.2M req/s হয়েছে৷

যে অপ্টিমাইজেশানগুলি কাজ করেছে তা ছাড়াও, নিবন্ধটি এমন পদ্ধতিগুলি নিয়েও আলোচনা করে যা প্রত্যাশিত কর্মক্ষমতা বৃদ্ধির দিকে পরিচালিত করেনি৷ উদাহরণস্বরূপ, নিম্নলিখিতগুলি অকার্যকর বলে প্রমাণিত হয়েছে:

• লিব্রেক্টরকে আলাদাভাবে চালানো একটি পাত্রে চালানোর থেকে পারফরম্যান্সে আলাদা ছিল না। Writv-কে send দিয়ে প্রতিস্থাপন করা, epoll_wait-এ ম্যাক্স ইভেন্ট বাড়ানো, এবং GCC সংস্করণ এবং পতাকা নিয়ে পরীক্ষা-নিরীক্ষার কোনো প্রভাব ছিল না (প্রভাবটি শুধুমাত্র “-O3” এবং “-march-native” পতাকার জন্য লক্ষণীয় ছিল)।
• লিনাক্স কার্নেলকে 4.19 এবং 5.4 সংস্করণে আপগ্রেড করা, SCHED_FIFO এবং SCHED_RR শিডিউলার ব্যবহার করে, sysctl kernel.sched_min_granularity_ns, kernel.sched_wakeup_granularity_ns, transparent_hugepages=never, tskew=tskew=1 কর্মক্ষমতা প্রভাবিত করেনি।
• ENA ড্রাইভারে, অফলোড মোড সক্রিয় করা (সেগমেন্টেশন, স্ক্যাটার-গ্যাদার, rx/tx চেকসাম), “-O3” পতাকা তৈরি করা এবং ena.rx_queue_size এবং ena.force_large_llq_header প্যারামিটার ব্যবহার করে কোনো প্রভাব পড়েনি।
• নেটওয়ার্ক স্ট্যাকের পরিবর্তন কর্মক্ষমতা উন্নত করেনি:
  • IPv6 নিষ্ক্রিয় করুন: ipv6.disable=1
  • VLAN অক্ষম করুন: modprobe -rv 8021q
  • প্যাকেজ উৎস পরীক্ষা অক্ষম করুন
    • net.ipv4.conf.all.rp_filter=0
    • net.ipv4.conf.eth0.rp_filter=0
    • net.ipv4.conf.all.accept_local=1 (নেতিবাচক প্রভাব)
  • নেট.ipv4.tcp_sack = 0
  • net.ipv4.tcp_dsack=0
  • net.ipv4.tcp_mem/tcp_wmem/tcp_rmem
  • net.core.netdev_budget
  • net.core.dev_weight
  • net.core.netdev_max_backlog
  • net.ipv4.tcp_slow_start_after_idle=0
  • net.ipv4.tcp_moderate_rcvbuf=0
  • net.ipv4.tcp_timestamps=0
  • নেট.ipv4.tcp_low_latency = 1
  • SO_PRIORITY
  • TCP_NODELAY

  উত্স: opennet.ru