ഉള്ളതുപോലെ большинстве постов, появилась проблема с распределённой службой, назовём эту службу Элвин. На этот раз я не сам обнаружил проблему, мне сообщили ребята с клиентской части.

ആൽവിനുമായുള്ള നീണ്ട കാലതാമസം കാരണം ഒരു ദിവസം ഞാൻ അതൃപ്തിയുള്ള ഒരു ഇമെയിൽ ഉണർന്നു, അത് സമീപഭാവിയിൽ ഞങ്ങൾ ആരംഭിക്കാൻ പദ്ധതിയിട്ടു. പ്രത്യേകിച്ചും, ക്ലയന്റ് 99 എംഎസ് മേഖലയിൽ 50-ാമത്തെ പെർസെൻറ്റൈൽ ലേറ്റൻസി അനുഭവിച്ചു, ഞങ്ങളുടെ ലേറ്റൻസി ബഡ്ജറ്റിനേക്കാൾ വളരെ കൂടുതലാണ്. ഞാൻ സേവനം വിപുലമായി പരിശോധിച്ചതിനാൽ ഇത് ആശ്ചര്യകരമാണ്, പ്രത്യേകിച്ച് ലേറ്റൻസിയിൽ, ഇത് ഒരു സാധാരണ പരാതിയാണ്.

Прежде чем отдать Элвина в тестирование, я провёл много экспериментов с 40 тыс. запросов в секунду (QPS), все показали задержку менее 10 мс. Я готов был заявить, что не согласен с их результатами. Но ещё раз взглянув на письмо, я обратил внимание на что-то новое: я точно не тестировал условия, которые они упомянули, их QPS был намного ниже, чем мой. Я тестировал на 40k QPS, а они только на 1k. Я запустил ещё один эксперимент, на этот раз с более низким QPS, просто чтобы ублажить их.

Поскольку я пишу об этом в блоге — вероятно, вы уже поняли: их цифры оказались правильными. Я проверял своего виртуального клиента снова и снова, всё с тем же результатом: низкое количество запросов не только увеличивает задержку, но увеличивает количество запросов с задержкой более 10 мс. Другими словами, если на 40k QPS около 50 запросов в секунду превышали 50 мс, то на 1k QPS каждую секунду было 100 запросов выше 50 мс. Парадокс!

തിരച്ചിൽ ചുരുക്കുന്നു

Столкнувшись с проблемой задержки в распределённой системе со многими компонентами первым делом нужно составить короткий список подозреваемых. Копнём немного глубже в архитектуру Элвина:

Хорошей отправной точкой является список выполненных переходов ввода-вывода (сетевые вызовы/поиск по диску и т. д.). Попытаемся выяснить, где задержка. Помимо очевидного ввода-вывода с клиентом, Элвин делает дополнительный шаг: он обращается к хранилищу данных. Однако это хранилище работает в одном кластере с Элвином, поэтому там задержка должна быть меньше, чем с клиентом. Итак, список подозреваемых:

1. Сетевой вызов от клиента к Элвину.
2. ആൽവിനിൽ നിന്ന് ഡാറ്റ സ്റ്റോറിലേക്കുള്ള നെറ്റ്‌വർക്ക് കോൾ.
3. Поиск на диске в хранилище данных.
4. ഡാറ്റ വെയർഹൗസിൽ നിന്ന് ആൽവിനിലേക്കുള്ള നെറ്റ്‌വർക്ക് കോൾ.
5. ആൽവിനിൽ നിന്ന് ഒരു ക്ലയന്റിലേക്കുള്ള നെറ്റ്‌വർക്ക് കോൾ.

Попробуем вычеркнуть некоторые пункты.

ഡാറ്റ സ്റ്റോറേജുമായി ഇതുമായി ബന്ധമില്ല

അഭ്യർത്ഥനകൾ പ്രോസസ്സ് ചെയ്യാത്ത ഒരു പിംഗ്-പിംഗ് സെർവറിലേക്ക് ആൽവിനെ പരിവർത്തനം ചെയ്യുക എന്നതാണ് ഞാൻ ആദ്യം ചെയ്തത്. അതിന് ഒരു അഭ്യർത്ഥന ലഭിക്കുമ്പോൾ, അത് ഒരു ശൂന്യമായ പ്രതികരണം നൽകുന്നു. കാലതാമസം കുറയുകയാണെങ്കിൽ, ആൽവിൻ അല്ലെങ്കിൽ ഡാറ്റ വെയർഹൗസ് നടപ്പിലാക്കുന്നതിലെ ഒരു ബഗ് കേൾക്കാത്ത കാര്യമല്ല. ആദ്യ പരീക്ഷണത്തിൽ നമുക്ക് ഇനിപ്പറയുന്ന ഗ്രാഫ് ലഭിക്കും:

നിങ്ങൾക്ക് കാണാനാകുന്നതുപോലെ, പിംഗ്-പിംഗ് സെർവർ ഉപയോഗിക്കുമ്പോൾ ഒരു പുരോഗതിയും ഇല്ല. ഇതിനർത്ഥം ഡാറ്റ വെയർഹൗസ് ലേറ്റൻസി വർദ്ധിപ്പിക്കുന്നില്ല, സംശയിക്കുന്നവരുടെ പട്ടിക പകുതിയായി വെട്ടിക്കുറയ്ക്കുന്നു:

1. Сетевой вызов от клиента к Элвину.
2. ആൽവിനിൽ നിന്ന് ഒരു ക്ലയന്റിലേക്കുള്ള നെറ്റ്‌വർക്ക് കോൾ.

Здорово! Список быстро сокращается. Я думал, что почти выяснил причину.

gRPC

Сейчас самое время представить вам нового игрока: gRPC. ഇൻ-പ്രോസസ് കമ്മ്യൂണിക്കേഷനുള്ള Google-ൽ നിന്നുള്ള ഒരു ഓപ്പൺ സോഴ്‌സ് ലൈബ്രറിയാണിത് ആർ‌പി‌സി. എന്നിരുന്നാലും gRPC хорошо оптимизирован и широко используется, я первый раз использовал его в системе такого масштаба, и я ожидал, что моя реализация будет неоптимальной — мягко говоря.

ലഭ്യത gRPC സ്റ്റാക്കിൽ ഒരു പുതിയ ചോദ്യം ഉയർന്നു: ഒരുപക്ഷേ ഇത് എന്റെ നടപ്പാക്കലായിരിക്കാം അല്ലെങ്കിൽ ഞാനായിരിക്കാം gRPC ലേറ്റൻസി പ്രശ്നം ഉണ്ടാക്കുന്നുണ്ടോ? ലിസ്റ്റിലേക്ക് ഒരു പുതിയ പ്രതിയെ ചേർക്കുന്നു:

1. Клиент вызывает библиотеку gRPC
2. ലൈബ്രറി gRPC ക്ലയന്റിലുള്ള ലൈബ്രറിയിലേക്ക് ഒരു നെറ്റ്‌വർക്ക് കോൾ ചെയ്യുന്നു gRPC സെർവറിൽ
3. ലൈബ്രറി gRPC ആൽവിൻ കോൺടാക്റ്റുകൾ (പിംഗ്-പോംഗ് സെർവറിന്റെ കാര്യത്തിൽ പ്രവർത്തനമില്ല)

കോഡ് എങ്ങനെയിരിക്കും എന്നതിനെക്കുറിച്ച് നിങ്ങൾക്ക് ഒരു ആശയം നൽകാൻ, എന്റെ ക്ലയന്റ്/ആൽവിൻ നടപ്പിലാക്കൽ ക്ലയന്റ്-സെർവറിൽ നിന്ന് വളരെ വ്യത്യസ്തമല്ല അസമന്വിത ഉദാഹരണങ്ങൾ.

ശ്രദ്ധിക്കുക: മുകളിലെ ലിസ്റ്റ് അൽപ്പം ലളിതമാക്കിയതാണ് കാരണം gRPC നിങ്ങളുടെ സ്വന്തം (ടെംപ്ലേറ്റ്?) ത്രെഡിംഗ് മോഡൽ ഉപയോഗിക്കുന്നത് സാധ്യമാക്കുന്നു, അതിൽ എക്സിക്യൂഷൻ സ്റ്റാക്ക് ഇഴചേർന്നിരിക്കുന്നു gRPC ഉപയോക്തൃ നടപ്പാക്കലും. ലാളിത്യത്തിനായി, ഞങ്ങൾ ഈ മാതൃകയിൽ ഉറച്ചുനിൽക്കും.

Профилирование всё исправит

ഡാറ്റ സ്റ്റോറുകൾ മറികടന്ന്, ഞാൻ ഏകദേശം പൂർത്തിയാക്കിയെന്ന് ഞാൻ കരുതി: “ഇപ്പോൾ ഇത് എളുപ്പമാണ്! നമുക്ക് പ്രൊഫൈൽ പ്രയോഗിച്ച് എവിടെയാണ് കാലതാമസം സംഭവിക്കുന്നതെന്ന് കണ്ടെത്താം. ഐ കൃത്യമായ പ്രൊഫൈലിങ്ങിന്റെ വലിയ ആരാധകൻ, കാരണം സിപിയുകൾ വളരെ വേഗതയുള്ളതും മിക്കപ്പോഴും തടസ്സമാകാത്തതുമാണ്. മറ്റെന്തെങ്കിലും ചെയ്യാൻ പ്രോസസ്സർ പ്രോസസ്സ് ചെയ്യുന്നത് നിർത്തുമ്പോൾ മിക്ക കാലതാമസങ്ങളും സംഭവിക്കുന്നു. കൃത്യമായ സിപിയു പ്രൊഫൈലിംഗ് അത് ചെയ്യുന്നു: ഇത് എല്ലാം കൃത്യമായി രേഖപ്പെടുത്തുന്നു контекстные переключатели എവിടെയാണ് കാലതാമസം സംഭവിക്കുന്നതെന്ന് വ്യക്തമാക്കുകയും ചെയ്യുന്നു.

ഞാൻ നാല് പ്രൊഫൈലുകൾ എടുത്തു: ഉയർന്ന ക്യുപിഎസ് (കുറഞ്ഞ ലേറ്റൻസി), കുറഞ്ഞ ക്യുപിഎസ് (ഉയർന്ന ലേറ്റൻസി) ഉള്ള ഒരു പിംഗ്-പോംഗ് സെർവർ, ക്ലയന്റ് വശത്തും സെർവർ വശത്തും. കൂടാതെ, ഞാൻ ഒരു സാമ്പിൾ പ്രോസസർ പ്രൊഫൈലും എടുത്തു. പ്രൊഫൈലുകൾ താരതമ്യം ചെയ്യുമ്പോൾ, ഞാൻ സാധാരണയായി ഒരു അസാധാരണ കോൾ സ്റ്റാക്കിനായി നോക്കുന്നു. ഉദാഹരണത്തിന്, ഉയർന്ന ലേറ്റൻസി ഉള്ള മോശം ഭാഗത്ത് കൂടുതൽ സന്ദർഭ സ്വിച്ചുകൾ ഉണ്ട് (10 തവണ അല്ലെങ്കിൽ അതിൽ കൂടുതൽ). എന്നാൽ എന്റെ കാര്യത്തിൽ, സന്ദർഭ സ്വിച്ചുകളുടെ എണ്ണം ഏതാണ്ട് തുല്യമായിരുന്നു. എന്റെ ഭയാനകമായി, അവിടെ കാര്യമായ ഒന്നും ഉണ്ടായിരുന്നില്ല.

Дополнительная отладка

Я был в отчаянии. Я не знал, какие ещё инструменты можно использовать, а мой следующий план состоял по сути в повторении экспериментов с разными вариациями, а не чётком диагностировании проблемы.

അങ്ങനെയെങ്കിൽ

С самого начала меня беспокоила конкретное время задержки 50 мс. Это очень большое время. Я решил, что буду вырезать куски из кода, пока не смогу выяснить точно, какая часть вызывает эту ошибку. Затем последовал эксперимент, который сработал.

പതിവുപോലെ, തിരിഞ്ഞുനോക്കുമ്പോൾ എല്ലാം വ്യക്തമായിരുന്നുവെന്ന് തോന്നുന്നു. ഞാൻ ആൽവിന്റെ അതേ മെഷീനിൽ ക്ലയന്റിനെ ആക്കി - ഒരു അഭ്യർത്ഥന അയച്ചു localhost. ഒപ്പം കാലതാമസത്തിന്റെ വർദ്ധനവ് ഇല്ലാതായി!

Что-то было не так с сетью.

Осваиваем навыки сетевого инженера

Должен признаться: мои знания сетевых технологий ужасны, особенно с учётом того, что я с ними работаю ежедневно. Но сеть была главным подозреваемым, и мне нужно было научиться, как её отлаживать.

ഭാഗ്യവശാൽ, ഇന്റർനെറ്റ് പഠിക്കാൻ ആഗ്രഹിക്കുന്നവരെ സ്നേഹിക്കുന്നു. നെറ്റ്‌വർക്ക് ഗതാഗത പ്രശ്‌നങ്ങൾ ഡീബഗ്ഗുചെയ്യുന്നതിന് പിംഗിന്റെയും ട്രേസെർട്ടിന്റെയും സംയോജനം മതിയായ തുടക്കമായി തോന്നി.

ആദ്യം, ഞാൻ ലോഞ്ച് ചെയ്തു PsPing ആൽവിന്റെ TCP പോർട്ടിലേക്ക്. ഞാൻ സ്ഥിരസ്ഥിതി ക്രമീകരണങ്ങൾ ഉപയോഗിച്ചു - പ്രത്യേകിച്ചൊന്നുമില്ല. ആയിരത്തിലധികം പിംഗുകളിൽ, ചൂടാക്കാനുള്ള ആദ്യത്തേത് ഒഴികെ, ഒന്നും 10 എംഎസ് കവിഞ്ഞില്ല. ഇത് 50-ആം ശതമാനത്തിൽ 99 എംഎസ് ലേറ്റൻസിയിൽ കാണപ്പെടുന്ന വർദ്ധനവിന് വിരുദ്ധമാണ്: അവിടെ, ഓരോ 100 അഭ്യർത്ഥനകൾക്കും, 50 എം.എസ്.

Затем я попробовал ട്രാസെർട്ട്: может, проблема на одном из узлов по маршруту между Элвином и клиентом. Но и трейсер вернулся с пустыми руками.

Таким образом, причиной задержки был не мой код, не реализация gRPC и не сеть. Я уже начал волноваться, что никогда этого не пойму.

ഇപ്പോൾ നമ്മൾ ഏത് OS ആണ്

gRPC ലിനക്സിൽ വ്യാപകമായി ഉപയോഗിക്കപ്പെടുന്നു, എന്നാൽ വിൻഡോസിൽ വിചിത്രമാണ്. ഞാൻ ഒരു പരീക്ഷണം പരീക്ഷിക്കാൻ തീരുമാനിച്ചു, അത് പ്രവർത്തിച്ചു: ഞാൻ ഒരു ലിനക്സ് വെർച്വൽ മെഷീൻ സൃഷ്ടിച്ചു, ലിനക്സിനായി ആൽവിൻ സമാഹരിച്ചു, അത് വിന്യസിച്ചു.

എന്താണ് സംഭവിച്ചത്: ലിനക്സ് പിംഗ്-പോംഗ് സെർവറിന് സമാനമായ വിൻഡോസ് ഹോസ്റ്റിന്റെ അതേ കാലതാമസം ഉണ്ടായില്ല, എന്നിരുന്നാലും ഡാറ്റ ഉറവിടം വ്യത്യസ്തമല്ല. വിൻഡോസിനായുള്ള ജിആർപിസി നടപ്പിലാക്കുന്നതിലാണ് പ്രശ്‌നം എന്ന് ഇത് മാറുന്നു.

നഗ്ലെയുടെ അൽഗോരിതം

ഈ സമയമത്രയും ഞാൻ കരുതിയത് എനിക്ക് ഒരു കൊടി നഷ്ടപ്പെട്ടുവെന്നാണ് gRPC. Теперь я понял, что на самом деле это в gRPC വിൻഡോസ് ഫ്ലാഗ് കാണുന്നില്ല. എല്ലാ ഫ്ലാഗുകൾക്കും നന്നായി പ്രവർത്തിക്കുമെന്ന് എനിക്ക് വിശ്വാസമുള്ള ഒരു ആന്തരിക RPC ലൈബ്രറി ഞാൻ കണ്ടെത്തി വിൻസോക്ക്. Затем добавил все эти флаги в gRPC и развернул Элвина на Windows, в исправленном сервере ping-pong под Windows!

മിക്കവാറും ചെയ്‌തു: റിഗ്രഷൻ മടങ്ങിവരുന്നതുവരെ ഞാൻ ചേർത്ത ഫ്ലാഗുകൾ ഓരോന്നായി നീക്കം ചെയ്യാൻ തുടങ്ങി, അതിനാൽ എനിക്ക് കാരണം കണ്ടെത്താനാകും. അത് കുപ്രസിദ്ധമായിരുന്നു TCP_NODELAY, переключатель алгоритма Нейгла.

നഗ്ലെയുടെ അൽഗോരിതം പാക്കറ്റ് വലുപ്പം ഒരു നിശ്ചിത എണ്ണം ബൈറ്റുകൾ കവിയുന്നത് വരെ സന്ദേശങ്ങളുടെ സംപ്രേക്ഷണം വൈകിപ്പിച്ച് ഒരു നെറ്റ്‌വർക്കിലൂടെ അയച്ച പാക്കറ്റുകളുടെ എണ്ണം കുറയ്ക്കാൻ ശ്രമിക്കുന്നു. ശരാശരി ഉപയോക്താവിന് ഇത് നല്ലതാണെങ്കിലും, OS ചില സന്ദേശങ്ങൾ വൈകിപ്പിക്കുന്നതിനാൽ തത്സമയ സെർവറുകൾക്ക് ഇത് വിനാശകരമാണ്, ഇത് കുറഞ്ഞ QPS-ൽ കാലതാമസമുണ്ടാക്കുന്നു. യു gRPC ഈ ഫ്ലാഗ് ടിസിപി സോക്കറ്റുകൾക്കായുള്ള ലിനക്സ് നടപ്പിലാക്കലിൽ സജ്ജീകരിച്ചിരിക്കുന്നു, പക്ഷേ വിൻഡോസിൽ അല്ല. ഞാൻ ഇതാണ് തിരുത്തി.

തീരുമാനം

കുറഞ്ഞ ക്യുപിഎസിൽ ഉയർന്ന ലേറ്റൻസി OS ഒപ്റ്റിമൈസേഷൻ കാരണമായി. പിന്നിലേക്ക് നോക്കുമ്പോൾ, പ്രൊഫൈലിംഗ് ലേറ്റൻസി കണ്ടെത്തിയില്ല, കാരണം ഇത് കേർണൽ മോഡിൽ ചെയ്യാതെ ചെയ്തു пользовательском режиме. Не знаю, можно ли наблюдать алгоритм Нейгла через захваты ETW, но это было бы интересно.

ലോക്കൽഹോസ്റ്റ് പരീക്ഷണത്തെ സംബന്ധിച്ചിടത്തോളം, ഇത് യഥാർത്ഥ നെറ്റ്‌വർക്കിംഗ് കോഡിൽ സ്പർശിച്ചിട്ടില്ലായിരിക്കാം, കൂടാതെ നാഗ്ലെയുടെ അൽഗോരിതം പ്രവർത്തിച്ചില്ല, അതിനാൽ ക്ലയന്റ് ലോക്കൽ ഹോസ്റ്റ് വഴി ആൽവിനിൽ എത്തിയപ്പോൾ ലേറ്റൻസി പ്രശ്നങ്ങൾ ഇല്ലാതായി.

В следующий раз, когда увидите увеличение задержки при уменьшении количества запросов в секунду, алгоритм Нейгла должен быть в вашем списке подозреваемых!

അവലംബം: www.habr.com