ટપરવેર: ફેસબુકના કુબરનેટ્સ કિલર?

ટપરવેર સાથે કોઈપણ સ્કેલ પર ક્લસ્ટરોનું કાર્યક્ષમ અને વિશ્વસનીય સંચાલન

આજે પર સિસ્ટમ્સ @ સ્કેલ કોન્ફરન્સ અમે ટપરવેર રજૂ કર્યું, અમારી ક્લસ્ટર મેનેજમેન્ટ સિસ્ટમ કે જે અમારી લગભગ તમામ સેવાઓ ચલાવતા લાખો સર્વર્સ પર કન્ટેનરનું આયોજન કરે છે. અમે સૌપ્રથમ 2011માં ટપરવેરને જમાવ્યું હતું અને ત્યારથી અમારી ઈન્ફ્રાસ્ટ્રક્ચરનો વિકાસ થયો છે. 1 ડેટા સેન્ટર સમગ્ર માટે 15 ભૂ-વિતરિત ડેટા કેન્દ્રો. આ બધા સમયે, ટપરવેર સ્થિર નહોતું અને અમારી સાથે વિકસિત થયું. અમે તમને બતાવીશું કે કેવી રીતે Tupperware ફર્સ્ટ-ક્લાસ ક્લસ્ટર મેનેજમેન્ટ પૂરું પાડે છે, જેમાં સ્ટેટફુલ સેવાઓ માટે અનુકૂળ સપોર્ટ, તમામ ડેટા સેન્ટર્સ માટે એક જ નિયંત્રણ પેનલ અને વાસ્તવિક સમયમાં સેવાઓ વચ્ચે ક્ષમતા વિતરિત કરવાની ક્ષમતાનો સમાવેશ થાય છે. અમારું ઇન્ફ્રાસ્ટ્રક્ચર વિકસિત થતાં અમે જે પાઠ શીખ્યા તે પણ અમે શેર કરીશું.

ટપરવેર વિવિધ કાર્યો કરે છે. એપ્લિકેશન ડેવલપર્સ તેનો ઉપયોગ એપ્લિકેશનને વિતરિત કરવા અને તેનું સંચાલન કરવા માટે કરે છે. તે એપ્લિકેશન કોડ અને નિર્ભરતાને ઇમેજમાં પેકેજ કરે છે અને તેને કન્ટેનર તરીકે સર્વર્સ પર પહોંચાડે છે. કન્ટેનર સમાન સર્વર પરની એપ્લિકેશનો વચ્ચે અલગતા પ્રદાન કરે છે જેથી વિકાસકર્તાઓ એપ્લિકેશનના તર્ક સાથે વ્યવહાર કરે અને સર્વર્સ શોધવા અથવા અપડેટ્સનું સંચાલન કરવાની ચિંતા ન કરવી પડે. ટપરવેર સર્વરના પ્રદર્શન પર પણ નજર રાખે છે, અને જો તે નિષ્ફળતા શોધે છે, તો તે સમસ્યારૂપ સર્વરમાંથી કન્ટેનરને સ્થાનાંતરિત કરે છે.

ક્ષમતા આયોજન ઇજનેરો બજેટ અને અવરોધોના આધારે ટીમોને સર્વર ક્ષમતા ફાળવવા માટે ટપરવેરનો ઉપયોગ કરે છે. તેઓ સર્વરનો ઉપયોગ સુધારવા માટે પણ તેનો ઉપયોગ કરે છે. ડેટા સેન્ટર ઓપરેટરો સમગ્ર ડેટા સેન્ટરમાં કન્ટેનરનું યોગ્ય રીતે વિતરણ કરવા અને જાળવણી દરમિયાન કન્ટેનરને રોકવા અથવા ખસેડવા માટે ટપરવેર તરફ વળે છે. આનો આભાર, સર્વર, નેટવર્ક અને સાધનો જાળવવા માટે ન્યૂનતમ માનવ હસ્તક્ષેપની જરૂર છે.

ટપરવેર આર્કિટેક્ચર

Tupperware PRN આર્કિટેક્ચર એ અમારા ડેટા સેન્ટરના પ્રદેશોમાંનું એક છે. આ પ્રદેશમાં નજીકમાં આવેલી અનેક ડેટા સેન્ટર ઇમારતો (PRN1 અને PRN2)નો સમાવેશ થાય છે. અમે એક કંટ્રોલ પેનલ બનાવવાની યોજના બનાવીએ છીએ જે એક પ્રદેશમાં બધા સર્વર્સનું સંચાલન કરશે.

એપ્લિકેશન ડેવલપર્સ ટપરવેર જોબ્સના સ્વરૂપમાં સેવાઓ પ્રદાન કરે છે. જોબમાં બહુવિધ કન્ટેનર હોય છે, અને તે બધા સામાન્ય રીતે સમાન એપ્લિકેશન કોડ ચલાવે છે.

ટપરવેર કન્ટેનરની જોગવાઈ કરવા અને તેમના જીવનચક્રનું સંચાલન કરવા માટે જવાબદાર છે. તે ઘણા ઘટકો સમાવે છે:

• Tupperware ફ્રન્ટએન્ડ વપરાશકર્તા ઇન્ટરફેસ, CLI અને અન્ય ઓટોમેશન ટૂલ્સ માટે API પ્રદાન કરે છે જેના દ્વારા તમે Tupperware સાથે ક્રિયાપ્રતિક્રિયા કરી શકો છો. તેઓ ટપરવેર જોબ માલિકોથી સમગ્ર આંતરિક માળખું છુપાવે છે.
• ટપરવેર શેડ્યૂલર એ કન્ટેનર અને જોબ લાઇફસાઇકલના સંચાલન માટે જવાબદાર કંટ્રોલ પેનલ છે. તે પ્રાદેશિક અને વૈશ્વિક સ્તરે તૈનાત કરવામાં આવે છે, જ્યાં પ્રાદેશિક શેડ્યૂલર એક પ્રદેશમાં સર્વરનું સંચાલન કરે છે અને વૈશ્વિક શેડ્યૂલર વિવિધ પ્રદેશોના સર્વરોનું સંચાલન કરે છે. શેડ્યૂલરને શાર્ડ્સમાં વિભાજિત કરવામાં આવે છે, અને દરેક શાર્ડ જોબ્સના સેટનું સંચાલન કરે છે.
• ટપરવેરની શેડ્યૂલર પ્રોક્સી આંતરિક શાર્ડિંગને છુપાવે છે અને ટપરવેર વપરાશકર્તાઓ માટે કાચની એક અનુકૂળ ફલક પ્રદાન કરે છે.
• Tupperware ફાળવણીકર્તા સર્વરોને કન્ટેનર સોંપે છે. શેડ્યૂલર કન્ટેનરને રોકવા, શરૂ કરવા, અપડેટ કરવા અને ફેલઓવરને હેન્ડલ કરે છે. હાલમાં, એક ફાળવણી કરનાર આખા પ્રદેશને શાર્ડમાં વિભાજિત કર્યા વિના સંચાલિત કરી શકે છે. (પરિભાષામાં તફાવતની નોંધ કરો. ઉદાહરણ તરીકે, ટપરવેરમાં શેડ્યૂલર કન્ટ્રોલ પેનલને અનુરૂપ છે. ક્યુબર્નેટિસ, અને Tupperware ફાળવણી કરનારને Kubernetes માં શેડ્યૂલર કહેવામાં આવે છે.)
• રિસોર્સ બ્રોકર સર્વર અને સર્વિસ ઇવેન્ટ્સ માટે સત્યના સ્ત્રોતને સંગ્રહિત કરે છે. અમે દરેક ડેટા સેન્ટર માટે એક રિસોર્સ બ્રોકર ચલાવીએ છીએ અને તે ડેટા સેન્ટરમાં સર્વર્સ વિશેની તમામ માહિતી સ્ટોર કરે છે. રિસોર્સ બ્રોકર અને કેપેસિટી મેનેજમેન્ટ સિસ્ટમ, અથવા રિસોર્સ પ્રોવિઝનિંગ સિસ્ટમ, ગતિશીલ રીતે નક્કી કરે છે કે શેડ્યૂલર ડિલિવરી કયા સર્વરને નિયંત્રિત કરે છે. આરોગ્ય તપાસ સેવા સર્વર પર દેખરેખ રાખે છે અને તેમના સ્વાસ્થ્ય વિશેનો ડેટા રિસોર્સ બ્રોકરમાં સ્ટોર કરે છે. જો સર્વરને સમસ્યા હોય અથવા જાળવણીની જરૂર હોય, તો રિસોર્સ બ્રોકર એલોકટર અને શેડ્યૂલરને કન્ટેનર રોકવા અથવા તેને અન્ય સર્વર્સ પર ખસેડવા કહે છે.
• ટપરવેર એજન્ટ એ દરેક સર્વર પર ચાલતું ડિમન છે જે કન્ટેનરની જોગવાઈ અને દૂર કરવાની કામગીરી સંભાળે છે. એપ્લિકેશન કન્ટેનરની અંદર ચાલે છે, જે તેમને વધુ અલગતા અને પુનઃઉત્પાદનક્ષમતા આપે છે. ચાલુ ગયા વર્ષની સિસ્ટમ્સ @સ્કેલ કોન્ફરન્સ અમે પહેલેથી જ વર્ણવેલ છે કે કેવી રીતે ઇમેજ, btrfs, cgroupv2 અને systemd નો ઉપયોગ કરીને વ્યક્તિગત Tupperware કન્ટેનર બનાવવામાં આવે છે.

Tupperware ના વિશિષ્ટ લક્ષણો

Tupperware ઘણી રીતે અન્ય ક્લસ્ટર મેનેજમેન્ટ સિસ્ટમ જેવી કે કુબરનેટ્સ અને મેસોસ, પરંતુ ત્યાં પણ તફાવતો છે:

• સ્ટેટફુલ સેવાઓ માટે બિલ્ટ-ઇન સપોર્ટ.
• ઉદ્દેશ્ય, ક્લસ્ટરોને ડિકમિશનિંગ અને જાળવણીના આધારે કન્ટેનરની ડિલિવરીને સ્વચાલિત કરવા માટે વિવિધ ડેટા સેન્ટર્સમાં સર્વર્સ માટે એક જ નિયંત્રણ પેનલ.
• ઝૂમિંગ માટે કંટ્રોલ પેનલનું સ્પષ્ટ વિભાજન.
• સ્થિતિસ્થાપક કમ્પ્યુટિંગ તમને વાસ્તવિક સમયમાં સેવાઓ વચ્ચે પાવર વિતરિત કરવાની મંજૂરી આપે છે.

અમે વિશાળ વૈશ્વિક વહેંચાયેલ સર્વર ફ્લીટમાં વિવિધ પ્રકારની સ્ટેટલેસ અને સ્ટેટફુલ એપ્લિકેશન્સને સમર્થન આપવા માટે આ શાનદાર સુવિધાઓ વિકસાવી છે.

સ્ટેટફુલ સેવાઓ માટે બિલ્ટ-ઇન સપોર્ટ.

Tupperware વિવિધ પ્રકારની જટિલ સ્ટેટફુલ સેવાઓનું સંચાલન કરે છે જે Facebook, Instagram, Messenger અને WhatsApp માટે સતત ઉત્પાદન ડેટા સંગ્રહિત કરે છે. આ કી-વેલ્યુ જોડીના મોટા સ્ટોર્સ હોઈ શકે છે (દા.ત. ZippyDB) અને મોનિટરિંગ ડેટા રિપોઝીટરીઝ (ઉદાહરણ તરીકે, ODS ગોરિલા и સ્કુબા). સ્ટેટફુલ સેવાઓ જાળવવી સરળ નથી, કારણ કે સિસ્ટમે ખાતરી કરવી જોઈએ કે કન્ટેનરનો પુરવઠો નેટવર્ક આઉટેજ અથવા પાવર આઉટેજ સહિત મોટા પાયે વિક્ષેપોનો સામનો કરી શકે છે. અને જ્યારે પરંપરાગત તકનીકો, જેમ કે ફોલ્ટ ડોમેન્સ પર કન્ટેનરનું વિતરણ કરવું, સ્ટેટલેસ સેવાઓ માટે સારી રીતે કાર્ય કરે છે, ત્યારે સ્ટેટફુલ સેવાઓને વધારાના સમર્થનની જરૂર છે.

ઉદાહરણ તરીકે, જો સર્વર નિષ્ફળતા એક ડેટાબેઝ પ્રતિકૃતિ અનુપલબ્ધ રેન્ડર કરે છે, તો શું તમારે સ્વચાલિત જાળવણી સક્ષમ કરવી જોઈએ જે 50 ના પૂલમાંથી 10 સર્વર્સ પર કોરોને અપડેટ કરશે? પરિસ્થિતિ પર આધાર રાખે છે. જો આ 50 સર્વરમાંથી એકમાં સમાન ડેટાબેઝની બીજી પ્રતિકૃતિ હોય, તો રાહ જોવી અને એક સાથે 2 પ્રતિકૃતિઓ ન ગુમાવવી તે વધુ સારું છે. સિસ્ટમ જાળવણી અને કામગીરી વિશે ગતિશીલ રીતે નિર્ણયો લેવા માટે, અમને આંતરિક ડેટા પ્રતિકૃતિ અને દરેક સ્ટેટફુલ સેવાના પ્લેસમેન્ટ તર્ક વિશેની માહિતીની જરૂર છે.

TaskControl ઈન્ટરફેસ સ્ટેટફુલ સેવાઓને ડેટાની ઉપલબ્ધતાને અસર કરતા નિર્ણયોને પ્રભાવિત કરવાની મંજૂરી આપે છે. આ ઈન્ટરફેસનો ઉપયોગ કરીને, શેડ્યૂલર કન્ટેનર ઓપરેશન્સ (પુનઃપ્રારંભ, અપડેટ, સ્થળાંતર, જાળવણી) વિશે બાહ્ય એપ્લિકેશનોને સૂચિત કરે છે. સ્ટેટફુલ સર્વિસ કંટ્રોલરનો અમલ કરે છે જે ટપરવેરને જણાવે છે કે જ્યારે તે દરેક ઑપરેશન કરવા માટે સલામત છે, અને આ ઑપરેશન્સ અદલાબદલી થઈ શકે છે અથવા અસ્થાયી રૂપે વિલંબિત થઈ શકે છે. ઉપરના ઉદાહરણમાં, ડેટાબેઝ નિયંત્રક ટપરવેરને 49 સર્વર્સમાંથી 50 અપડેટ કરવા માટે કહી શકે છે, પરંતુ હાલ માટે ચોક્કસ સર્વર (X) એકલા છોડી દો. પરિણામે, જો કર્નલ અપડેટ સમયગાળો પસાર થાય અને ડેટાબેઝ હજુ પણ સમસ્યારૂપ પ્રતિકૃતિને પુનઃસ્થાપિત કરવામાં અસમર્થ હોય, તો Tupperware હજુ પણ X સર્વરને અપડેટ કરશે.

Tupperware માં ઘણી સ્ટેટફુલ સેવાઓ TaskControl નો સીધો ઉપયોગ કરે છે, પરંતુ ShardManager દ્વારા, Facebook પર સ્ટેટફુલ સેવાઓ બનાવવા માટેનું એક સામાન્ય પ્લેટફોર્મ. Tupperware સાથે, વિકાસકર્તાઓ ડેટા કેન્દ્રોમાં કન્ટેનરનું વિતરણ બરાબર કેવી રીતે કરવું જોઈએ તે માટે તેમનો હેતુ સ્પષ્ટ કરી શકે છે. ShardManager સાથે, વિકાસકર્તાઓ સમગ્ર કન્ટેનરમાં ડેટા શાર્ડ્સ કેવી રીતે વિતરિત કરવા જોઈએ તે માટે તેમનો હેતુ સ્પષ્ટ કરે છે. ShardManager ડેટા પ્લેસમેન્ટ અને તેની એપ્લીકેશનની નકલથી વાકેફ છે અને ટાસ્કકંટ્રોલ ઈન્ટરફેસ દ્વારા ટપરવેર સાથે પ્રત્યક્ષ એપ્લિકેશનની સંડોવણી વિના કન્ટેનર કામગીરીને સુનિશ્ચિત કરવા માટે વાતચીત કરે છે. આ એકીકરણ સ્ટેટફુલ સેવાઓના સંચાલનને મોટા પ્રમાણમાં સરળ બનાવે છે, પરંતુ TaskControl વધુ સક્ષમ છે. ઉદાહરણ તરીકે, અમારું વ્યાપક વેબ ટાયર સ્ટેટલેસ છે અને કન્ટેનરમાં અપડેટના દરને ગતિશીલ રીતે સમાયોજિત કરવા માટે TaskControl નો ઉપયોગ કરે છે. આખરે વેબ ટાયર બહુવિધ સૉફ્ટવેર રિલીઝને ઝડપથી પૂર્ણ કરવામાં સક્ષમ છે ઉપલબ્ધતા સાથે સમાધાન કર્યા વિના પ્રતિ દિવસ.

ડેટા સેન્ટર્સમાં સર્વર્સનું સંચાલન

જ્યારે ટપરવેર 2011 માં પ્રથમ વખત લોન્ચ કરવામાં આવ્યું હતું, ત્યારે દરેક સર્વર ક્લસ્ટરનું સંચાલન અલગ શેડ્યૂલર દ્વારા કરવામાં આવ્યું હતું. તે સમયે, ફેસબુક ક્લસ્ટર એ એક નેટવર્ક સ્વીચ સાથે જોડાયેલ સર્વર રેક્સનું જૂથ હતું, અને ડેટા સેન્ટરમાં ઘણા ક્લસ્ટર હતા. શેડ્યૂલર ફક્ત એક જ ક્લસ્ટરમાં સર્વરને મેનેજ કરી શકે છે, એટલે કે જોબ બહુવિધ ક્લસ્ટરોમાં ફેલાઈ શકતી નથી. અમારું ઇન્ફ્રાસ્ટ્રક્ચર વધ્યું, અમે વધુને વધુ ક્લસ્ટરો લખ્યા. ટપ્પરવેર જોબને ડિકમિશન ક્લસ્ટરમાંથી અન્ય ક્લસ્ટરમાં ફેરફાર કર્યા વિના ખસેડી શકતું ન હોવાથી, તેને એપ્લિકેશન ડેવલપર્સ અને ડેટા સેન્ટર ઓપરેટરો વચ્ચે ઘણા પ્રયત્નો અને સાવચેત સંકલનની જરૂર હતી. જ્યારે સર્વર નિષ્ક્રિય પ્રક્રિયાઓને કારણે મહિનાઓ સુધી નિષ્ક્રિય હતા ત્યારે આ પ્રક્રિયાના પરિણામે સંસાધનોનો વ્યય થયો.

અમે ક્લસ્ટર ડિકમિશનિંગ સમસ્યાને ઉકેલવા અને અન્ય પ્રકારના જાળવણી કાર્યોનું સંકલન કરવા માટે એક સંસાધન બ્રોકર બનાવ્યું છે. રિસોર્સ બ્રોકર સર્વર સાથે સંકળાયેલ તમામ ભૌતિક માહિતીનો ટ્રૅક રાખે છે અને ગતિશીલ રીતે નક્કી કરે છે કે કયા શેડ્યૂલર દરેક સર્વરને નિયંત્રિત કરે છે. સર્વરને શેડ્યૂલર સાથે ગતિશીલ રીતે લિંક કરવાથી શેડ્યૂલરને વિવિધ ડેટા સેન્ટર્સમાં સર્વર્સનું સંચાલન કરવાની મંજૂરી મળે છે. ટપરવેર જોબ હવે એક જ ક્લસ્ટર સુધી મર્યાદિત ન હોવાથી, ટપરવેર વપરાશકર્તાઓ સ્પષ્ટ કરી શકે છે કે કેવી રીતે કન્ટેનરને ફોલ્ટ ડોમેન્સ પર વિતરિત કરવું જોઈએ. ઉદાહરણ તરીકે, ડેવલપર ચોક્કસ પ્રાપ્યતા ઝોનનો ઉલ્લેખ કર્યા વિના તેનો ઉદ્દેશ જાહેર કરી શકે છે (કહો: "પીઆરએન પ્રદેશમાં 2 ફોલ્ટ ડોમેન્સ પર મારું કામ ચલાવો"). ટપરવેર પોતે આ હેતુને અમલમાં મૂકવા માટે યોગ્ય સર્વર્સ શોધી કાઢશે, પછી ભલે ક્લસ્ટર અથવા સેવા રદ કરવામાં આવે.

સમગ્ર વૈશ્વિક સિસ્ટમને ટેકો આપવા માટે સ્કેલેબલ

ઐતિહાસિક રીતે, અમારું ઇન્ફ્રાસ્ટ્રક્ચર વ્યક્તિગત ટીમો માટે સેંકડો સમર્પિત સર્વર પૂલમાં વહેંચાયેલું છે. ફ્રેગમેન્ટેશન અને ધોરણોના અભાવને કારણે, અમારે ઊંચો ઓપરેશનલ ખર્ચ હતો, અને નિષ્ક્રિય સર્વર્સનો ફરીથી ઉપયોગ કરવો વધુ મુશ્કેલ હતું. ગયા વર્ષની કોન્ફરન્સમાં સિસ્ટમ્સ @સ્કેલ અમે રજૂ કર્યું સેવા તરીકે ઇન્ફ્રાસ્ટ્રક્ચર (IaaS), જે આપણા ઈન્ફ્રાસ્ટ્રક્ચરને એક વિશાળ સિંગલ સર્વર પાર્કમાં જોડવા જોઈએ. પરંતુ એક જ સર્વર પાર્કની પોતાની મુશ્કેલીઓ છે. તે ચોક્કસ આવશ્યકતાઓને પૂર્ણ કરવી આવશ્યક છે:

• માપનીયતા. અમે દરેક પ્રદેશમાં ડેટા સેન્ટર ઉમેર્યા તેમ અમારી ઈન્ફ્રાસ્ટ્રક્ચર વધ્યું. સર્વર્સ નાના અને વધુ ઉર્જા કાર્યક્ષમ બન્યા છે, તેથી દરેક પ્રદેશમાં તેમાંના ઘણા વધુ છે. પરિણામે, એક પ્રદેશ દીઠ એક શેડ્યૂલર કન્ટેનરની સંખ્યાને હેન્ડલ કરી શકતું નથી જે દરેક પ્રદેશમાં હજારો સર્વર્સ પર ચલાવી શકાય છે.
• વિશ્વસનીયતા જો શેડ્યૂલરને આટલું વધારી શકાય તો પણ, શેડ્યૂલરના વિશાળ અવકાશનો અર્થ એ છે કે ત્યાં ભૂલોનું જોખમ વધારે છે અને કન્ટેનરનો સમગ્ર વિસ્તાર બેકાબૂ બની શકે છે.
• સહનશીલતા દોષ. મોટી ઈન્ફ્રાસ્ટ્રક્ચર નિષ્ફળતાના કિસ્સામાં (ઉદાહરણ તરીકે, શેડ્યૂલર ચલાવતા સર્વર્સ નેટવર્ક નિષ્ફળતા અથવા પાવર આઉટેજને કારણે નિષ્ફળ જાય છે), નકારાત્મક પરિણામો આ પ્રદેશમાં સર્વર્સના માત્ર એક ભાગને અસર કરશે.
• ઉપયોગની સગવડ. એવું લાગે છે કે તમારે એક પ્રદેશ માટે ઘણા સ્વતંત્ર શેડ્યૂલર ચલાવવાની જરૂર છે. પરંતુ સગવડના પરિપ્રેક્ષ્યમાં, પ્રદેશના શેર કરેલ પૂલમાં પ્રવેશનો એક જ બિંદુ ક્ષમતા અને નોકરીઓનું સંચાલન કરવાનું સરળ બનાવે છે.

મોટા વહેંચાયેલ પૂલની જાળવણીની સમસ્યાઓ હલ કરવા માટે અમે શેડ્યૂલરને શાર્ડ્સમાં વિભાજિત કર્યા છે. દરેક શેડ્યુલર શાર્ડ પ્રદેશમાં તેની પોતાની નોકરીના સેટનું સંચાલન કરે છે, અને આ શેડ્યૂલર સાથે સંકળાયેલા જોખમને ઘટાડે છે. જેમ જેમ શેર કરેલ પૂલ વધે છે તેમ તેમ અમે વધુ શેડ્યુલર શાર્ડ ઉમેરી શકીએ છીએ. Tupperware વપરાશકર્તાઓ માટે, shards અને શેડ્યૂલર પ્રોક્સી એક નિયંત્રણ પેનલ જેવા દેખાય છે. તેઓને ઘણા બધા શાર્ડ્સ સાથે કામ કરવાની જરૂર નથી જે કાર્યોનું આયોજન કરે છે. શેડ્યૂલર શાર્ડ્સ અમે પહેલાં ઉપયોગમાં લીધેલા ક્લસ્ટર શેડ્યૂલર્સ કરતાં મૂળભૂત રીતે અલગ છે, જ્યારે નેટવર્ક ટોપોલોજી અનુસાર સર્વરના શેર કરેલા પૂલને સ્ટેટિકલી વિભાજિત કર્યા વિના નિયંત્રણ પેનલનું વિભાજન કરવામાં આવ્યું હતું.

સ્થિતિસ્થાપક કમ્પ્યુટિંગ સાથે વપરાશ કાર્યક્ષમતામાં સુધારો

આપણું ઈન્ફ્રાસ્ટ્રક્ચર જેટલું મોટું છે, ઈન્ફ્રાસ્ટ્રક્ચર ખર્ચને ઓપ્ટિમાઈઝ કરવા અને લોડ ઘટાડવા માટે અમારા સર્વર્સનો કાર્યક્ષમ રીતે ઉપયોગ કરવો તેટલું જ મહત્વપૂર્ણ છે. સર્વર ઉપયોગની કાર્યક્ષમતા વધારવાની બે રીતો છે:

• સ્થિતિસ્થાપક કમ્પ્યુટિંગ - શાંત કલાકો દરમિયાન ઓનલાઈન સેવાઓને સ્કેલ કરો અને ઑફલાઇન વર્કલોડ માટે મુક્ત સર્વર્સનો ઉપયોગ કરો, જેમ કે મશીન લર્નિંગ અને MapReduce નોકરીઓ.
• ઓવરલોડિંગ - ઓનલાઈન સેવાઓ અને બેચ વર્કલોડ્સને સમાન સર્વર્સ પર મૂકો જેથી કરીને બેચ વર્કલોડ ઓછી પ્રાધાન્યતા પર ચાલે.

અમારા ડેટા સેન્ટર્સમાં અડચણ છે પાવર વપરાશ. તેથી, અમે નાના, ઉર્જા-કાર્યક્ષમ સર્વર્સ પસંદ કરીએ છીએ જે એકસાથે વધુ પ્રોસેસિંગ પાવર પ્રદાન કરે છે. કમનસીબે, ઓછા CPU અને મેમરીવાળા નાના સર્વર્સ પર, ઓવરલોડિંગ ઓછું અસરકારક છે. અલબત્ત, અમે એક નાના ઉર્જા-કાર્યક્ષમ સર્વર પર નાની સેવાઓના ઘણા કન્ટેનર મૂકી શકીએ છીએ જે ઓછા પ્રોસેસર સંસાધનો અને મેમરી વાપરે છે, પરંતુ આ પરિસ્થિતિમાં મોટી સેવાઓનું પ્રદર્શન ઓછું હશે. તેથી, અમે અમારી મોટી સેવાઓના વિકાસકર્તાઓને તેમને ઑપ્ટિમાઇઝ કરવાની સલાહ આપીએ છીએ જેથી તેઓ સમગ્ર સર્વર્સનો ઉપયોગ કરે.


મૂળભૂત રીતે, અમે સ્થિતિસ્થાપક કમ્પ્યુટિંગનો ઉપયોગ કરીને વપરાશ કાર્યક્ષમતામાં સુધારો કરીએ છીએ. અમારી ઘણી મુખ્ય સેવાઓ, જેમ કે ન્યૂઝ ફીડ, મેસેજિંગ સુવિધા અને ફ્રન્ટ-એન્ડ વેબ ટાયર, દિવસના સમયના આધારે બદલાય છે. અમે શાંત કલાકો દરમિયાન ઈરાદાપૂર્વક ઓનલાઈન સેવાઓને સ્કેલ કરીએ છીએ અને મશીન લર્નિંગ અને MapReduce નોકરીઓ જેવા ઑફલાઈન વર્કલોડ માટે મુક્ત સર્વર્સનો ઉપયોગ કરીએ છીએ.

અમે અનુભવથી જાણીએ છીએ કે સ્થિતિસ્થાપક ક્ષમતાના એકમો તરીકે સમગ્ર સર્વરોની જોગવાઈ કરવી શ્રેષ્ઠ છે કારણ કે મોટી સેવાઓ બંને મુખ્ય દાતાઓ અને સ્થિતિસ્થાપક ક્ષમતાના મુખ્ય ઉપભોક્તા છે, અને સમગ્ર સર્વર્સનો ઉપયોગ કરવા માટે ઑપ્ટિમાઇઝ કરવામાં આવે છે. જ્યારે સર્વર શાંત કલાકો દરમિયાન ઓનલાઈન સેવામાંથી મુક્ત થાય છે, ત્યારે રિસોર્સ બ્રોકર તેના પર ઑફલાઇન વર્કલોડ ચલાવવા માટે સર્વરને શેડ્યૂલરને ભાડે આપે છે. જો ઓનલાઈન સર્વિસ પીક લોડ અનુભવે છે, તો રિસોર્સ બ્રોકર ઉધાર લીધેલા સર્વરને ઝડપથી રિકોલ કરે છે અને શેડ્યૂલર સાથે મળીને તેને ઓનલાઈન સર્વિસમાં પરત કરે છે.

શીખ્યા પાઠ અને ભવિષ્ય માટેની યોજનાઓ

છેલ્લાં 8 વર્ષોમાં, અમે Facebookના ઝડપી વિકાસને જાળવી રાખવા માટે Tupperware વિકસાવી રહ્યાં છીએ. અમે જે શીખ્યા તે અમે શેર કરીએ છીએ અને આશા રાખીએ છીએ કે તે ઝડપથી વિકસતા ઈન્ફ્રાસ્ટ્રક્ચરનું સંચાલન કરવામાં અન્ય લોકોને મદદ કરશે:

• કંટ્રોલ પેનલ અને તે મેનેજ કરે છે તે સર્વર્સ વચ્ચે લવચીક કનેક્શન સેટ કરો. આ લવચીકતા કંટ્રોલ પેનલને વિવિધ ડેટા સેન્ટર્સમાં સર્વર્સનું સંચાલન કરવાની મંજૂરી આપે છે, ક્લસ્ટરોના ડિકમિશનિંગ અને જાળવણીને સ્વચાલિત કરવામાં મદદ કરે છે અને સ્થિતિસ્થાપક કમ્પ્યુટિંગનો ઉપયોગ કરીને ગતિશીલ ક્ષમતા ફાળવણીને સક્ષમ કરે છે.
• પ્રદેશમાં એક જ કંટ્રોલ પેનલ સાથે, કાર્યો સાથે કામ કરવું વધુ અનુકૂળ બને છે અને વિશાળ વહેંચાયેલ સર્વર ફ્લીટનું સંચાલન કરવાનું સરળ બને છે. નોંધ કરો કે કંટ્રોલ પેનલ પ્રવેશના એક જ બિંદુને જાળવી રાખે છે, ભલે તેની આંતરિક રચના સ્કેલ અથવા ફોલ્ટ સહિષ્ણુતાના કારણોસર અલગ કરવામાં આવે.
• પ્લગઇન મોડેલનો ઉપયોગ કરીને, કંટ્રોલ પેનલ આગામી કન્ટેનર કામગીરીની બાહ્ય એપ્લિકેશનને સૂચિત કરી શકે છે. વધુમાં, સ્ટેટફુલ સેવાઓ કન્ટેનર મેનેજમેન્ટને કસ્ટમાઇઝ કરવા માટે પ્લગઇન ઇન્ટરફેસનો ઉપયોગ કરી શકે છે. આ પ્લગઈન મોડલ સાથે, કંટ્રોલ પેનલ ઘણી જુદી જુદી સ્ટેટફુલ સેવાઓને અસરકારક રીતે સેવા આપતી વખતે સરળતા પ્રદાન કરે છે.
• અમારું માનવું છે કે સ્થિતિસ્થાપક કમ્પ્યુટિંગ, જ્યાં અમે બેચ જોબ્સ, મશીન લર્નિંગ અને અન્ય બિન-તાકીદની સેવાઓ માટે દાતા સેવાઓમાંથી સંપૂર્ણ સર્વરો લઈએ છીએ, તે નાના, ઉર્જા-કાર્યક્ષમ સર્વરની કાર્યક્ષમતામાં સુધારો કરવાનો શ્રેષ્ઠ માર્ગ છે.

અમે હમણાં જ અમલ કરવાનું શરૂ કરી રહ્યા છીએ સિંગલ ગ્લોબલ શેર્ડ સર્વર ફ્લીટ. હાલમાં અમારા લગભગ 20% સર્વર શેર કરેલ પૂલમાં છે. 100% હાંસલ કરવા માટે, શેર કરેલ સ્ટોરેજ પૂલની જાળવણી, સ્વચાલિત જાળવણી, ક્રોસ-ટેનન્ટ આવશ્યકતાઓનું સંચાલન, સર્વરનો ઉપયોગ સુધારવા અને મશીન લર્નિંગ વર્કલોડ માટે સપોર્ટ સુધારવા સહિત ઘણા મુદ્દાઓ પર ધ્યાન આપવાની જરૂર છે. અમે આ પડકારોનો સામનો કરવા અને અમારી સફળતાઓ શેર કરવા માટે રાહ જોઈ શકતા નથી.

સોર્સ: www.habr.com