ઓલેગ અનાસ્તાસેવ સાથે મીની-ઇન્ટરવ્યુ: અપાચે કસાન્ડ્રામાં દોષ સહનશીલતા

ઓડનોક્લાસ્નીકી એ રુનેટ પર અપાચે કસાન્ડ્રાનો સૌથી મોટો ઉપયોગકર્તા છે અને વિશ્વના સૌથી મોટામાંનો એક છે. અમે 2010 માં ફોટો રેટિંગ્સ સ્ટોર કરવા માટે Cassandra નો ઉપયોગ કરવાનું શરૂ કર્યું, અને હવે Cassandra હજારો નોડ્સ પર ડેટાના પેટાબાઇટ્સનું સંચાલન કરે છે, હકીકતમાં, અમે અમારી પોતાની પણ વિકસાવી છે ન્યૂએસક્યુએલ ટ્રાન્ઝેક્શનલ ડેટાબેઝ.
12 સપ્ટેમ્બરના રોજ અમારી સેન્ટ પીટર્સબર્ગ ઓફિસમાં અમે પકડીશું અપાચે કસાન્ડ્રાને સમર્પિત બીજી મુલાકાત. ઇવેન્ટના મુખ્ય વક્તા ઓડનોક્લાસ્નીકીના મુખ્ય ઇજનેર ઓલેગ અનાસ્તાસેવ હશે. ઓલેગ વિતરિત અને દોષ-સહિષ્ણુ પ્રણાલીઓના ક્ષેત્રમાં નિષ્ણાત છે; તે 10 વર્ષથી વધુ સમયથી કસાન્ડ્રા સાથે કામ કરી રહ્યો છે અને વારંવાર પરિષદોમાં આ ઉત્પાદનનો ઉપયોગ કરવાની વિશેષતાઓ વિશે વાત કરી.

મીટઅપની પૂર્વસંધ્યાએ, અમે ઓલેગ સાથે કેસન્ડ્રા સાથે વિતરિત પ્રણાલીઓની ખામી સહિષ્ણુતા વિશે વાત કરી, પૂછ્યું કે તે મીટઅપમાં શું વાત કરશે અને શા માટે આ ઇવેન્ટમાં ભાગ લેવો યોગ્ય છે.

ઓલેગે તેની પ્રોગ્રામિંગ કારકિર્દીની શરૂઆત 1995 માં કરી હતી. તેણે બેન્કિંગ, ટેલિકોમ અને ટ્રાન્સપોર્ટમાં સોફ્ટવેર વિકસાવ્યું. તે પ્લેટફોર્મ ટીમમાં 2007 થી ઓડનોક્લાસ્નીકીમાં અગ્રણી વિકાસકર્તા તરીકે કામ કરી રહ્યો છે. તેમની જવાબદારીઓમાં હાઇ-લોડ સિસ્ટમ્સ, મોટા ડેટા વેરહાઉસ માટે આર્કિટેક્ચર્સ અને સોલ્યુશન્સ વિકસાવવા અને પોર્ટલની કામગીરી અને વિશ્વસનીયતાની સમસ્યાઓનું નિરાકરણ શામેલ છે. તે કંપનીમાં વિકાસકર્તાઓને તાલીમ પણ આપે છે.

- ઓલેગ, હેલો! મે માં યોજાયો હતો પ્રથમ મુલાકાત, અપાચે કસાન્ડ્રાને સમર્પિત, સહભાગીઓ કહે છે કે મોડી રાત સુધી ચર્ચાઓ ચાલતી હતી, કૃપા કરીને મને કહો, પ્રથમ મીટિંગ વિશે તમારી છાપ શું છે?

વિવિધ કંપનીઓના વિવિધ પૃષ્ઠભૂમિ ધરાવતા વિકાસકર્તાઓ તેમની પોતાની પીડા, સમસ્યાઓના અણધાર્યા ઉકેલો અને આશ્ચર્યજનક વાર્તાઓ સાથે આવ્યા હતા. અમે ચર્ચાના ફોર્મેટમાં મોટાભાગની મીટઅપનું સંચાલન કર્યું, પરંતુ ત્યાં એટલી બધી ચર્ચાઓ હતી કે અમે આયોજિત વિષયોના ત્રીજા ભાગને જ સ્પર્શ કરી શક્યા. અમે અમારી વાસ્તવિક ઉત્પાદન સેવાઓના ઉદાહરણનો ઉપયોગ કરીને કેવી રીતે અને શું મોનિટર કરીએ છીએ તેના પર અમે ઘણું ધ્યાન આપ્યું છે.

મને રસ હતો અને ખરેખર તે ગમ્યું.

- જાહેરાત દ્વારા અભિપ્રાય આપતા, બીજી મુલાકાત સંપૂર્ણ રીતે દોષ સહિષ્ણુતા માટે સમર્પિત હશે, તમે આ વિષય કેમ પસંદ કર્યો?

Cassandra એ એક વિશિષ્ટ વ્યસ્ત વિતરિત સિસ્ટમ છે જેમાં મોટી સંખ્યામાં કાર્યક્ષમતા સીધી રીતે સેવા આપતા વપરાશકર્તાની વિનંતીઓથી આગળ છે: ગપસપ, નિષ્ફળતા શોધ, સ્કીમા ફેરફારોનો પ્રચાર, ક્લસ્ટર વિસ્તરણ/ઘટાડો, એન્ટિ-એન્ટ્રોપી, બેકઅપ અને પુનઃપ્રાપ્તિ વગેરે. કોઈપણ વિતરિત પ્રણાલીની જેમ, જેમ જેમ હાર્ડવેરનું પ્રમાણ વધે છે તેમ તેમ નિષ્ફળતાની સંભાવના વધે છે, તેથી કેસાન્ડ્રા પ્રોડક્શન ક્લસ્ટરના સંચાલનમાં નિષ્ફળતા અને ઓપરેટરની ક્રિયાઓના કિસ્સામાં વર્તનની આગાહી કરવા માટે તેની રચનાની ઊંડી સમજની જરૂર છે. ઘણા વર્ષો સુધી Cassandra નો ઉપયોગ કર્યા પછી, અમે નોંધપાત્ર કુશળતા સંચિત કરી છે, જે અમે શેર કરવા માટે તૈયાર છીએ, અને અમે એ પણ ચર્ચા કરવા માંગીએ છીએ કે દુકાનના સાથીદારો સામાન્ય સમસ્યાઓ કેવી રીતે હલ કરે છે.

- જ્યારે કેસન્ડ્રાની વાત આવે છે, ત્યારે દોષ સહનશીલતાનો તમારો અર્થ શું છે?

સૌ પ્રથમ, અલબત્ત, લાક્ષણિક હાર્ડવેર નિષ્ફળતાઓથી બચવા માટે સિસ્ટમની ક્ષમતા: મશીનો, ડિસ્ક અથવા નોડ્સ/ડેટા કેન્દ્રો સાથે નેટવર્ક કનેક્ટિવિટી ગુમાવવી. પરંતુ આ વિષય પોતે જ વધુ વ્યાપક છે અને ખાસ કરીને નિષ્ફળતાઓમાંથી પુનઃપ્રાપ્તિનો સમાવેશ થાય છે, જેમાં નિષ્ફળતાઓનો સમાવેશ થાય છે જેના માટે લોકો ભાગ્યે જ તૈયાર હોય છે, ઉદાહરણ તરીકે, ઓપરેટરની ભૂલો.

— શું તમે સૌથી વધુ લોડ થયેલ અને સૌથી મોટા ડેટા ક્લસ્ટરનું ઉદાહરણ આપી શકો છો?

અમારા સૌથી મોટા ક્લસ્ટરોમાંનું એક ગિફ્ટ ક્લસ્ટર છે: 200 થી વધુ નોડ્સ અને સેંકડો TB ડેટા. પરંતુ તે સૌથી વધુ ભારિત નથી, કારણ કે તે વિતરિત કેશ દ્વારા આવરી લેવામાં આવે છે. અમારા સૌથી વ્યસ્ત ક્લસ્ટર લેખન માટે હજારો RPS અને વાંચવા માટે હજારો RPS ને હેન્ડલ કરે છે.

- વાહ! કેટલી વાર કંઈક તૂટી જાય છે?

હા બધા સમય! કુલ મળીને, અમારી પાસે 6 હજારથી વધુ સર્વર્સ છે, અને દર અઠવાડિયે કેટલાક સર્વર્સ અને કેટલાક ડઝન ડિસ્ક બદલવામાં આવે છે (મશીન કાફલાના અપગ્રેડ અને વિસ્તરણની સમાંતર પ્રક્રિયાઓને ધ્યાનમાં લીધા વિના). દરેક પ્રકારની નિષ્ફળતા માટે, શું કરવું અને કયા ક્રમમાં કરવું તે અંગે સ્પષ્ટ સૂચનાઓ છે, જ્યારે પણ શક્ય હોય ત્યારે બધું સ્વચાલિત થાય છે, તેથી નિષ્ફળતાઓ નિયમિત છે અને 99% કિસ્સાઓમાં વપરાશકર્તાઓ દ્વારા ધ્યાન આપવામાં આવતું નથી.

- તમે આવા ઇનકાર સાથે કેવી રીતે વ્યવહાર કરશો?

કસાન્ડ્રા અને પ્રથમ ઘટનાઓની કામગીરીની શરૂઆતથી જ, અમે બેકઅપ અને તેમાંથી પુનઃપ્રાપ્તિ માટેની પદ્ધતિઓ પર કામ કર્યું, જમાવટની પ્રક્રિયાઓ બનાવી જે કેસાન્ડ્રા ક્લસ્ટરોની સ્થિતિને ધ્યાનમાં લે છે અને, ઉદાહરણ તરીકે, નોડ્સને ફરીથી શરૂ કરવાની મંજૂરી આપતા નથી. જો ડેટા નુકશાન શક્ય છે. અમે મીટઅપમાં આ બધા વિશે વાત કરવાની યોજના બનાવીએ છીએ.

— તમે કહ્યું તેમ, ત્યાં કોઈ સંપૂર્ણપણે વિશ્વસનીય સિસ્ટમો નથી. તમે કયા પ્રકારની નિષ્ફળતાઓ માટે તૈયારી કરો છો અને તેને હેન્ડલ કરવામાં સક્ષમ છો?

જો આપણે કસાન્ડ્રા ક્લસ્ટર્સના અમારા ઇન્સ્ટોલેશન વિશે વાત કરીએ, તો વપરાશકર્તાઓને કંઈપણ ધ્યાનમાં નહીં આવે જો આપણે એક DC અથવા એક સંપૂર્ણ DC (આ થયું છે) માં ઘણી મશીનો ગુમાવીએ. ડીસીની સંખ્યામાં વધારા સાથે, અમે બે ડીસીની નિષ્ફળતાની સ્થિતિમાં ઓપરેબિલિટી સુનિશ્ચિત કરવાનું શરૂ કરવા વિશે વિચારી રહ્યા છીએ.

- તમને લાગે છે કે દોષ સહિષ્ણુતાના સંદર્ભમાં કેસાન્ડ્રામાં શું અભાવ છે?

Cassandra, અન્ય ઘણા પ્રારંભિક NoSQL સ્ટોર્સની જેમ, તેની આંતરિક રચના અને બનતી ગતિશીલ પ્રક્રિયાઓની ઊંડી સમજની જરૂર છે. હું કહીશ કે તેમાં સરળતા, અનુમાન અને અવલોકનક્ષમતાનો અભાવ છે. પરંતુ અન્ય મીટિંગ સહભાગીઓના મંતવ્યો સાંભળવું રસપ્રદ રહેશે!

ઓલેગ, પ્રશ્નોના જવાબ આપવા માટે સમય આપવા બદલ તમારો ખૂબ ખૂબ આભાર!

અમે અમારી સેન્ટ પીટર્સબર્ગ ઓફિસમાં 12 સપ્ટેમ્બરના રોજ મીટઅપમાં અપાચે કસાન્ડ્રાના સંચાલનના ક્ષેત્રના નિષ્ણાતો સાથે વાતચીત કરવા ઇચ્છતા દરેક વ્યક્તિની રાહ જોઈ રહ્યા છીએ.

આવો, તે રસપ્રદ રહેશે!

ઇવેન્ટ માટે નોંધણી કરો.

સોર્સ: www.habr.com