Istio સાથે માઇક્રોસર્વિસિસ પર પાછા જાઓ. ભાગ 1

નૉૅધ. અનુવાદ: માઇક્રોસર્વિસ આર્કિટેક્ચરને અનુસરતી એપ્લિકેશનો માટે આજના ઇન્ફ્રાસ્ટ્રક્ચરમાં સર્વિસ મેશ ચોક્કસપણે એક ચર્ચાનો વિષય બની ગયો છે. જ્યારે Istio ઘણા DevOps એન્જિનિયરોના રડાર પર હોઈ શકે છે, તે એકદમ નવું ઉત્પાદન છે જે, તે પ્રદાન કરે છે તે સુવિધાઓની દ્રષ્ટિએ જટિલ હોવા છતાં, તેને જાણવામાં નોંધપાત્ર સમય લાગી શકે છે. જર્મન એન્જિનિયર રિનોર માલોકુ, જેઓ ટેલિકોમ્યુનિકેશન્સ કંપની ઓરેન્જ નેટવર્ક્સમાં મોટા ગ્રાહકો માટે ક્લાઉડ કમ્પ્યુટિંગનો હવાલો સંભાળે છે, તેમણે સામગ્રીની એક અદ્ભુત શ્રેણી લખી છે જે તમને ઇસ્ટિઓમાં ઝડપથી અને ઊંડાણપૂર્વક ડૂબકી મારવા દે છે. તે તેની વાર્તા શરૂ કરે છે કે Istio શું કરી શકે છે અને તમે તેને તમારી પોતાની આંખોથી કેવી રીતે ઝડપથી જોઈ શકો છો.

ઇસ્ટિઓ — ઓપન સોર્સ-પ્રોજેક્ટ, Google, IBM અને Lyftની ટીમોના સહયોગથી વિકસાવવામાં આવ્યો છે. તે માઇક્રોસર્વિસિસ પર આધારિત એપ્લિકેશન્સમાં ઊભી થતી જટિલતાઓને ઉકેલે છે, ઉદાહરણ તરીકે, જેમ કે:

• ટ્રાફિક વ્યવસ્થાપન: સમયસમાપ્તિ, ફરી પ્રયાસો, લોડ બેલેન્સિંગ;
• સુરક્ષા: અંતિમ વપરાશકર્તા પ્રમાણીકરણ અને અધિકૃતતા;
• અવલોકનક્ષમતા: ટ્રેસીંગ, મોનીટરીંગ, લોગીંગ.

તે બધાને એપ્લિકેશન સ્તરે ઉકેલી શકાય છે, જો કે તે પછી તમારી સેવાઓ હવે "માઇક્રો" રહેશે નહીં. આ સમસ્યાઓ ઉકેલવા માટેના તમામ વધારાના પ્રયત્નો એ કંપનીના સંસાધનોનો બગાડ છે જેનો સીધો ઉપયોગ વ્યવસાય મૂલ્ય માટે થઈ શકે છે. એક ઉદાહરણ ધ્યાનમાં લો:

પ્રોજેક્ટ મેનેજર: પ્રતિસાદ સુવિધા ઉમેરવામાં કેટલો સમય લાગે છે?
વિકાસકર્તા: બે સ્પ્રિન્ટ્સ.

સાંસદ: શું?... તે માત્ર CRUD છે!
R: CRUD કરવું એ કાર્યનો સરળ ભાગ છે, પરંતુ અમારે હજુ પણ વપરાશકર્તાઓ અને સેવાઓને પ્રમાણિત અને અધિકૃત કરવાની જરૂર છે. નેટવર્ક અવિશ્વસનીય હોવાથી, તમારે વારંવાર વિનંતીઓ અમલમાં મૂકવાની જરૂર પડશે, તેમજ સર્કિટ બ્રેકર પેટર્ન ગ્રાહકોમાં. ઉપરાંત, સમગ્ર સિસ્ટમ ક્રેશ ન થાય તેની ખાતરી કરવા માટે, સમયસમાપ્તિ અને બલ્કહેડ્સ (ઉલ્લેખિત બંને પેટર્ન પર વધુ વિગતો માટે લેખમાં પાછળથી જુઓ.), અને સમસ્યાઓ શોધવા માટે, દેખરેખ, ટ્રેસિંગ, […]

MP: ઓહ, ચાલો આ સુવિધાને ઉત્પાદન સેવામાં મૂકીએ.

મને લાગે છે કે વિચાર સ્પષ્ટ છે: એક સેવા ઉમેરવા માટે જરૂરી પગલાં અને પ્રયત્નોની સંખ્યા ખૂબ મોટી છે. આ લેખમાં, અમે Istio કેવી રીતે સેવાઓમાંથી ઉપરોક્ત તમામ જટિલતાને દૂર કરે છે (વ્યવસાયિક તર્ક દ્વારા લક્ષ્યાંકિત નથી) તેના પર એક નજર નાખીશું.

નોંધણી: લેખ ધારે છે કે તમારી પાસે કુબરનેટ્સનું કાર્યકારી જ્ઞાન છે. નહિંતર, હું વાંચવાની ભલામણ કરું છું કુબરનેટ્સ સાથેનો મારો પરિચય અને પછી જ આ સામગ્રી વાંચવાનું ચાલુ રાખો.

Istio વિચાર

Istio વિનાના વિશ્વમાં, એક સેવા બીજી સેવાને સીધી વિનંતી કરે છે, અને નિષ્ફળતાના કિસ્સામાં, સેવાએ તેને જાતે જ હેન્ડલ કરવું જોઈએ: નવો પ્રયાસ કરો, સમય સમાપ્તિ માટે પ્રદાન કરો, સર્કિટ બ્રેકર ખોલો, વગેરે.

Kubernetes માં નેટવર્ક ટ્રાફિક

બીજી બાજુ, Istio એક વિશિષ્ટ સોલ્યુશન ઓફર કરે છે જે નેટવર્ક ક્રિયાપ્રતિક્રિયામાં દખલ કરીને સેવાઓ અને કાર્યોથી સંપૂર્ણપણે અલગ છે. અને આમ તે અમલમાં મૂકે છે:

• સહનશીલતા દોષ: પ્રતિસાદમાં સ્ટેટસ કોડના આધારે, તે સમજે છે કે શું વિનંતી નિષ્ફળ થઈ છે અને તેને ફરીથી સબમિટ કરે છે.
• કેનેરી રોલઆઉટ્સ: સેવાના નવા સંસ્કરણ પર વિનંતીઓની માત્ર નિશ્ચિત ટકાવારી રીડાયરેક્ટ કરે છે.
• મોનિટરિંગ અને મેટ્રિક્સ: સેવાને પ્રતિસાદ આપવામાં કેટલો સમય લાગ્યો?
• ટ્રેસીંગ અને અવલોકનક્ષમતા: દરેક વિનંતીમાં વિશેષ હેડરો ઉમેરે છે અને સમગ્ર ક્લસ્ટરમાં તેમને ટ્રેસ કરે છે.
• સુરક્ષા: JWT ટોકન પુનઃપ્રાપ્ત કરે છે, વપરાશકર્તાઓને પ્રમાણિત કરે છે અને અધિકૃત કરે છે.

તમને ષડયંત્ર કરવા માટે આ માત્ર થોડી શક્યતાઓ છે (ખરેખર થોડી જ!) હવે ચાલો તકનીકી વિગતોમાં ડૂબકી લગાવીએ!

આર્કિટેક્ચર

Istio તમામ નેટવર્ક ટ્રાફિકને અટકાવે છે અને દરેક પોડમાં સાઇડકાર કન્ટેનરના રૂપમાં સ્માર્ટ પ્રોક્સી દાખલ કરીને તેના પર નિયમોનો સમૂહ લાગુ કરે છે. પ્રોક્સીઓ જે તમામ શક્યતાઓને સક્રિય કરે છે એ રચાય છે ડેટા પ્લેન, અને તેઓ ગતિશીલ રીતે ગોઠવી શકાય છે નિયંત્રણ પ્લેન.

ડેટા પ્લેન

પોડ્સમાં દાખલ કરવામાં આવેલી પ્રોક્સીઓ ઇસ્ટિઓને અમને જરૂરી જરૂરિયાતો સરળતાથી પ્રાપ્ત કરવા દે છે. ઉદાહરણ તરીકે, ચાલો ફરી પ્રયાસો અને સર્કિટ બ્રેકરના કાર્યોને તપાસીએ.

એન્વોયમાં ફરીથી પ્રયાસો અને સર્કિટ બ્રેકિંગ કેવી રીતે લાગુ કરવામાં આવે છે

સમાપ્ત થવું:

1. દૂત (અમે સાઇડકાર કન્ટેનરમાં સ્થિત પ્રોક્સી વિશે વાત કરી રહ્યા છીએ, જેનું વિતરણ અને કેવી રીતે થાય છે અલગ ઉત્પાદન - આશરે. અનુવાદ.) સેવા B ના પ્રથમ ઉદાહરણને વિનંતી મોકલે છે અને નિષ્ફળ જાય છે.
2. રાજદૂત સાઇડકાર ફરી પ્રયાસ કરી રહ્યું છે (ફરી પ્રયાસ કરો). (1)
3. નિષ્ફળ વિનંતી પ્રોક્સીને પરત કરવામાં આવે છે જેણે તેને કૉલ કર્યો હતો.
4. આ સર્કિટ બ્રેકર ખોલે છે અને અનુગામી વિનંતીઓ માટે આગલી સેવાને કૉલ કરે છે. (2)

આનો અર્થ એ છે કે તમારે આગલી પુનઃપ્રયાસ લાઇબ્રેરીનો ઉપયોગ કરવાની જરૂર નથી, તમારે X, Y અથવા Z પ્રોગ્રામિંગ ભાષામાં સર્કિટ બ્રેકિંગ અને સર્વિસ ડિસ્કવરીનું તમારું પોતાનું અમલીકરણ કરવાની જરૂર નથી. આ બધું અને વધુ ઉપલબ્ધ છે Istio માં બોક્સ અને જરૂર નથી ના કોડ ફેરફારો.

મહાન! હવે તમે ઇસ્ટિઓ સાથે સફર પર જવા માગો છો, પરંતુ હજી પણ કેટલીક શંકાઓ છે, ખુલ્લા પ્રશ્નો છે. જો આ જીવનના તમામ પ્રસંગો માટે સાર્વત્રિક ઉકેલ છે, તો તમારી પાસે કાયદેસરની શંકા છે: છેવટે, આવા તમામ ઉકેલો હકીકતમાં કોઈપણ કેસ માટે યોગ્ય નથી.

અને અંતે તમે પૂછો: "શું તે વૈવિધ્યપૂર્ણ છે?"

હવે તમે દરિયાઈ સફર માટે તૈયાર છો - અને ચાલો કંટ્રોલ પ્લેનથી પરિચિત થઈએ.

નિયંત્રણ પ્લેન

તે ત્રણ ઘટકો સમાવે છે: પાયલટ, મિક્સર и સિટાડેલ, જે ટ્રાફિકને રૂટ કરવા, નીતિઓ લાગુ કરવા અને ટેલિમેટ્રી ડેટા એકત્રિત કરવા માટે રાજદૂતોને એકસાથે ગોઠવે છે. યોજનાકીય રીતે, તે બધું આના જેવું લાગે છે:

ડેટા પ્લેન સાથે કંટ્રોલ પ્લેનની ક્રિયાપ્રતિક્રિયા

દૂત (એટલે ​​​​કે ડેટા પ્લેન) સાથે ગોઠવેલ છે કુબરનેટ્સ સીઆરડી (કસ્ટમ રિસોર્સ ડેફિનેશન) Istio દ્વારા વ્યાખ્યાયિત અને ખાસ કરીને આ હેતુ માટે રચાયેલ છે. તમારા માટે આનો અર્થ એ છે કે તેઓ કુબરનેટ્સમાં એક પરિચિત વાક્યરચના સાથેનું બીજું સાધન છે. એકવાર બનાવ્યા પછી, આ સંસાધનને કંટ્રોલ પ્લેન દ્વારા લેવામાં આવશે અને રાજદૂતોને લાગુ કરવામાં આવશે.

Istio સાથે સેવાઓનો સંબંધ

અમે સેવાઓ સાથે Istio ના સંબંધનું વર્ણન કર્યું છે, પરંતુ બીજી રીતે નહીં: સેવાઓનો Istio સાથે કેવી રીતે સંબંધ છે?

પ્રમાણિકતાથી કહીએ તો, સેવાઓ ઇસ્ટિઓની હાજરી વિશે જાણે છે તેમજ માછલીઓ પાણી વિશે જાણે છે, જ્યારે તેઓ પોતાને પૂછે છે: "છતાં પણ પાણી શું છે?".

ઉદાહરણ વિક્ટોરિયા દિમિત્રકોપોલોસ: તમને પાણી કેવું ગમે છે? - કોઈપણ રીતે પાણી શું છે?

આમ, તમે વર્કિંગ ક્લસ્ટર લઈ શકો છો અને Istio ઘટકોનો ઉપયોગ કર્યા પછી, તેમાંની સેવાઓ કામ કરવાનું ચાલુ રાખશે, અને આ ઘટકોને દૂર કર્યા પછી, બધું ફરીથી સારું થઈ જશે. તે સ્પષ્ટ છે કે આ કિસ્સામાં તમે Istio દ્વારા પૂરી પાડવામાં આવેલ તકો ગુમાવશો.

પૂરતો સિદ્ધાંત - ચાલો આ જ્ઞાનને વ્યવહારમાં મૂકીએ!

વ્યવહારમાં Istio

Istio ને ઓછામાં ઓછા 4 vCPUs અને 8 GB RAM ઉપલબ્ધ સાથે કુબરનેટ્સ ક્લસ્ટરની જરૂર છે. ક્લસ્ટરને ઝડપથી વધારવા અને લેખમાંથી સૂચનાઓનું પાલન કરવા માટે, હું Google Cloud Platform નો ઉપયોગ કરવાની ભલામણ કરું છું, જે નવા વપરાશકર્તાઓને ઑફર કરે છે મફત $300.

ક્લસ્ટર બનાવ્યા પછી અને કન્સોલ યુટિલિટી દ્વારા કુબરનેટ્સની ઍક્સેસ સેટ કર્યા પછી, તમે હેલ્મ પેકેજ મેનેજર દ્વારા Istio ઇન્સ્ટોલ કરી શકો છો.

સુકાન સ્થાપન

તમારા કમ્પ્યુટર પર હેલ્મ ક્લાયંટને ઇન્સ્ટોલ કરો, જેમાં વર્ણવેલ છે સત્તાવાર દસ્તાવેજીકરણ. અમે તેનો ઉપયોગ આગામી વિભાગમાં Istio ઇન્સ્ટોલ કરવા માટે નમૂનાઓ બનાવવા માટે કરીશું.

સ્થાપન

માંથી Istio સંસાધનો ડાઉનલોડ કરો નવીનતમ પ્રકાશન (સંસ્કરણ 1.0.5 માટે મૂળ લેખકની લિંક વર્તમાનમાં બદલાઈ ગઈ છે, એટલે કે 1.0.6 - આશરે અનુવાદ.), એક જ ડિરેક્ટરીમાં સમાવિષ્ટોને બહાર કાઢો, જેનો હું ઉલ્લેખ કરીશ [istio-resources].

Istio સંસાધનોની સરળ ઓળખ માટે, K8s ક્લસ્ટરમાં નેમસ્પેસ બનાવો istio-system:

$ kubectl create namespace istio-system

ડિરેક્ટરીમાં નેવિગેટ કરીને ઇન્સ્ટોલેશન પૂર્ણ કરો [istio-resources] અને આદેશ ચલાવો:

$ helm template install/kubernetes/helm/istio 
  --set global.mtls.enabled=false 
  --set tracing.enabled=true 
  --set kiali.enabled=true 
  --set grafana.enabled=true 
  --namespace istio-system > istio.yaml

આ આદેશ Istio ના મુખ્ય ઘટકોને ફાઇલમાં આઉટપુટ કરશે istio.yaml. અમે નીચેના પરિમાણોનો ઉલ્લેખ કરીને અમારા માટે માનક નમૂનામાં ફેરફાર કર્યો છે:

• global.mtls.enabled માં સ્થાપિત false (એટલે ​​​​કે mTLS પ્રમાણીકરણ અક્ષમ છે - આશરે અનુવાદ.)અમારી ડેટિંગ પ્રક્રિયાને સરળ બનાવવા માટે;
• tracing.enabled જેગર સાથે વિનંતી ટ્રેસિંગને સક્ષમ કરે છે;
• kiali.enabled સેવાઓ અને ટ્રાફિકની કલ્પના કરવા માટે કિયાલીને ક્લસ્ટરમાં ઇન્સ્ટોલ કરે છે;
• grafana.enabled એકત્રિત મેટ્રિક્સની કલ્પના કરવા માટે Grafana ઇન્સ્ટોલ કરે છે.

આદેશ સાથે જનરેટ કરેલ સંસાધનોને લાગુ કરો:

$ kubectl apply -f istio.yaml

ક્લસ્ટરમાં ઇસ્ટિઓનું ઇન્સ્ટોલેશન પૂર્ણ થયું છે! નેમસ્પેસમાં બધા પોડ્સ આવે ત્યાં સુધી રાહ જુઓ istio-system સક્ષમ હશે Running અથવા Completedનીચેનો આદેશ ચલાવીને:

$ kubectl get pods -n istio-system

અમે હવે આગળના વિભાગમાં આગળ વધવા માટે તૈયાર છીએ, જ્યાં અમે એપ્લિકેશનને વધારીશું અને ચલાવીશું.

સેન્ટિમેન્ટ એનાલિસિસ એપ્લિકેશન આર્કિટેક્ચર

ચાલો પહેલેથી જ ઉલ્લેખિતમાં વપરાયેલ સેન્ટિમેન્ટ એનાલિસિસ માઇક્રોસર્વિસ એપ્લિકેશનના ઉદાહરણનો ઉપયોગ કરીએ કુબરનેટ્સનો પરિચય લેખ. વ્યવહારમાં Istio ની શક્યતાઓ બતાવવા માટે તે પર્યાપ્ત જટિલ છે.

એપ્લિકેશનમાં ચાર માઇક્રોસર્વિસિસનો સમાવેશ થાય છે:

1. સેવા SA-ફ્રન્ટેન્ડ, જે Reactjs પર ફ્રન્ટ-એન્ડ એપ્લિકેશનને સેવા આપે છે;
2. સેવા SA WebApp, જે સેન્ટિમેન્ટ એનાલિસિસ પ્રશ્નોની સેવા આપે છે;
3. સેવા એસએ લોજિકજે પોતે કરે છે લાગણી વિશ્લેષણ;
4. સેવા SA પ્રતિસાદ, જે કરવામાં આવેલ વિશ્લેષણની ચોકસાઈ પર વપરાશકર્તાઓ તરફથી પ્રતિસાદ મેળવે છે.

આ રેખાકૃતિમાં, સેવાઓ ઉપરાંત, અમે ઇન્ગ્રેસ કંટ્રોલર પણ જોઈએ છીએ, જે કુબરનેટસમાં અનુરૂપ સેવાઓ માટે આવનારી વિનંતીઓને રૂટ કરે છે. Istio ઇન્ગ્રેસ ગેટવેના ભાગ રૂપે સમાન ખ્યાલનો ઉપયોગ કરે છે, જેની વિગતો અનુસરવામાં આવશે.

Istio થી પ્રોક્સી સાથે એપ્લિકેશન લોંચ કરી રહ્યા છીએ

લેખમાં ઉલ્લેખિત વધુ કામગીરી માટે, તમારા ભંડારને ક્લોન કરો istio-નિપુણતા. તેમાં કુબરનેટ્સ અને ઇસ્ટિઓ માટે એપ્લિકેશન અને મેનિફેસ્ટ શામેલ છે.

સાઇડકાર દાખલ કરી રહ્યા છીએ

નિવેશ કરી શકાય છે આપમેળે અથવા જાતે. સાઇડકાર કન્ટેનરને આપમેળે દાખલ કરવા માટે, તમારે લેબલને નેમસ્પેસ પર સેટ કરવાની જરૂર છે istio-injection=enabled, જે નીચેના આદેશ દ્વારા કરવામાં આવે છે:

$ kubectl label namespace default istio-injection=enabled
namespace/default labeled

હવે દરેક પોડ જે ડિફોલ્ટ નેમસ્પેસમાં જમાવશે (default) તેનું સાઇડકાર કન્ટેનર મેળવશે. આને ચકાસવા માટે, ચાલો રીપોઝીટરીની રૂટ ડાયરેક્ટરી પર જઈને ટેસ્ટ એપ્લિકેશનનો ઉપયોગ કરીએ [istio-mastery] અને નીચેનો આદેશ ચલાવો:

$ kubectl apply -f resource-manifests/kube
persistentvolumeclaim/sqlite-pvc created
deployment.extensions/sa-feedback created
service/sa-feedback created
deployment.extensions/sa-frontend created
service/sa-frontend created
deployment.extensions/sa-logic created
service/sa-logic created
deployment.extensions/sa-web-app created
service/sa-web-app created

સેવાઓ ગોઠવ્યા પછી, આદેશ ચલાવીને તપાસો કે પોડમાં બે કન્ટેનર છે (સેવા પોતે અને તેની સાઇડકાર સાથે) kubectl get pods અને ખાતરી કરો કે કૉલમ હેઠળ READY ઉલ્લેખિત મૂલ્ય 2/2, પ્રતીક છે કે બંને કન્ટેનર ચાલી રહ્યા છે:

$ kubectl get pods
NAME                           READY     STATUS    RESTARTS   AGE
sa-feedback-55f5dc4d9c-c9wfv   2/2       Running   0          12m
sa-frontend-558f8986-hhkj9     2/2       Running   0          12m
sa-logic-568498cb4d-2sjwj      2/2       Running   0          12m
sa-logic-568498cb4d-p4f8c      2/2       Running   0          12m
sa-web-app-599cf47c7c-s7cvd    2/2       Running   0          12m

દૃષ્ટિની રીતે તે આના જેવું લાગે છે:

એક પોડમાં દૂત પ્રોક્સી

હવે જ્યારે એપ્લિકેશન ચાલુ છે અને ચાલી રહી છે, ત્યારે અમારે આવનારા ટ્રાફિકને એપ્લિકેશનમાં પ્રવેશવાની મંજૂરી આપવાની જરૂર છે.

પ્રવેશ ગેટવે

આ હાંસલ કરવાની શ્રેષ્ઠ પ્રેક્ટિસ (ક્લસ્ટરમાં ટ્રાફિકને મંજૂરી આપો) છે પ્રવેશ ગેટવે Istio માં, જે ક્લસ્ટરની "એજ" પર સ્થિત છે અને તમને Istio સુવિધાઓ જેમ કે રાઉટીંગ, લોડ બેલેન્સિંગ, સુરક્ષા અને ઇનકમિંગ ટ્રાફિક માટે મોનિટરિંગ સક્ષમ કરવાની મંજૂરી આપે છે.

ઇન્ગ્રેસ ગેટવે ઘટક અને સેવા કે જે તેને બહારની તરફ આગળ ધપાવે છે તે Istio ઇન્સ્ટોલેશન દરમિયાન ક્લસ્ટર પર ઇન્સ્ટોલ કરવામાં આવી હતી. સેવાનું બાહ્ય IP સરનામું શોધવા માટે, ચલાવો:

$ kubectl get svc -n istio-system -l istio=ingressgateway
NAME                   TYPE           CLUSTER-IP     EXTERNAL-IP
istio-ingressgateway   LoadBalancer   10.0.132.127   13.93.30.120

અમે આ IP નો ઉપયોગ કરીને એપ્લિકેશનને ઍક્સેસ કરવાનું ચાલુ રાખીશું (હું તેને EXTERNAL-IP તરીકે ઓળખીશ), તેથી સગવડ માટે, અમે ચલ પર મૂલ્ય લખીશું:

$ EXTERNAL_IP=$(kubectl get svc -n istio-system 
  -l app=istio-ingressgateway 
  -o jsonpath='{.items[0].status.loadBalancer.ingress[0].ip}')

જો તમે હમણાં બ્રાઉઝર દ્વારા આ IP ને ઍક્સેસ કરવાનો પ્રયાસ કરશો, તો તમને સેવા અનુપલબ્ધ ભૂલ મળશે, કારણ કે મૂળભૂત રીતે Istio તમામ આવતા ટ્રાફિકને અવરોધે છેજ્યાં સુધી ગેટવે વ્યાખ્યાયિત ન થાય ત્યાં સુધી.

ગેટવે સંસાધન

ગેટવે એ કુબરનેટ્સમાં CRD (કસ્ટમ રિસોર્સ ડેફિનેશન) છે, જે ક્લસ્ટરમાં Istio ઇન્સ્ટોલ કર્યા પછી અને પોર્ટ, પ્રોટોકોલ અને હોસ્ટને સ્પષ્ટ કરવાની ક્ષમતાને સક્ષમ કર્યા પછી વ્યાખ્યાયિત કરવામાં આવે છે જેના માટે અમે ઇનકમિંગ ટ્રાફિકને મંજૂરી આપવા માંગીએ છીએ.

અમારા કિસ્સામાં, અમે બધા હોસ્ટ માટે પોર્ટ 80 પર HTTP ટ્રાફિકને મંજૂરી આપવા માંગીએ છીએ. સમસ્યા નીચેની વ્યાખ્યા દ્વારા સમજાય છે (http-gateway.yaml):

apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: http-gateway
spec:
  selector:
    istio: ingressgateway
  servers:
  - port:
      number: 80
      name: http
      protocol: HTTP
    hosts:
- "*"

આ રૂપરેખાંકનને પસંદગીકાર સિવાય કોઈ સમજૂતીની જરૂર નથી istio: ingressgateway. આ પસંદગીકાર સાથે, અમે સ્પષ્ટ કરી શકીએ છીએ કે કયા ઇન્ગ્રેસ ગેટવે પર રૂપરેખાંકન લાગુ કરવું. અમારા કિસ્સામાં, આ ઇન્ગ્રેસ ગેટવે કંટ્રોલર છે, જે ઇસ્ટિઓમાં ડિફોલ્ટ રૂપે ઇન્સ્ટોલ કરવામાં આવ્યું હતું.

નીચેના આદેશને કૉલ કરીને ગોઠવણી લાગુ કરવામાં આવે છે:

$ kubectl apply -f resource-manifests/istio/http-gateway.yaml gateway.networking.istio.io/http-gateway created

ગેટવે હવે પોર્ટ 80 સુધી પહોંચવાની મંજૂરી આપે છે પરંતુ વિનંતીઓને ક્યાં રૂટ કરવી તેની કોઈ જાણ નથી. આ માટે તમારે જરૂર પડશે વર્ચ્યુઅલ સેવાઓ.

વર્ચ્યુઅલ સેવા સંસાધન

વર્ચ્યુઅલ સર્વિસ ઇનગ્રેસ ગેટવેને જણાવે છે કે ક્લસ્ટરમાં મંજૂર કરાયેલ વિનંતીઓને કેવી રીતે રૂટ કરવી.

http-ગેટવે દ્વારા આવતી અમારી અરજીની વિનંતીઓ sa-ફ્રન્ટેન્ડ, sa-web-app અને sa-feedback સેવાઓને મોકલવી આવશ્યક છે:

વર્ચ્યુઅલ સેવાઓ સાથે રૂપરેખાંકિત કરવાના રૂટ્સ

SA-Frontend ને મોકલવામાં આવતી વિનંતીઓ ધ્યાનમાં લો:

• રસ્તામાં ચોક્કસ મેળ / index.html મેળવવા માટે SA-Frontend પર મોકલવું જોઈએ;
• ઉપસર્ગ સાથેના પાથ /static/* CSS અને JavaScript જેવી ફ્રન્ટએન્ડમાં ઉપયોગમાં લેવાતી સ્ટેટિક ફાઇલો મેળવવા માટે SA-ફ્રન્ટેન્ડ પર મોકલવી જોઈએ;
• નિયમિત અભિવ્યક્તિ સાથે મેળ ખાતા પાથ '^.*.(ico|png|jpg)$', SA-ફ્રન્ટેન્ડ પર મોકલવું આવશ્યક છે, કારણ કે આ પૃષ્ઠ પર પ્રદર્શિત ચિત્રો છે.

અમલીકરણ નીચેના રૂપરેખાંકન દ્વારા પ્રાપ્ત થાય છે (sa-virtualservice-external.yaml):

kind: VirtualService
metadata:
  name: sa-external-services
spec:
  hosts:
  - "*"
  gateways:
  - http-gateway                      # 1
  http:
  - match:
    - uri:
        exact: /
    - uri:
        exact: /callback
    - uri:
        prefix: /static
    - uri:
        regex: '^.*.(ico|png|jpg)

Важные моменты:



 	
 Этот VirtualService относится к запросам, приходящим через http-gateway;


 	
 В destination определяется сервис, куда отправляются запросы.




Примечание: Конфигурация выше хранится в файле sa-virtualservice-external.yaml, который также содержит настройки для маршрутизации в SA-WebApp и SA-Feedback, но был сокращён здесь в статье для лаконичности.

Применим VirtualService вызовом:

$ kubectl apply -f resource-manifests/istio/sa-virtualservice-external.yaml
virtualservice.networking.istio.io/sa-external-services created
Примечание: Когда мы применяем ресурсы Istio, Kubernetes API Server создаёт событие, которое получает Istio Control Plane, и уже после этого новая конфигурация применяется к прокси-серверам Envoy каждого pod'а. А контроллер Ingress Gateway представляется очередным Envoy, сконфигурированным в Control Plane. Всё это на схеме выглядит так:


Конфигурация Istio-IngressGateway для маршрутизации запросов
Приложение Sentiment Analysis стало доступным по http://{EXTERNAL-IP}/. Не переживайте, если вы получаете статус Not Found: иногда требуется чуть больше времени для того, чтобы конфигурация вступила в силу и кэши Envoy обновились.
Перед тем, как продолжить, поработайте немного с приложением, чтобы сгенерировать трафик (его наличие необходимо для наглядности в последующих действиях — прим. перев.).
Kiali : наблюдаемость
Чтобы попасть в административный интерфейс Kiali, выполните следующую команду:
$ kubectl port-forward 
    $(kubectl get pod -n istio-system -l app=kiali 
    -o jsonpath='{.items[0].metadata.name}') 
    -n istio-system 20001
… и откройте http://localhost:20001/, залогинившись под admin/admin. Здесь вы найдете множество полезных возможностей, например, для проверки конфигурации компонентов Istio, визуализации сервисов по информации, собранной при перехвате сетевых запросов, получения ответов на вопросы «Кто к кому обращается?», «У какой версии сервиса возникают сбои?» и т.п. В общем, изучите возможности Kiali перед тем, как двигаться дальше — к визуализации метрик с Grafana.

Grafana: визуализация метрик
Собранные в Istio метрики попадают в Prometheus и визуализируются с Grafana. Чтобы попасть в административный интерфейс Grafana, выполните команду ниже, после чего откройте http://localhost:3000/:
$ kubectl -n istio-system port-forward 
    $(kubectl -n istio-system get pod -l app=grafana 
    -o jsonpath={.items[0].metadata.name}) 3000
Кликнув на меню Home слева сверху и выбрав Istio Service Dashboard в левом верхнем углу, начните с сервиса sa-web-app, чтобы посмотреть на собранные метрики:

Здесь нас ждёт пустое и совершенно скучное представление — руководство никогда такое не одобрит. Давайте же создадим небольшую нагрузку следующей командой:
$ while true; do 
    curl -i http://$EXTERNAL_IP/sentiment 
    -H "Content-type: application/json" 
    -d '{"sentence": "I love yogobella"}'; 
    sleep .8; done
Вот теперь у нас гораздо более симпатичные графики, а в дополнение к ним — замечательные инструменты Prometheus для мониторинга и Grafana для визуализации метрик, что позволят нам узнать о производительности, состоянии здоровья, улучшениях/деградации в работе сервисов на протяжении времени.
Наконец, посмотрим на трассировку запросов в сервисах.
Jaeger : трассировка
Трассировка нам потребуется, потому что чем больше у нас сервисов, тем сложнее добраться до причины сбоя. Посмотрим на простой случай из картинки ниже:


Типовой пример случайного неудачного запроса
Запрос приходит, падает — в чём же причина? Первый сервис? Или второй? Исключения есть в обоих — давайте посмотрим на логи каждого. Как часто вы ловили себя за таким занятием? Наша работа больше похожа на детективов программного обеспечения, а не разработчиков…
Это широко распространённая проблема в микросервисах и решается она распределёнными системами трассировки, в которых сервисы передают друг другу уникальный заголовок, после чего эта информация перенаправляется в систему трассировки, где она сопоставляется с данными запроса. Вот иллюстрация:


Для идентификации запроса используется TraceId
В Istio используется Jaeger Tracer, который реализует независимый от вендоров фреймворк OpenTracing API. Получить доступ к пользовательского интерфейсу Jaeger можно следующей командой:
$ kubectl port-forward -n istio-system 
    $(kubectl get pod -n istio-system -l app=jaeger 
    -o jsonpath='{.items[0].metadata.name}') 16686
Теперь зайдите на http://localhost:16686/ и выберите сервис sa-web-app. Если сервис не показан в выпадающем меню — проявите/сгенерируйте активность на странице и обновите интерфейс. После этого нажмите на кнопку Find Traces, которая покажет самые последние трейсы — выберите любой — покажется детализированная информация по всем трейсам:

Этот трейс показывает:

 Запрос приходит в istio-ingressgateway (это первое взаимодействие с одним из сервисов, и для запроса генерируется Trace ID), после чего шлюз направляет запрос в сервис sa-web-app.
 В сервисе sa-web-app запрос подхватывается Envoy sidecar'ом, создаётся «ребёнок» в span'е (поэтому мы видим его в трейсах) и перенаправляется в контейнер sa-web-app. (Span — логическая единица работы в Jaeger, имеющая название, время начало операции и её продолжительность. Span'ы могут быть вложенными и упорядоченными. Ориентированный ациклический граф из span'ов образует trace. — прим. перев.)
 Здесь запрос обрабатывается методом sentimentAnalysis. Эти трейсы уже сгенерированы приложением, т.е. для них потребовались изменения в коде.
 С этого момента инициируется POST-запрос в sa-logic. Trace ID должен быть проброшен из sa-web-app.
 …

Примечание: На 4 шаге приложение должно увидеть заголовки, сгенерированные Istio, и передать их в последующие запросы, как показано на изображении ниже:


(A) За проброс заголовков отвечает Istio; (B) За заголовки отвечают сервисы
Istio делает основную работу, т.к. генерирует заголовки для входящих запросов, создаёт новые span'ы в каждом sidecare'е и пробрасывает их. Однако без работы с заголовками внутри сервисов полный путь трассировки запроса будет утерян.
Необходимо учитывать (пробрасывать) следующие заголовки:
x-request-id
x-b3-traceid
x-b3-spanid
x-b3-parentspanid
x-b3-sampled
x-b3-flags
x-ot-span-context
Это несложная задача, однако для упрощения её реализации уже существует множество библиотек — например, в сервисе sa-web-app клиент RestTemplate пробрасывает эти заголовки, если просто добавить библиотеки Jaeger и OpenTracing в его зависимости.
Заметьте, что приложение Sentiment Analysis демонстрирует реализации на Flask, Spring и ASP.NET Core.
Теперь, когда стало ясно, что мы получаем из коробки (или почти «из коробки»), рассмотрим вопросы тонко настраиваемой маршрутизации, управления сетевым трафиком, безопасности и т.п.!
Прим. перев.: об этом читайте в следующей части материалов по Istio от Rinor Maloku, переводы которых последуют в нашем блоге в ближайшее время. UPDATE (14 марта): Вторая часть уже опубликована.
P.S. от переводчика
Читайте также в нашем блоге:

 «Назад к микросервисам вместе с Istio»: часть 2 (маршрутизация, управление трафиком), часть 3 (аутентификация и авторизация);
 «Conduit — легковесный service mesh для Kubernetes»;
 «Что такое service mesh и почему он мне нужен [для облачного приложения с микросервисами]?»;
 «Иллюстрированное руководство по устройству сети в Kubernetes. Части 1 и 2»;
 «Как этот sidecar-контейнер оказался здесь [в Kubernetes]?».

Источник: habr.com
route:

- destination:

host: sa-frontend             # 2

port:

number: 80

મહત્વપૂર્ણ મુદ્દાઓ:

 આ વર્ચ્યુઅલ સર્વિસ દ્વારા આવતી વિનંતીઓનો સંદર્ભ આપે છે http-ગેટવે;
 В destination સેવાને વ્યાખ્યાયિત કરે છે કે જેના પર વિનંતીઓ મોકલવામાં આવે છે.

નોંધણી: ઉપરોક્ત રૂપરેખાંકન ફાઇલમાં સંગ્રહિત છે sa-virtualservice-external.yaml, જેમાં SA-WebApp અને SA-ફીડબેક પર રૂટીંગ કરવા માટેની સેટિંગ્સ પણ છે, પરંતુ સંક્ષિપ્તતા માટે લેખમાં અહીં ટૂંકી કરવામાં આવી છે.
કૉલ કરીને વર્ચ્યુઅલ સર્વિસ લાગુ કરો:

નોંધણી: જ્યારે અમે Istio સંસાધનો લાગુ કરીએ છીએ, ત્યારે Kubernetes API સર્વર એક ઇવેન્ટ ફાયર કરે છે જે Istio કંટ્રોલ પ્લેન મેળવે છે, અને તે પછી, નવી ગોઠવણી દરેક પોડના દૂત પ્રોક્સી પર લાગુ થાય છે. અને ઇન્ગ્રેસ ગેટવે કંટ્રોલર કંટ્રોલ પ્લેનમાં રૂપરેખાંકિત અન્ય દૂત હોય તેવું લાગે છે. આ બધું આકૃતિમાં આના જેવું દેખાય છે:


વિનંતી રૂટીંગ માટે Istio-IngressGateway રૂપરેખાંકન
સેન્ટિમેન્ટ એનાલિસિસ હવે પર ઉપલબ્ધ છે http://{EXTERNAL-IP}/. જો તમને નોટ ફાઉન્ડ સ્ટેટસ મળે તો ચિંતા કરશો નહીં: કેટલીકવાર રૂપરેખાંકન પ્રભાવી થવા માટે અને દૂત કેશને અપડેટ કરવા માટે થોડો વધુ સમય લે છે.
આગળ વધતા પહેલા, ટ્રાફિક જનરેટ કરવા માટે એપ્લિકેશન સાથે થોડું રમો (અનુગામી ક્રિયાઓમાં સ્પષ્ટતા માટે તેની હાજરી જરૂરી છે - આશરે અનુવાદ.).
કિયાલી: અવલોકનક્ષમતા
કિયાલી એડમિન ઇન્ટરફેસ પર જવા માટે, નીચેનો આદેશ ચલાવો:

…અને ખોલો http://localhost:20001/એડમિન/એડમિન તરીકે લૉગ ઇન કરીને. અહીં તમને ઘણી ઉપયોગી સુવિધાઓ મળશે, ઉદાહરણ તરીકે, Istio ઘટકોનું રૂપરેખાંકન તપાસવું, નેટવર્ક વિનંતીઓને અટકાવીને એકત્રિત કરેલી માહિતીમાંથી સેવાઓની કલ્પના કરવી, "કોણ કોનો સંપર્ક કરી રહ્યું છે?", "સેવાનું કયું સંસ્કરણ અનુભવી રહ્યું છે" જેવા પ્રશ્નોના જવાબો મેળવો. નિષ્ફળતાઓ?" અને તેથી વધુ. સામાન્ય રીતે, Grafana સાથે મેટ્રિક્સને વિઝ્યુઅલાઈઝ કરવા પર આગળ વધતા પહેલા Kiali ની શક્યતાઓનું અન્વેષણ કરો.

ગ્રાફના: મેટ્રિક્સનું વિઝ્યુલાઇઝેશન
Istio માં એકત્રિત કરેલ મેટ્રિક્સ પ્રોમિથિયસમાં સમાપ્ત થાય છે અને Grafana સાથે વિઝ્યુઅલાઈઝ થાય છે. Grafana એડમિન ઇન્ટરફેસ પર જવા માટે, નીચેનો આદેશ ચલાવો, પછી ખોલો http://localhost:3000/:

મેનુ પર ક્લિક કરીને મુખ્ય પૃષ્ઠ ઉપર ડાબે અને પસંદ કરો Istio સેવા ડેશબોર્ડ ઉપર ડાબા ખૂણામાં, સેવા સાથે પ્રારંભ કરો sa-વેબ-એપએકત્રિત મેટ્રિક્સ જોવા માટે:

અહીં અમે ખાલી અને સંપૂર્ણપણે કંટાળાજનક પ્રદર્શનની રાહ જોઈ રહ્યા છીએ - મેનેજમેન્ટ આને ક્યારેય મંજૂર કરશે નહીં. ચાલો નીચેના આદેશ સાથે નાનો લોડ બનાવીએ:

હવે અમારી પાસે ઘણા સુંદર આલેખ છે, અને તે ઉપરાંત, મોનિટરિંગ માટે પ્રોમિથિયસ અને મેટ્રિક્સને વિઝ્યુઅલાઈઝ કરવા માટે ગ્રાફના અદ્ભુત ટૂલ્સ છે, જે અમને સમયાંતરે સેવાઓમાં કામગીરી, આરોગ્યની સ્થિતિ, સુધારણા/અધોગતિ વિશે જાણવાની મંજૂરી આપશે.
છેલ્લે, ચાલો સેવાઓમાં વિનંતી ટ્રેસીંગ જોઈએ.
જેગર: ટ્રેસીંગ
અમને ટ્રેસિંગની જરૂર પડશે, કારણ કે અમારી પાસે જેટલી વધુ સેવાઓ છે, નિષ્ફળતાના કારણ સુધી પહોંચવું વધુ મુશ્કેલ છે. ચાલો નીચેના ચિત્રમાંથી એક સરળ કેસ જોઈએ:


રેન્ડમ નિષ્ફળ વિનંતીનું લાક્ષણિક ઉદાહરણ
વિનંતી આવે છે, પડે છે - કારણ શું છે? પ્રથમ સેવા? અથવા બીજું? બંનેમાં અપવાદો છે - ચાલો દરેકના લોગ જોઈએ. તમે તમારી જાતને કેટલી વાર આ કરતા પકડ્યા છે? અમારું કામ ડેવલપર્સ કરતાં સોફ્ટવેર ડિટેક્ટીવ જેવું છે...
માઇક્રોસર્વિસિસમાં આ એક વ્યાપક સમસ્યા છે અને તેને વિતરિત ટ્રેસિંગ સિસ્ટમ્સ દ્વારા ઉકેલવામાં આવે છે, જેમાં સેવાઓ એકબીજાને અનન્ય હેડર પસાર કરે છે, જે પછી આ માહિતીને ટ્રેસિંગ સિસ્ટમ પર રીડાયરેક્ટ કરવામાં આવે છે, જ્યાં તેની વિનંતી ડેટા સાથે સરખામણી કરવામાં આવે છે. અહીં એક ઉદાહરણ છે:


TraceId નો ઉપયોગ વિનંતીને ઓળખવા માટે થાય છે
Istio Jaeger Tracer નો ઉપયોગ કરે છે, જે વિક્રેતા-સ્વતંત્ર ઓપનટ્રેસિંગ API ફ્રેમવર્કનો અમલ કરે છે. તમે નીચેના આદેશ સાથે Jaeger વપરાશકર્તા ઈન્ટરફેસને ઍક્સેસ કરી શકો છો:

હવે પર જાઓ http://localhost:16686/ અને સેવા પસંદ કરો sa-વેબ-એપ. જો સેવા ડ્રોપડાઉન મેનૂમાં બતાવવામાં આવતી નથી, તો પૃષ્ઠ પર પ્રવૃત્તિ બતાવો/જનરેટ કરો અને ઇન્ટરફેસ અપડેટ કરો. તે પછી બટન પર ક્લિક કરો નિશાનો શોધો, જે સૌથી તાજેતરના નિશાનો બતાવશે - કોઈપણ પસંદ કરો - બધા નિશાનો પર વિગતવાર માહિતી દેખાશે:

આ ટ્રેસ બતાવે છે:

 વિનંતી આવે છે istio-ingressgateway (આ એક સેવા સાથેની પ્રથમ ક્રિયાપ્રતિક્રિયા છે, અને વિનંતી માટે એક ટ્રેસ ID જનરેટ થાય છે), જે પછી ગેટવે સેવાને વિનંતી મોકલે છે sa-વેબ-એપ.
 સેવા માં sa-વેબ-એપ વિનંતી દૂત સાઇડકાર દ્વારા લેવામાં આવે છે, ગાળામાં એક "બાળક" બનાવવામાં આવે છે (તેથી જ આપણે તેને નિશાનોમાં જોઈએ છીએ) અને કન્ટેનર પર રીડાયરેક્ટ કરવામાં આવે છે. sa-વેબ-એપ. (સ્પેન - જેગરમાં કામનું એક તાર્કિક એકમ, જેનું નામ છે, ઓપરેશનનો પ્રારંભ સમય અને તેની અવધિ. સ્પાન્સ નેસ્ટેડ અને ઓર્ડર કરી શકાય છે. સ્પાન્સનો નિર્દેશિત એસાયક્લિક ગ્રાફ એક ટ્રેસ બનાવે છે. - આશરે. અનુવાદ.)
 અહીં વિનંતી પદ્ધતિ દ્વારા પ્રક્રિયા કરવામાં આવે છે લાગણી વિશ્લેષણ. આ નિશાનો એપ્લિકેશન દ્વારા પહેલેથી જ જનરેટ કરવામાં આવ્યા છે, એટલે કે. તેમને કોડ ફેરફારોની જરૂર હતી.
 આ ક્ષણથી, એક POST વિનંતી શરૂ કરવામાં આવી છે સા-તર્ક. ટ્રેસ ID થી ફોરવર્ડ કરવું આવશ્યક છે sa-વેબ-એપ.
 ...

નોંધણી: સ્ટેપ 4 માં, એપ્લિકેશને Istio દ્વારા જનરેટ કરેલ હેડરો જોવું જોઈએ અને તેમને નીચેની ઈમેજમાં બતાવ્યા પ્રમાણે અનુગામી વિનંતીઓ પર મોકલવા જોઈએ:


(A) હેડર ફોરવર્ડિંગ એ Istio ની જવાબદારી છે; (B) સેવાઓ હેડરો માટે જવાબદાર છે
Istio મોટા ભાગનું કામ કરે છે કારણ કે આવનારી વિનંતીઓ માટે હેડર જનરેટ કરે છે, દરેક સાઇડકેરમાં નવા સ્પાન્સ બનાવે છે અને તેને ફોરવર્ડ કરે છે. જો કે, સેવાઓની અંદર હેડરો સાથે કામ કર્યા વિના, સંપૂર્ણ વિનંતી ટ્રેસ પાથ ખોવાઈ જશે.
નીચેના હેડરો ધ્યાનમાં લેવા જોઈએ (ફોરવર્ડ કરેલ):

આ એક સરળ કાર્ય છે, પરંતુ તેના અમલીકરણને સરળ બનાવવા માટે, ત્યાં પહેલેથી જ છે ઘણી પુસ્તકાલયો - ઉદાહરણ તરીકે, sa-web-app સેવામાં, RestTemplate ક્લાયન્ટ આ હેડરોને ફોરવર્ડ કરે છે જો તમે ફક્ત Jaeger અને OpenTracing લાઇબ્રેરીઓને તેની નિર્ભરતા.
નોંધ કરો કે સેન્ટિમેન્ટ એનાલિસિસ એપ્લિકેશન ફ્લાસ્ક, સ્પ્રિંગ અને ASP.NET કોરમાં અમલીકરણો દર્શાવે છે.
હવે તે સ્પષ્ટ છે કે આપણે બોક્સમાંથી શું મેળવી રહ્યા છીએ (અથવા લગભગ બૉક્સની બહાર), ચાલો ફાઇન-ટ્યુનિંગ રૂટીંગ, નેટવર્ક ટ્રાફિક મેનેજમેન્ટ, સુરક્ષા અને વધુ જોઈએ!
નૉૅધ. અનુવાદ: રિનોર માલોકુ તરફથી ઇસ્ટિઓ પરની સામગ્રીના આગલા ભાગમાં તેના વિશે વાંચો, જેના અનુવાદો નજીકના ભવિષ્યમાં અમારા બ્લોગમાં આવશે. અપડેટ કરો (14મી માર્ચ): બીજો ભાગ પહેલેથી જ પ્રકાશિત.
અનુવાદક તરફથી પીએસ
અમારા બ્લોગ પર પણ વાંચો:

 "ઇસ્ટિઓ સાથે માઇક્રોસર્વિસિસ પર પાછા": ભાગ 2 (રાઉટીંગ, ટ્રાફિક કંટ્રોલ), ભાગ 3 (પ્રમાણીકરણ અને અધિકૃતતા);
 «નળી - કુબરનેટ્સ માટે હલકો સેવા મેશ»;
 «સર્વિસ મેશ શું છે અને મને તેની [માઈક્રોસર્વિસ સાથે ક્લાઉડ એપ્લિકેશન માટે] શા માટે જરૂર છે?»;
 «Kubernetes માં નેટવર્કીંગ માટે સચિત્ર માર્ગદર્શિકા. ભાગ 1 અને 2»;
 «આ સાઇડકાર કન્ટેનર અહીં [કુબરનેટ્સમાં] કેવી રીતે સમાપ્ત થયું?».

સોર્સ: www.habr.com