ડમ્પ કોન્ફરન્સ | grep 'બેકએન્ડ|ડેવોપ્સ'

ગયા અઠવાડિયે હું યેકાટેરિનબર્ગમાં DUMP IT કોન્ફરન્સ (https://dump-ekb.ru/)માં ગયો હતો અને હું તમને કહેવા માંગુ છું કે બેકએન્ડ અને ડેવોપ્સ વિભાગોમાં શું ચર્ચા કરવામાં આવી હતી અને શું પ્રાદેશિક IT પરિષદો ધ્યાન આપવા યોગ્ય છે.

સર્વરલેસ વિશે એવિલ માર્ટિયન્સ તરફથી નિકોલે સ્વેર્ચકોવ

તેમ છતાં ત્યાં શું હતું?

કુલ મળીને, કોન્ફરન્સમાં 8 વિભાગો હતા: બેકએન્ડ, ફ્રન્ટએન્ડ, મોબાઈલ, ટેસ્ટિંગ અને QA, ડેવોપ્સ, ડિઝાઇન, સાયન્સ અને મેનેજમેન્ટ.

સૌથી મોટા હોલ, માર્ગ દ્વારા, વિજ્ઞાન અને વ્યવસ્થાપન)) પ્રત્યેક ~350 લોકો માટે છે. બેકએન્ડ અને ફ્રન્ટએન્ડ બહુ નાના નથી. દેવોપ્સ રૂમ સૌથી નાનો હતો, પરંતુ સક્રિય હતો.

મેં ડેવોપ્સ અને બેકએન્ડ વિભાગોમાં અહેવાલો સાંભળ્યા અને સ્પીકર્સ સાથે થોડી વાત કરી. હું કોન્ફરન્સમાં આવરી લેવામાં આવેલા વિષયો વિશે વાત કરવા અને આ વિભાગોની સમીક્ષા કરવા માંગુ છું.

SKB-Kontur, DataArt, Evil Martians, Ekaterinburg વેબ સ્ટુડિયો ફ્લેગ, Miro (RealTimeBoard) ના પ્રતિનિધિઓએ ડેવોપ્સ અને બેકએન્ડ વિભાગોમાં વાત કરી. CI/CD ને આવરી લેવામાં આવેલ વિષયો, કતાર સેવાઓ સાથે કામ કરવું, લોગીંગ; સર્વરલેસ વિષયો અને Go માં PostgreSQL સાથે કામ કરવું સારી રીતે આવરી લેવામાં આવ્યું હતું.

એવિટો, ટિંકોફ, યાન્ડેક્સ, જેટસ્ટાઇલ, મેગાફોન, એક બાર્સ બેંક દ્વારા પણ અહેવાલો આવ્યા હતા, પરંતુ મારી પાસે તેમની પાસે શારીરિક રીતે હાજરી આપવાનો સમય નહોતો (વિડિયો રેકોર્ડિંગ્સ અને અહેવાલોની સ્લાઇડ્સ હજી ઉપલબ્ધ નથી, તેઓ તેમને 2 અઠવાડિયાની અંદર પોસ્ટ કરવાનું વચન આપે છે. dump-ekb.ru પર).

ડિવોપ્સ વિભાગ

નવાઈની વાત એ હતી કે આ વિભાગ સૌથી નાના હોલમાં લગભગ 50 બેઠકો પર રાખવામાં આવ્યો હતો. લોકો પાંખમાં પણ ઉભા હતા :) હું તમને તે અહેવાલો વિશે કહીશ જે મેં સાંભળવામાં વ્યવસ્થાપિત કર્યું.

પેટાબાઈટનું વજન ધરાવતું સ્થિતિસ્થાપક

વિભાગની શરૂઆત વ્લાદિમીર લિલ (SKB-કોન્ટુર) દ્વારા કોન્તુરમાં ઈલાસ્ટિકસર્ચ વિશેના અહેવાલથી થઈ હતી. તેમની પાસે એકદમ મોટી અને લોડ થયેલ સ્થિતિસ્થાપક છે (~800 TB ડેટા, ~1.3 પેટાબાઇટ્સ રિડન્ડન્સીને ધ્યાનમાં લેતા). કોન્ટુરની તમામ સેવાઓ માટે ઈલાસ્ટીક સર્ચ સિંગલ છે, જેમાં 2 ક્લસ્ટરો (7 અને 9 સર્વર્સના) હોય છે અને તે એટલું મહત્વનું છે કે કોન્ટુર પાસે ખાસ ઈલાસ્ટીકસર્ચ એન્જિનિયર છે (હકીકતમાં, વ્લાદિમીર પોતે).

વ્લાદિમીરે ઈલાસ્ટિકસર્ચના ફાયદા અને તેનાથી થતી સમસ્યાઓ વિશે પણ તેમના વિચારો શેર કર્યા.

લાભ:

• બધા લૉગ્સ એક જગ્યાએ છે, તેમને સરળતાથી ઍક્સેસ કરી શકાય છે
• એક વર્ષ માટે લોગ સંગ્રહિત કરો અને સરળતાથી તેનું વિશ્લેષણ કરો
• લોગ સાથે કામ કરવાની ઉચ્ચ ઝડપ
• બોક્સની બહાર કૂલ ડેટા વિઝ્યુલાઇઝેશન

સમસ્યાઓ:

• સંદેશ બ્રોકર હોવો આવશ્યક છે (કોન્ટુર માટે તેની ભૂમિકા કાફકા દ્વારા ભજવવામાં આવે છે)
• ઇલાસ્ટિકસર્ચ ક્યુરેટર સાથે કામ કરવાની વિશેષતાઓ (ક્યુરેટરમાં નિયમિત કાર્યોથી સમયાંતરે ઉચ્ચ ભાર બનાવે છે)
• કોઈ બિલ્ટ-ઇન અધિકૃતતા નથી (ફક્ત અલગ, તદ્દન મોટા પૈસા માટે અથવા ઉત્પાદન માટે વિવિધ ડિગ્રીની તૈયારીના ઓપન સોર્સ પ્લગઈન્સ તરીકે)

Elasticsearch માટે ઓપન ડિસ્ટ્રો વિશે માત્ર હકારાત્મક સમીક્ષાઓ હતી :) અધિકૃતતાની સમાન સમસ્યા ત્યાં ઉકેલાઈ ગઈ છે.

પેટાબાઇટ ક્યાંથી આવે છે?તેમના નોડ્સ 12*8 Tb SATA + 2*2 Tb SSD સાથે સર્વર ધરાવે છે. SATA પર કોલ્ડ સ્ટોરેજ, SSD માત્ર હોટ કેશ (હોટ સ્ટોરેજ) માટે.
7+9 સર્વર્સ, (7 + 9) * 12 * 8 = 1536 Tb.
જગ્યાનો ભાગ રિઝર્વમાં છે, રિડન્ડન્સી માટે અલગ રાખવામાં આવે છે, વગેરે.
લગભગ 90 અરજીઓના લોગ ઈલાસ્ટિકસર્ચને મોકલવામાં આવે છે, જેમાં કોન્તુર, એલ્બા વગેરેની તમામ રિપોર્ટિંગ સેવાઓનો સમાવેશ થાય છે.

સર્વરલેસ પર વિકાસની સુવિધાઓ

આગળ સર્વરલેસ વિશે ડેટાઆર્ટ તરફથી રુસલાન સેર્કિનનો અહેવાલ છે.

રુસ્લાને સર્વરલેસ અભિગમ સાથેનો વિકાસ સામાન્ય રીતે શું છે અને તેની વિશેષતાઓ શું છે તે વિશે વાત કરી.

સર્વરલેસ એ વિકાસનો અભિગમ છે જેમાં વિકાસકર્તાઓ કોઈપણ રીતે ઈન્ફ્રાસ્ટ્રક્ચરને સ્પર્શતા નથી. ઉદાહરણ - AWS Lambda સર્વરલેસ, Kubeless.io (Kubernetesની અંદર સર્વરલેસ), Google ક્લાઉડ ફંક્શન્સ.

આદર્શ સર્વરલેસ એપ્લીકેશન એ ફક્ત એક કાર્ય છે જે સર્વરલેસ પ્રદાતાને વિશિષ્ટ API ગેટવે દ્વારા વિનંતી મોકલે છે. એક આદર્શ માઇક્રોસર્વિસ, જ્યારે AWS Lambda પણ મોટી સંખ્યામાં આધુનિક પ્રોગ્રામિંગ ભાષાઓને સપોર્ટ કરે છે. ક્લાઉડ પ્રદાતાઓના કિસ્સામાં ઈન્ફ્રાસ્ટ્રક્ચરની જાળવણી અને જમાવટનો ખર્ચ શૂન્ય થઈ જાય છે, નાની એપ્લિકેશનને ટેકો આપવો તે પણ ખૂબ સસ્તો હશે (AWS Lambda - $0.2 / 1 મિલિયન સરળ વિનંતીઓ).

આવી સિસ્ટમની માપનીયતા લગભગ આદર્શ છે - ક્લાઉડ પ્રદાતા પોતે આની કાળજી લે છે, કુબેલેસ કુબરનેટ્સ ક્લસ્ટરમાં આપમેળે સ્કેલ કરે છે.

ગેરફાયદા છે:

• મોટી એપ્લિકેશન વિકસાવવી વધુ મુશ્કેલ બની રહી છે
• પ્રોફાઇલિંગ એપ્લીકેશનમાં મુશ્કેલી છે (ફક્ત લોગ તમારા માટે ઉપલબ્ધ છે, પરંતુ સામાન્ય અર્થમાં પ્રોફાઇલિંગ નથી)
• કોઈ સંસ્કરણ નથી

સાચું કહું તો, મેં થોડા વર્ષો પહેલા સર્વરલેસ વિશે સાંભળ્યું હતું, પરંતુ આટલા વર્ષોથી તેનો યોગ્ય રીતે ઉપયોગ કેવી રીતે કરવો તે મને સ્પષ્ટ નહોતું. રુસ્લાનના અહેવાલ પછી, સમજણ દેખાઈ, અને બેકએન્ડ વિભાગમાંથી નિકોલાઈ સ્વેર્ચકોવ (એવિલ માર્ટિયન્સ) ના અહેવાલ પછી, તે એકીકૃત કરવામાં આવ્યું. હું કોન્ફરન્સમાં ગયો તે નિરર્થક ન હતું :)

CI ગરીબો માટે છે, અથવા વેબ સ્ટુડિયો માટે તમારું પોતાનું CI લખવું યોગ્ય છે?

યેકાટેરિનબર્ગના ફ્લેગ વેબ સ્ટુડિયોના વડા મિખાઇલ રેડિયોનોવે સ્વ-લિખિત CI/CD વિશે વાત કરી.

તેનો સ્ટુડિયો "મેન્યુઅલ CI/CD" (SSH દ્વારા સર્વર પર લોગ ઇન કરો, એક ગિટ પુલ કરો, દિવસમાં 100 વખત પુનરાવર્તન કરો) થી જેનકિન્સ અને સ્વ-લિખિત ટૂલ પર ગયો છે જે તમને કોડને મોનિટર કરવા અને પુલ્કિન્સ નામના પ્રકાશનો કરવા દે છે. .

જેનકિન્સે કેમ કામ ન કર્યું? તે ડિફૉલ્ટ રૂપે પર્યાપ્ત લવચીકતા પ્રદાન કરતું નથી અને કસ્ટમાઇઝ કરવું ખૂબ મુશ્કેલ હતું.

Laravel (PHP ફ્રેમવર્ક) માં "ધ્વજ" વિકસે છે. CI/CD સર્વર વિકસાવતી વખતે, મિખાઇલ અને તેના સાથીઓએ ટેલિસ્કોપ અને એન્વોય તરીકે ઓળખાતી લારાવેલની બિલ્ટ-ઇન મિકેનિઝમ્સનો ઉપયોગ કર્યો. પરિણામ એ PHP માં સર્વર છે (કૃપા કરીને નોંધ કરો) જે આવનારી વેબહૂક વિનંતીઓ પર પ્રક્રિયા કરે છે, ફ્રન્ટ એન્ડ અને બેકએન્ડ બનાવી શકે છે, વિવિધ સર્વર્સ પર જમાવી શકે છે અને સ્લેકને જાણ કરી શકે છે.

પછી, બ્લુ/ગ્રીન ડિપ્લોય કરવા અને ડેવ-સ્ટેજ-પ્રોડ વાતાવરણમાં એકસમાન સેટિંગ કરવા માટે સક્ષમ થવા માટે, તેઓએ ડોકર પર સ્વિચ કર્યું. ફાયદા સમાન રહ્યા, પર્યાવરણને એકરૂપ બનાવવાની અને સીમલેસ જમાવટની શક્યતાઓ ઉમેરવામાં આવી, અને તેની સાથે યોગ્ય રીતે કામ કરવા માટે ડોકરને શીખવાની જરૂરિયાત ઉમેરવામાં આવી.

પ્રોજેક્ટ ગીથબ પર છે

અમે કેવી રીતે સર્વર રીલીઝ રોલબેકની સંખ્યામાં 99% ઘટાડો કર્યો

Devops વિભાગમાં છેલ્લો અહેવાલ Miro.com (અગાઉ રીઅલ ટાઈમબોર્ડ) ના લીડ ડેવોપ્સ એન્જિનિયર વિક્ટર એરેમચેન્કોનો હતો.

RealTimeBoard, Miro ટીમનું મુખ્ય ઉત્પાદન, એક મોનોલિથિક Java એપ્લિકેશન પર આધારિત છે. ડાઉનટાઇમ વિના તેને એકત્રિત કરવું, પરીક્ષણ કરવું અને જમાવવું એ મુશ્કેલ કાર્ય છે. આ કિસ્સામાં, કોડના આવા સંસ્કરણને જમાવવું મહત્વપૂર્ણ છે જેથી કરીને તેને પાછું ફેરવવું ન પડે (તે ભારે મોનોલિથ છે).

તમને આ કરવાની મંજૂરી આપતી સિસ્ટમ બનાવવાના માર્ગ પર, મીરો એક પાથમાંથી પસાર થયો જેમાં આર્કિટેક્ચર પર કામ કરવું, ઉપયોગમાં લેવાતા સાધનો (એટલેસિયન બામ્બુ, એન્સિબલ, વગેરે), અને ટીમોની રચના પર કામ કરવું (તેમની પાસે હવે છે. એક સમર્પિત Devops ટીમ + વિવિધ પ્રોફાઇલના વિકાસકર્તાઓ પાસેથી ઘણી અલગ સ્ક્રમ ટીમો).

રસ્તો મુશ્કેલ અને કાંટાળો નીકળ્યો, અને વિક્ટરે સંચિત પીડા અને આશાવાદ શેર કર્યો જે ત્યાં સમાપ્ત થયો નહીં.

પ્રશ્નો પૂછવા માટે પુસ્તક જીત્યું

બેકએન્ડ વિભાગ

હું 2 અહેવાલોમાં હાજરી આપવાનું વ્યવસ્થાપિત છું - નિકોલે સ્વેર્ચકોવ (એવિલ માર્ટિઅન્સ), સર્વરલેસ વિશે અને ગ્રિગોરી કોશેલેવ (કોન્ટુર કંપની) તરફથી ટેલિમેટ્રી વિશે.

કેવળ મનુષ્યો માટે સર્વરહીન

જો રુસલાન સિરકિને સર્વરલેસ શું છે તે વિશે વાત કરી, તો નિકોલેએ સર્વરલેસનો ઉપયોગ કરીને સરળ એપ્લિકેશનો બતાવી, અને AWS લેમ્બડામાં એપ્લિકેશનની કિંમત અને ઝડપને અસર કરતી વિગતો વિશે વાત કરી.

એક રસપ્રદ વિગત: ન્યૂનતમ ચૂકવેલ ઘટક 128 Mb મેમરી અને 100 ms CPU છે, તેની કિંમત $0,000000208 છે. વધુમાં, દર મહિને આવી 1 મિલિયન વિનંતીઓ મફત છે.

નિકોલાઈના કેટલાક કાર્યો ઘણીવાર 100 ms મર્યાદાને ઓળંગી જાય છે (મુખ્ય એપ્લિકેશન રૂબીમાં લખવામાં આવી હતી), તેથી તેમને Go માં ફરીથી લખવાથી ઉત્તમ બચત થઈ.

વોસ્ટોક હર્ક્યુલસ — ટેલિમેટ્રીને ફરીથી મહાન બનાવો!

ટેલિમેટ્રી વિશે ગ્રિગોરી કોશેલેવ (કોન્ટુર કંપની) તરફથી બેકએન્ડ વિભાગનો નવીનતમ અહેવાલ. ટેલિમેટ્રી એટલે લોગ, મેટ્રિક્સ, એપ્લિકેશન ટ્રેસ.

આ હેતુ માટે, કોન્ટૂર ગીથબ પર પોસ્ટ કરેલા સ્વ-લેખિત સાધનોનો ઉપયોગ કરે છે. અહેવાલમાંથી સાધન - હર્ક્યુલસ, github.com/vostok/hercules, ટેલિમેટ્રી ડેટા પહોંચાડવા માટે વપરાય છે.

Devops વિભાગમાં વ્લાદિમીર લીલાના અહેવાલમાં Elasticsearch માં લોગ સ્ટોર કરવા અને પ્રોસેસ કરવાની ચર્ચા કરવામાં આવી હતી, પરંતુ હજુ પણ હજારો ઉપકરણો અને એપ્લિકેશનોમાંથી લોગ પહોંચાડવાનું કાર્ય બાકી છે અને વોસ્ટોક હર્ક્યુલસ જેવા સાધનો તેને ઉકેલે છે.

સર્કિટ ઘણા લોકો માટે જાણીતા માર્ગને અનુસરે છે - રેબિટએમક્યુથી અપાચે કાફકા સુધી, પરંતુ બધું એટલું સરળ નથી)) તેઓએ સર્કિટમાં ઝૂકીપર, કેસાન્ડ્રા અને ગ્રેફાઇટ ઉમેરવા પડ્યા. હું આ રિપોર્ટ પરની માહિતી સંપૂર્ણ રીતે જાહેર કરીશ નહીં (મારી પ્રોફાઇલ નહીં), જો તમને રસ હોય, તો તમે કોન્ફરન્સની વેબસાઇટ પરની સ્લાઇડ્સ અને વીડિયોની રાહ જોઈ શકો છો.

તે અન્ય પરિષદો સાથે કેવી રીતે તુલના કરે છે?

હું તેની તુલના મોસ્કો અને સેન્ટ પીટર્સબર્ગની કોન્ફરન્સ સાથે કરી શકતો નથી, હું તેની તુલના યુરલ્સમાં અન્ય ઇવેન્ટ્સ અને સમારામાં 404 ફેસ્ટ સાથે કરી શકું છું.

ડીએએમપી 8 વિભાગોમાં યોજાય છે, આ યુરલ પરિષદો માટેનો રેકોર્ડ છે. ખૂબ મોટા વિજ્ઞાન અને વ્યવસ્થાપન વિભાગો, આ પણ અસામાન્ય છે. યેકાટેરિનબર્ગમાં પ્રેક્ષકો તદ્દન સંરચિત છે - શહેરમાં યાન્ડેક્ષ, કોન્ટુર, ટિંકોફ માટે મોટા વિકાસ વિભાગો છે અને આ અહેવાલો પર તેની છાપ છોડી દે છે.

અન્ય રસપ્રદ મુદ્દો એ છે કે ઘણી કંપનીઓ કોન્ફરન્સમાં એકસાથે 3-4 સ્પીકર્સ ધરાવે છે (આ કોન્ટુર, એવિલ માર્ટિઅન્સ, ટિંકોફનો કેસ હતો). તેમાંના ઘણા પ્રાયોજકો હતા, પરંતુ અહેવાલો અન્ય લોકો સાથે બરાબર છે, આ જાહેરાત અહેવાલો નથી.

જવું કે ન જવું? જો તમે યુરલ્સમાં અથવા નજીકમાં રહો છો, તો તમારી પાસે તક છે અને વિષયોમાં રસ છે - હા, અલબત્ત. જો તમે લાંબી સફર વિશે વિચારી રહ્યા હો, તો હું પાછલા વર્ષોના અહેવાલો અને વિડિયો અહેવાલોના વિષયો જોઈશ www.youtube.com/user/videoitpeople/videos અને નિર્ણય લીધો.
પ્રદેશોમાં પરિષદોનો બીજો ફાયદો, એક નિયમ તરીકે, એ છે કે અહેવાલો પછી વક્તા સાથે વાતચીત કરવી સરળ છે; આવા સંચાર માટે ઓછા અરજદારો છે.

ડમ્પ અને એકટેરિનબર્ગ માટે આભાર! )

સોર્સ: www.habr.com