કેવી રીતે અમે Kubernetes ની અંદર ક્લાઉડ FaaS બનાવ્યું અને Tinkoff હેકાથોન જીતી

ગયા વર્ષથી, અમારી કંપનીએ હેકાથોનનું આયોજન કરવાનું શરૂ કર્યું. આવી પ્રથમ સ્પર્ધા ખૂબ જ સફળ હતી, અમે તેના વિશે લખ્યું હતું લેખ. બીજી હેકાથોન ફેબ્રુઆરી 2019 માં યોજાઈ હતી અને તે ઓછી સફળ રહી નહોતી. આટલા લાંબા સમય પહેલા પછીના હોલ્ડિંગના લક્ષ્યો વિશે લખ્યું આયોજક

સહભાગીઓને તેના અમલીકરણ માટે ટેક્નોલોજી સ્ટેક પસંદ કરવામાં સંપૂર્ણ સ્વતંત્રતા સાથે એક રસપ્રદ કાર્ય આપવામાં આવ્યું હતું. ગ્રાહક સ્કોરિંગ કાર્યોની અનુકૂળ જમાવટ માટે નિર્ણય લેવાનું પ્લેટફોર્મ અમલમાં મૂકવું જરૂરી હતું જે એપ્લિકેશનના ઝડપી પ્રવાહ સાથે કામ કરી શકે, ભારે ભારનો સામનો કરી શકે અને સિસ્ટમ પોતે જ સરળતાથી માપી શકાય તેવી હતી.

કાર્ય બિન-તુચ્છ છે અને ઘણી રીતે ઉકેલી શકાય છે, કારણ કે અમને સહભાગીઓના પ્રોજેક્ટ્સના અંતિમ પ્રસ્તુતિઓના પ્રદર્શન દરમિયાન ખાતરી થઈ હતી. હેકાથોનમાં 6 લોકોની 5 ટીમો હતી, બધા સહભાગીઓ પાસે સારા પ્રોજેક્ટ હતા, પરંતુ અમારું પ્લેટફોર્મ સૌથી વધુ સ્પર્ધાત્મક બન્યું. અમારી પાસે એક ખૂબ જ રસપ્રદ પ્રોજેક્ટ છે, જેના વિશે હું આ લેખમાં વાત કરવા માંગુ છું.

અમારું સોલ્યુશન એ Kubernetes ની અંદર સર્વરલેસ આર્કિટેક્ચર પર આધારિત પ્લેટફોર્મ છે, જે ઉત્પાદનમાં નવી સુવિધાઓ લાવવામાં લાગતો સમય ઘટાડે છે. તે વિશ્લેષકોને તેમના માટે અનુકૂળ વાતાવરણમાં કોડ લખવા અને એન્જિનિયરો અને ડેવલપર્સની ભાગીદારી વિના ઉત્પાદનમાં તેનો ઉપયોગ કરવાની મંજૂરી આપે છે.

સ્કોરિંગ શું છે

Tinkoff.ru, ઘણી આધુનિક કંપનીઓની જેમ, ગ્રાહક સ્કોરિંગ ધરાવે છે. સ્કોરિંગ એ ડેટા વિશ્લેષણની આંકડાકીય પદ્ધતિઓ પર આધારિત ગ્રાહક મૂલ્યાંકન સિસ્ટમ છે.

ઉદાહરણ તરીકે, ગ્રાહક તેને લોન આપવા અથવા અમારી સાથે વ્યક્તિગત ઉદ્યોગસાહસિક ખાતું ખોલવાની વિનંતી સાથે અમારી તરફ વળે છે. જો અમે તેને લોન આપવાનું વિચારીએ છીએ, તો અમારે તેની સોલ્વન્સીનું મૂલ્યાંકન કરવાની જરૂર છે, અને જો ખાતું વ્યક્તિગત ઉદ્યોગસાહસિક છે, તો અમારે ખાતરી કરવાની જરૂર છે કે ગ્રાહક કપટપૂર્ણ વ્યવહારો કરશે નહીં.

આવા નિર્ણયો લેવાનો આધાર ગાણિતિક મોડલ છે જે એપ્લિકેશનમાંથી જ ડેટા અને અમારા સ્ટોરેજમાંથી ડેટા બંનેનું વિશ્લેષણ કરે છે. સ્કોરિંગ ઉપરાંત, સમાન આંકડાકીય પદ્ધતિઓનો ઉપયોગ અમારા ગ્રાહકો માટે નવા ઉત્પાદનો માટે વ્યક્તિગત ભલામણો બનાવવાની સેવામાં પણ થઈ શકે છે.

આવા આકારણીની પદ્ધતિ વિવિધ પ્રકારના ઇનપુટ ડેટાને સ્વીકારી શકે છે. અને અમુક સમયે અમે ઇનપુટમાં એક નવું પરિમાણ ઉમેરી શકીએ છીએ, જે, ઐતિહાસિક ડેટા પરના વિશ્લેષણના પરિણામોના આધારે, સેવાનો ઉપયોગ કરવાના રૂપાંતરણ દરમાં વધારો કરશે.

અમારી પાસે ગ્રાહક સંબંધો વિશે અસંખ્ય ડેટા છે અને આ માહિતીની માત્રા સતત વધી રહી છે. કાર્ય કરવા માટે સ્કોર કરવા માટે, ડેટા પ્રોસેસિંગને નિયમો (અથવા ગાણિતિક મોડલ્સ) ની પણ જરૂર પડે છે જે તમને ઝડપથી નક્કી કરવા દે છે કે કોને અરજી મંજૂર કરવી, કોણે ના પાડવી અને કોને તેમની સંભવિત રુચિનું મૂલ્યાંકન કરીને થોડા વધુ ઉત્પાદનો ઓફર કરવા.

હાથ પરના કાર્ય માટે, અમે પહેલેથી જ વિશિષ્ટ નિર્ણય લેવાની સિસ્ટમનો ઉપયોગ કરીએ છીએ IBM WebSphere ILOG JRules BRMS, જે, વિશ્લેષકો, ટેક્નોલોજિસ્ટ્સ અને ડેવલપર્સ દ્વારા નિર્ધારિત નિયમોના આધારે, ક્લાયન્ટને કોઈ ચોક્કસ બેંકિંગ પ્રોડક્ટને મંજૂરી આપવી કે નકારવી તે નક્કી કરે છે.

બજારમાં ઘણા તૈયાર સોલ્યુશન્સ છે, બંને સ્કોરિંગ મોડલ અને નિર્ણય લેવાની પ્રણાલીઓ પોતે જ છે. અમે અમારી કંપનીમાં આમાંથી એક સિસ્ટમનો ઉપયોગ કરીએ છીએ. પરંતુ વ્યવસાય વધી રહ્યો છે, વૈવિધ્યીકરણ કરી રહ્યું છે, ગ્રાહકોની સંખ્યા અને ઓફર કરેલા ઉત્પાદનોની સંખ્યા બંને વધી રહી છે, અને તેની સાથે, વર્તમાન નિર્ણય લેવાની પ્રક્રિયાને કેવી રીતે સુધારવી તે અંગેના વિચારો ઉભરી રહ્યા છે. નિશ્ચિતપણે હાલની સિસ્ટમ સાથે કામ કરતા લોકો પાસે તેને સરળ, વધુ સારી, વધુ સુવિધાજનક કેવી રીતે બનાવવી તે અંગે ઘણા વિચારો હોય છે, પરંતુ કેટલીકવાર બહારના વિચારો ઉપયોગી થાય છે. ધ ન્યૂ હેકાથોનનું આયોજન ધ્વનિ વિચારો એકત્ર કરવાના ઉદ્દેશ્ય સાથે કરવામાં આવ્યું હતું.

કાર્ય

હેકાથોન 23 ફેબ્રુઆરીએ યોજાઈ હતી. સહભાગીઓને લડાઇ કાર્યની ઓફર કરવામાં આવી હતી: નિર્ણય લેવાની પ્રણાલી વિકસાવવા કે જેમાં સંખ્યાબંધ શરતો પૂરી કરવી પડે.

અમને જણાવવામાં આવ્યું હતું કે વર્તમાન સિસ્ટમ કેવી રીતે કાર્ય કરે છે અને તેના સંચાલન દરમિયાન કઈ મુશ્કેલીઓ ઊભી થાય છે, તેમજ વિકસિત પ્લેટફોર્મે કયા વ્યવસાયિક લક્ષ્યોને અનુસરવા જોઈએ. વિશ્લેષકોના કાર્યકારી સંહિતા શક્ય તેટલી ઝડપથી ઉત્પાદનમાં આવે તે માટે નિયમો વિકસાવવા માટે સિસ્ટમમાં ઝડપી સમય-બજાર હોવો આવશ્યક છે. અને અરજીઓના આવનારા પ્રવાહ માટે, નિર્ણય લેવાનો સમય ન્યૂનતમ હોવો જોઈએ. ઉપરાંત, જે સિસ્ટમ વિકસાવવામાં આવી રહી છે તેમાં ક્રોસ-સેલ ક્ષમતાઓ હોવી આવશ્યક છે જેથી ક્લાયન્ટને અન્ય કંપનીના ઉત્પાદનો ખરીદવાની તક મળે જો તે અમારા દ્વારા મંજૂર કરવામાં આવે અને ક્લાયન્ટ તરફથી સંભવિત રસ હોય.

તે સ્પષ્ટ છે કે તૈયાર-થી-પ્રકાશન પ્રોજેક્ટને રાતોરાત લખવું અશક્ય છે જે ચોક્કસપણે ઉત્પાદનમાં જશે, અને સમગ્ર સિસ્ટમને આવરી લેવાનું ખૂબ મુશ્કેલ છે, તેથી અમને તેનો ઓછામાં ઓછો ભાગ અમલમાં મૂકવા માટે કહેવામાં આવ્યું હતું. સંખ્યાબંધ આવશ્યકતાઓ સ્થાપિત કરવામાં આવી હતી જે પ્રોટોટાઇપને સંતોષવી આવશ્યક છે. બધી આવશ્યકતાઓને તેમની સંપૂર્ણતામાં આવરી લેવા અને વિકસાવવામાં આવી રહેલા પ્લેટફોર્મના વ્યક્તિગત વિભાગો પર વિગતવાર કામ કરવા માટે બંનેનો પ્રયાસ કરવો શક્ય હતું.

ટેક્નોલોજી માટે, બધા સહભાગીઓને પસંદગીની સંપૂર્ણ સ્વતંત્રતા આપવામાં આવી હતી. કોઈપણ ખ્યાલો અને તકનીકોનો ઉપયોગ કરવો શક્ય હતું: ડેટા સ્ટ્રીમિંગ, મશીન લર્નિંગ, ઇવેન્ટ સોર્સિંગ, મોટા ડેટા અને અન્ય.

અમારો ઉકેલ

થોડા વિચારમંથન પછી, અમે નક્કી કર્યું કે કાર્ય પૂર્ણ કરવા માટે FaaS સોલ્યુશન આદર્શ હશે.

આ સોલ્યુશન માટે, વિકસિત કરવામાં આવી રહેલી નિર્ણય લેવાની સિસ્ટમના નિયમોને અમલમાં મૂકવા માટે યોગ્ય સર્વરલેસ ફ્રેમવર્ક શોધવાનું જરૂરી હતું. કારણ કે Tinkoff સક્રિયપણે ઈન્ફ્રાસ્ટ્રક્ચર મેનેજમેન્ટ માટે કુબરનેટ્સનો ઉપયોગ કરે છે, અમે તેના આધારે ઘણા તૈયાર ઉકેલો જોયા છે; હું તમને તેના વિશે પછીથી વધુ જણાવીશ.

સૌથી અસરકારક ઉકેલ શોધવા માટે, અમે તેના વપરાશકર્તાઓની નજર દ્વારા વિકસાવવામાં આવી રહેલા ઉત્પાદનને જોયું. અમારી સિસ્ટમના મુખ્ય વપરાશકર્તાઓ નિયમ વિકાસ સાથે સંકળાયેલા વિશ્લેષકો છે. નિયમો સર્વર પર તૈનાત હોવા જોઈએ, અથવા, અમારા કિસ્સામાં, ક્લાઉડમાં તૈનાત, અનુગામી નિર્ણય લેવા માટે. વિશ્લેષકના પરિપ્રેક્ષ્યમાં, વર્કફ્લો આના જેવો દેખાય છે:

1. વિશ્લેષક વેરહાઉસના ડેટાના આધારે સ્ક્રિપ્ટ, નિયમ અથવા ML મોડેલ લખે છે. હેકાથોનના ભાગ રૂપે, અમે Mongodb નો ઉપયોગ કરવાનું નક્કી કર્યું, પરંતુ ડેટા સ્ટોરેજ સિસ્ટમની પસંદગી અહીં મહત્વપૂર્ણ નથી.
2. ઐતિહાસિક ડેટા પર વિકસિત નિયમોનું પરીક્ષણ કર્યા પછી, વિશ્લેષક તેનો કોડ એડમિન પેનલ પર અપલોડ કરે છે.
3. સંસ્કરણની ખાતરી કરવા માટે, બધા કોડ ગિટ રિપોઝીટરીઝમાં જશે.
4. એડમિન પેનલ દ્વારા ક્લાઉડમાં કોડને અલગ ફંક્શનલ સર્વરલેસ મોડ્યુલ તરીકે જમાવવાનું શક્ય બનશે.

ક્લાયન્ટ્સનો પ્રારંભિક ડેટા વેરહાઉસના ડેટા સાથે પ્રારંભિક વિનંતીને સમૃદ્ધ બનાવવા માટે રચાયેલ વિશિષ્ટ સંવર્ધન સેવામાંથી પસાર થવો જોઈએ. એકીકૃત ડેટા માળખું જાળવવા માટે આ સેવાને એવી રીતે અમલમાં મૂકવી મહત્વપૂર્ણ હતી કે તે એક રિપોઝીટરી (જેમાંથી વિશ્લેષક નિયમો વિકસાવતી વખતે ડેટા લે છે) સાથે કામ કરશે.

હેકાથોન પહેલા પણ, અમે સર્વરલેસ ફ્રેમવર્ક પર નિર્ણય લીધો હતો જેનો અમે ઉપયોગ કરીશું. આજે બજારમાં ઘણી બધી તકનીકો છે જે આ અભિગમને અમલમાં મૂકે છે. કુબરનેટીસ આર્કિટેક્ચરમાં સૌથી વધુ લોકપ્રિય ઉકેલો ફિશન, ઓપન એફએએસ અને કુબેલેસ છે. ત્યાં સમ છે તેમના વર્ણન અને તુલનાત્મક વિશ્લેષણ સાથે સારો લેખ.

બધા ગુણદોષનું વજન કર્યા પછી, અમે પસંદ કર્યું દ્વિભાજન. આ સર્વરલેસ ફ્રેમવર્ક મેનેજ કરવા માટે એકદમ સરળ છે અને કાર્યની જરૂરિયાતોને પૂર્ણ કરે છે.

ફિશન સાથે કામ કરવા માટે, તમારે બે મૂળભૂત ખ્યાલો સમજવાની જરૂર છે: કાર્ય અને પર્યાવરણ. ફંક્શન એ એક ભાષામાં લખાયેલ કોડનો ટુકડો છે જેના માટે ફિશન પર્યાવરણ છે. આ માળખામાં અમલમાં મુકાયેલા પર્યાવરણોની યાદી Python, JS, Go, JVM અને અન્ય ઘણી લોકપ્રિય ભાષાઓ અને તકનીકોનો સમાવેશ થાય છે.

વિભાજન એ આર્કાઇવમાં પ્રી-પેકેજ કરેલી કેટલીક ફાઇલોમાં વિભાજિત કાર્યો કરવા માટે પણ સક્ષમ છે. કુબરનેટ્સ ક્લસ્ટરમાં ફિશનની કામગીરી વિશિષ્ટ શીંગો દ્વારા સુનિશ્ચિત કરવામાં આવે છે, જે ફ્રેમવર્ક દ્વારા જ સંચાલિત થાય છે. ક્લસ્ટર પોડ્સ સાથે ક્રિયાપ્રતિક્રિયા કરવા માટે, દરેક ફંક્શનને તેનો પોતાનો રૂટ સોંપવો આવશ્યક છે, અને જેમાં તમે POST વિનંતીના કિસ્સામાં GET પેરામીટર્સ અથવા વિનંતી બોડીને પસાર કરી શકો છો.

પરિણામે, અમે એક ઉકેલ મેળવવાનું આયોજન કર્યું છે જે વિશ્લેષકોને એન્જિનિયરો અને વિકાસકર્તાઓની ભાગીદારી વિના વિકસિત નિયમ સ્ક્રિપ્ટો જમાવવાની મંજૂરી આપશે. વર્ણવેલ અભિગમ વિકાસકર્તાઓને વિશ્લેષક કોડને બીજી ભાષામાં ફરીથી લખવાની જરૂરિયાતને પણ દૂર કરે છે. ઉદાહરણ તરીકે, અમે જે વર્તમાન નિર્ણય લેવાની પ્રણાલીનો ઉપયોગ કરીએ છીએ તેના માટે, અમારે અત્યંત વિશિષ્ટ તકનીકો અને ભાષાઓમાં નિયમો લખવા પડશે, જેનો અવકાશ અત્યંત મર્યાદિત છે, અને એપ્લિકેશન સર્વર પર મજબૂત અવલંબન પણ છે, કારણ કે તમામ ડ્રાફ્ટ બેંક નિયમો એક જ વાતાવરણમાં તૈનાત છે. પરિણામે, નવા નિયમો જમાવવા માટે સમગ્ર સિસ્ટમને મુક્ત કરવી જરૂરી છે.

અમારા સૂચિત સોલ્યુશનમાં, નિયમો બહાર પાડવાની કોઈ જરૂર નથી; કોડને બટનના ક્લિક પર સરળતાથી જમાવી શકાય છે. ઉપરાંત, કુબરનેટ્સમાં ઇન્ફ્રાસ્ટ્રક્ચર મેનેજમેન્ટ તમને લોડ અને સ્કેલિંગ વિશે વિચારવાની મંજૂરી આપે છે; આવી સમસ્યાઓ બૉક્સની બહાર ઉકેલવામાં આવે છે. અને સિંગલ ડેટા વેરહાઉસનો ઉપયોગ ઐતિહાસિક ડેટા સાથે રીઅલ-ટાઇમ ડેટાની તુલના કરવાની જરૂરિયાતને દૂર કરે છે, જે વિશ્લેષકના કાર્યને સરળ બનાવે છે.

અમને શું મળ્યું

અમે હેકાથોનમાં તૈયાર સોલ્યુશન (અમારી કલ્પનાઓમાં) સાથે આવ્યા હોવાથી, અમારે ફક્ત અમારા બધા વિચારોને કોડની લાઇનમાં રૂપાંતરિત કરવાનું હતું.

કોઈપણ હેકાથોનમાં સફળતાની ચાવી એ તૈયારી અને સારી રીતે લખેલી યોજના છે. તેથી, અમે પ્રથમ વસ્તુ એ નક્કી કર્યું કે અમારી સિસ્ટમ આર્કિટેક્ચરમાં કયા મોડ્યુલો હશે અને અમે કઈ તકનીકોનો ઉપયોગ કરીશું.

અમારા પ્રોજેક્ટનું આર્કિટેક્ચર નીચે મુજબ હતું:

આ રેખાકૃતિ બે એન્ટ્રી પોઈન્ટ બતાવે છે, વિશ્લેષક (અમારી સિસ્ટમનો મુખ્ય વપરાશકર્તા) અને ક્લાયન્ટ.

કાર્ય પ્રક્રિયા આ રીતે રચાયેલ છે. વિશ્લેષક તેના મોડેલ માટે એક નિયમ કાર્ય અને ડેટા સંવર્ધન કાર્ય વિકસાવે છે, તેના કોડને ગિટ રિપોઝીટરીમાં સંગ્રહિત કરે છે, અને એડમિનિસ્ટ્રેટર એપ્લિકેશન દ્વારા તેના મોડેલને ક્લાઉડ પર જમાવે છે. ચાલો ધ્યાનમાં લઈએ કે જમાવટ કરેલ કાર્યને કેવી રીતે બોલાવવામાં આવશે અને ગ્રાહકો તરફથી આવનારી વિનંતીઓ પર નિર્ણય લઈએ:

1. ક્લાયંટ વેબસાઇટ પર એક ફોર્મ ભરે છે અને તેની વિનંતી નિયંત્રકને મોકલે છે. એક એપ્લિકેશન કે જેના પર નિર્ણય લેવાની જરૂર છે તે સિસ્ટમ ઇનપુટ પર આવે છે અને તેના મૂળ સ્વરૂપમાં ડેટાબેઝમાં રેકોર્ડ કરવામાં આવે છે.
2. આગળ, જો જરૂરી હોય તો, સંવર્ધન માટે કાચી વિનંતી મોકલવામાં આવે છે. તમે પ્રારંભિક વિનંતીને બાહ્ય સેવાઓ અને સ્ટોરેજ બંનેમાંથી ડેટા સાથે પૂરક બનાવી શકો છો. પરિણામી સમૃદ્ધ ક્વેરી પણ ડેટાબેઝમાં સંગ્રહિત થાય છે.
3. વિશ્લેષક કાર્ય શરૂ કરવામાં આવે છે, જે એક સમૃદ્ધ ક્વેરી ઇનપુટ તરીકે લે છે અને ઉકેલ ઉત્પન્ન કરે છે, જે સ્ટોરેજ પર પણ લખવામાં આવે છે.

અમે JSON દસ્તાવેજોના રૂપમાં ડેટાના દસ્તાવેજ-લક્ષી સ્ટોરેજને કારણે અમારી સિસ્ટમમાં સંગ્રહ તરીકે MongoDB નો ઉપયોગ કરવાનું નક્કી કર્યું, કારણ કે મૂળ વિનંતી સહિતની સંવર્ધન સેવાઓ, REST નિયંત્રકો દ્વારા તમામ ડેટાને એકત્ર કરે છે.

તેથી, પ્લેટફોર્મને અમલમાં મૂકવા માટે અમારી પાસે XNUMX કલાક હતા. અમે ખૂબ સફળતાપૂર્વક ભૂમિકાઓનું વિતરણ કર્યું; અમારા પ્રોજેક્ટમાં દરેક ટીમના સભ્યની પોતાની જવાબદારીનો વિસ્તાર હતો:

1. વિશ્લેષકના કાર્ય માટે ફ્રન્ટ-એન્ડ એડમિન પેનલ્સ, જેના દ્વારા તે લેખિત સ્ક્રિપ્ટ્સની સંસ્કરણ નિયંત્રણ સિસ્ટમમાંથી નિયમો ડાઉનલોડ કરી શકે છે, ઇનપુટ ડેટાને સમૃદ્ધ બનાવવા માટે વિકલ્પો પસંદ કરી શકે છે અને નિયમ સ્ક્રિપ્ટને ઑનલાઇન સંપાદિત કરી શકે છે.
2. બેકએન્ડ એડમિન, આગળના માટે REST API અને VCS સાથે એકીકરણ સહિત.
3. Google Cloud માં ઇન્ફ્રાસ્ટ્રક્ચર સેટ કરવું અને સ્રોત ડેટાને સમૃદ્ધ બનાવવા માટે સેવા વિકસાવવી.
4. નિયમોના અનુગામી જમાવટ માટે સર્વરલેસ ફ્રેમવર્ક સાથે એડમિન એપ્લિકેશનને એકીકૃત કરવા માટેનું મોડ્યુલ.
5. અંતિમ નિદર્શન માટે ઇનકમિંગ એપ્લીકેશન્સ (નિર્ણયો લેવાયેલ) પર સમગ્ર સિસ્ટમના પ્રદર્શન અને વિશ્લેષણના એકત્રીકરણના પરીક્ષણ માટેના નિયમોની સ્ક્રિપ્ટો.

ચાલો ક્રમમાં શરૂ કરીએ.

બેંકિંગ UI કિટનો ઉપયોગ કરીને અમારું ફ્રન્ટએન્ડ કોણીય 7 માં લખવામાં આવ્યું હતું. એડમિન પેનલનું અંતિમ સંસ્કરણ આના જેવું દેખાતું હતું:

થોડો સમય હોવાથી, અમે ફક્ત મુખ્ય કાર્યક્ષમતાને અમલમાં મૂકવાનો પ્રયાસ કર્યો. કુબરનેટ્સ ક્લસ્ટરમાં ફંક્શનને જમાવવા માટે, ઇવેન્ટ પસંદ કરવી જરૂરી હતી (એક સેવા કે જેના માટે ક્લાઉડમાં નિયમ જમાવવો જરૂરી છે) અને ફંક્શનનો કોડ કે જે નિર્ણય લેવાના તર્કને અમલમાં મૂકે છે. પસંદ કરેલ સેવા માટેના નિયમની દરેક જમાવટ માટે, અમે આ ઇવેન્ટનો લોગ લખ્યો છે. એડમિન પેનલમાં તમે બધી ઇવેન્ટના લોગ જોઈ શકો છો.

બધા ફંક્શન કોડ રિમોટ ગિટ રિપોઝીટરીમાં સંગ્રહિત હતા, જે એડમિન પેનલમાં પણ સેટ કરવાના હતા. કોડના સંસ્કરણ માટે, તમામ કાર્યો ભંડારની વિવિધ શાખાઓમાં સંગ્રહિત કરવામાં આવ્યા હતા. એડમિન પેનલ લેખિત સ્ક્રિપ્ટમાં એડજસ્ટમેન્ટ કરવાની ક્ષમતા પણ પૂરી પાડે છે, જેથી કરીને ફંક્શનને પ્રોડક્શનમાં જમાવતા પહેલા, તમે માત્ર લેખિત કોડ જ ચેક કરી શકતા નથી, પણ જરૂરી ફેરફારો પણ કરી શકો છો.

નિયમોના કાર્યો ઉપરાંત, અમે સંવર્ધન કાર્યોનો ઉપયોગ કરીને સ્રોત ડેટાને ધીમે ધીમે સમૃદ્ધ કરવાની ક્ષમતા પણ અમલમાં મૂકી છે, જેનો કોડ સ્ક્રિપ્ટ્સ પણ હતો જેમાં ડેટા વેરહાઉસમાં જવાનું, તૃતીય-પક્ષ સેવાઓને કૉલ કરવાનું અને પ્રારંભિક ગણતરીઓ કરવાનું શક્ય હતું. . અમારા સોલ્યુશનને દર્શાવવા માટે, અમે ક્લાયન્ટના રાશિચક્રની ગણતરી કરી જેણે વિનંતી છોડી દીધી અને તૃતીય-પક્ષ REST સેવાનો ઉપયોગ કરીને તેના મોબાઇલ ઓપરેટરને નિર્ધારિત કર્યા.

પ્લેટફોર્મનો બેકએન્ડ જાવામાં લખવામાં આવ્યો હતો અને તેને સ્પ્રિંગ બૂટ એપ્લિકેશન તરીકે લાગુ કરવામાં આવ્યો હતો. અમે શરૂઆતમાં એડમિન ડેટા સ્ટોર કરવા માટે પોસ્ટગ્રેસનો ઉપયોગ કરવાનું આયોજન કર્યું હતું, પરંતુ, હેકાથોનના ભાગ રૂપે, અમે સમય બચાવવા માટે પોતાને એક સરળ H2 સુધી મર્યાદિત કરવાનું નક્કી કર્યું. બેકએન્ડ પર, Bitbucket સાથે એકીકરણ ક્વેરી સંવર્ધન કાર્યો અને નિયમ સ્ક્રિપ્ટના સંસ્કરણ માટે લાગુ કરવામાં આવ્યું હતું. રિમોટ ગિટ રિપોઝીટરીઝ સાથે એકીકરણ માટે, અમે ઉપયોગ કર્યો JGit પુસ્તકાલય, જે CLI આદેશો પર એક પ્રકારનું રેપર છે, જે તમને અનુકૂળ સોફ્ટવેર ઈન્ટરફેસનો ઉપયોગ કરીને કોઈપણ ગિટ સૂચનાઓ ચલાવવા માટે પરવાનગી આપે છે. તેથી અમારી પાસે સંવર્ધન કાર્યો અને નિયમો માટે બે અલગ-અલગ ભંડાર હતા, અને તમામ સ્ક્રિપ્ટોને ડિરેક્ટરીઓમાં વિભાજિત કરવામાં આવી હતી. UI દ્વારા રિપોઝીટરીની મનસ્વી શાખાની સ્ક્રિપ્ટની નવીનતમ પ્રતિબદ્ધતાને પસંદ કરવાનું શક્ય હતું. એડમિન પેનલ દ્વારા કોડમાં ફેરફાર કરતી વખતે, રિમોટ રિપોઝીટરીઝમાં બદલાયેલ કોડના કમિટ બનાવવામાં આવ્યા હતા.

અમારા વિચારને અમલમાં મૂકવા માટે, અમને યોગ્ય ઈન્ફ્રાસ્ટ્રક્ચરની જરૂર હતી. અમે અમારા કુબરનેટ્સ ક્લસ્ટરને ક્લાઉડમાં જમાવવાનું નક્કી કર્યું. અમારી પસંદગી Google Cloud Platform હતી. ફિશન સર્વરલેસ ફ્રેમવર્ક કુબરનેટ્સ ક્લસ્ટર પર ઇન્સ્ટોલ કરવામાં આવ્યું હતું, જેને અમે Gcloud માં જમાવ્યું હતું. શરૂઆતમાં, સ્ત્રોત ડેટા સંવર્ધન સેવા k8s ક્લસ્ટરની અંદર પોડમાં લપેટી એક અલગ જાવા એપ્લિકેશન તરીકે લાગુ કરવામાં આવી હતી. પરંતુ હેકાથોનની મધ્યમાં અમારા પ્રોજેક્ટના પ્રારંભિક પ્રદર્શન પછી, અમને ઇનકમિંગ એપ્લિકેશન્સના કાચા ડેટાને કેવી રીતે સમૃદ્ધ બનાવવો તે પસંદ કરવાની તક પૂરી પાડવા માટે સંવર્ધન સેવાને વધુ લવચીક બનાવવાની ભલામણ કરવામાં આવી હતી. અને અમારી પાસે સંવર્ધન સેવાને સર્વરલેસ બનાવવા સિવાય કોઈ વિકલ્પ નહોતો.

ફિશન સાથે કામ કરવા માટે, અમે ફિશન સીએલઆઈનો ઉપયોગ કર્યો, જે કુબરનેટ્સ સીએલઆઈની ટોચ પર સ્થાપિત થયેલ હોવો જોઈએ. k8s ક્લસ્ટરમાં ફંક્શન્સ જમાવવું એકદમ સરળ છે; જો ક્લસ્ટરની બહાર એક્સેસની જરૂર હોય તો ઇનકમિંગ ટ્રાફિકને મંજૂરી આપવા માટે તમારે ફક્ત આંતરિક રૂટ સોંપવાની અને ફંક્શનમાં પ્રવેશ કરવાની જરૂર છે. એક ફંક્શનને જમાવવામાં સામાન્ય રીતે 10 સેકન્ડથી વધુ સમય લાગતો નથી.

પ્રોજેક્ટની અંતિમ રજૂઆત અને સારાંશ

અમારી સિસ્ટમ કેવી રીતે કાર્ય કરે છે તે દર્શાવવા માટે, અમે રિમોટ સર્વર પર એક સરળ ફોર્મ મૂક્યું છે જ્યાં તમે બેંકના ઉત્પાદનોમાંથી એક માટે અરજી સબમિટ કરી શકો છો. વિનંતી કરવા માટે, તમારે તમારા આદ્યાક્ષરો, જન્મ તારીખ અને ફોન નંબર દાખલ કરવો પડશે.

ક્લાયંટ ફોર્મમાંથી ડેટા કંટ્રોલર પાસે ગયો, જેણે એક સાથે તમામ ઉપલબ્ધ નિયમો માટે વિનંતીઓ મોકલી, અગાઉ ઉલ્લેખિત શરતો અનુસાર ડેટાને સમૃદ્ધ બનાવ્યો અને તેને સામાન્ય સ્ટોરેજમાં સાચવ્યો. કુલ મળીને, અમે ત્રણ ફંક્શન્સ ગોઠવ્યા છે જે આવનારી એપ્લિકેશન્સ અને 4 ડેટા સંવર્ધન સેવાઓ પર નિર્ણય લે છે. અરજી સબમિટ કર્યા પછી, ક્લાયંટને અમારો નિર્ણય મળ્યો:

ઇનકાર અથવા મંજૂરી ઉપરાંત, ક્લાયંટને અન્ય ઉત્પાદનોની સૂચિ પણ પ્રાપ્ત થઈ છે, જેની વિનંતીઓ અમે સમાંતર મોકલી છે. આ રીતે અમે અમારા પ્લેટફોર્મમાં ક્રોસ-સેલની શક્યતા દર્શાવી.

કુલ 3 કાલ્પનિક બેંક ઉત્પાદનો ઉપલબ્ધ હતા:

• જમા.
• રમકડાની
• ગીરો.

નિદર્શન દરમિયાન, અમે દરેક સેવા માટે તૈયાર કાર્યો અને સંવર્ધન સ્ક્રિપ્ટો તૈનાત કરી.

દરેક નિયમને તેના પોતાના ઇનપુટ ડેટાના સેટની જરૂર છે. તેથી, મોર્ટગેજ મંજૂર કરવા માટે, અમે ક્લાયંટના રાશિચક્રની ગણતરી કરી અને તેને ચંદ્ર કેલેન્ડરના તર્ક સાથે જોડી દીધી. રમકડાને મંજૂર કરવા માટે, અમે તપાસ્યું કે ક્લાયંટ બહુમતીની ઉંમરે પહોંચી ગયો છે, અને લોન આપવા માટે, અમે સેલ્યુલર ઓપરેટર નક્કી કરવા માટે બાહ્ય ઓપન સર્વિસને વિનંતી મોકલી, અને તેના પર નિર્ણય લેવામાં આવ્યો.

અમે અમારા પ્રદર્શનને રસપ્રદ અને અરસપરસ બનાવવાનો પ્રયાસ કર્યો, હાજર દરેક વ્યક્તિ અમારા ફોર્મ પર જઈ શકે છે અને તેમની માટે અમારી કાલ્પનિક સેવાઓની ઉપલબ્ધતા ચકાસી શકે છે. અને પ્રેઝન્ટેશનના ખૂબ જ અંતે, અમે પ્રાપ્ત કરેલ અરજીઓના વિશ્લેષણનું નિદર્શન કર્યું, જે દર્શાવે છે કે કેટલા લોકોએ અમારી સેવાનો ઉપયોગ કર્યો, મંજૂરીઓની સંખ્યા અને ઇનકાર.

એનાલિટિક્સ ઑનલાઇન એકત્રિત કરવા માટે, અમે એક ઓપન સોર્સ BI ટૂલ પણ જમાવ્યું છે મેટાબેઝ અને તેને અમારા સ્ટોરેજ યુનિટમાં સ્ક્રૂ કરી. મેટાબેઝ તમને અમને રુચિ ધરાવતા ડેટા પર એનાલિટિક્સ સાથે સ્ક્રીન બનાવવાની મંજૂરી આપે છે; તમારે ફક્ત ડેટાબેઝ સાથે કનેક્શન રજીસ્ટર કરવાની જરૂર છે, કોષ્ટકો પસંદ કરવાની જરૂર છે (અમારા કિસ્સામાં, ડેટા સંગ્રહો, કારણ કે અમે મોંગોડીબીનો ઉપયોગ કર્યો છે), અને અમને રસના ક્ષેત્રોનો ઉલ્લેખ કરો. .

પરિણામે, અમને નિર્ણય લેવાના પ્લેટફોર્મનો સારો પ્રોટોટાઇપ મળ્યો, અને પ્રદર્શન દરમિયાન, દરેક શ્રોતા વ્યક્તિગત રીતે તેનું પ્રદર્શન ચકાસી શકે છે. એક રસપ્રદ ઉકેલ, ફિનિશ્ડ પ્રોટોટાઇપ અને સફળ પ્રદર્શને અમને અન્ય ટીમોની મજબૂત સ્પર્ધા હોવા છતાં જીતવાની મંજૂરી આપી. મને ખાતરી છે કે દરેક ટીમના પ્રોજેક્ટ પર એક રસપ્રદ લેખ પણ લખી શકાય છે.

સોર્સ: www.habr.com