Sber.DS એ એક પ્લેટફોર્મ છે જે તમને કોડ વિના પણ મોડલ બનાવવા અને અમલમાં મૂકવા દે છે

અન્ય કઈ પ્રક્રિયાઓ સ્વયંસંચાલિત થઈ શકે તે અંગેના વિચારો અને મીટિંગો દરરોજ વિવિધ કદના વ્યવસાયોમાં ઉદ્ભવે છે. પરંતુ એ હકીકત ઉપરાંત કે મોડેલ બનાવવા માટે ઘણો સમય પસાર કરી શકાય છે, તમારે તેનું મૂલ્યાંકન કરવા અને પ્રાપ્ત પરિણામ રેન્ડમ નથી તે તપાસવા માટે ખર્ચ કરવાની જરૂર છે. અમલીકરણ પછી, કોઈપણ મોડેલનું નિરીક્ષણ કરવું અને સમયાંતરે તપાસ કરવી આવશ્યક છે.

અને આ તમામ તબક્કાઓ છે જે કોઈપણ કંપનીમાં પૂર્ણ કરવાની જરૂર છે, તેના કદને ધ્યાનમાં લીધા વિના. જો આપણે Sberbank ના સ્કેલ અને વારસા વિશે વાત કરી રહ્યા છીએ, તો ફાઇન-ટ્યુનિંગની સંખ્યા નોંધપાત્ર રીતે વધે છે. 2019 ના અંત સુધીમાં, Sber પહેલેથી જ 2000 થી વધુ મોડલનો ઉપયોગ કરી ચૂક્યું છે. ફક્ત મોડેલ વિકસાવવા માટે તે પૂરતું નથી; તે ઔદ્યોગિક પ્રણાલીઓ સાથે સંકલન કરવું, મોડેલ બનાવવા માટે ડેટા માર્ટ વિકસાવવા અને ક્લસ્ટર પર તેની કામગીરીનું નિયંત્રણ સુનિશ્ચિત કરવું જરૂરી છે.

અમારી ટીમ Sber.DS પ્લેટફોર્મ વિકસાવી રહી છે. તે તમને મશીન લર્નિંગ સમસ્યાઓ હલ કરવાની મંજૂરી આપે છે, પૂર્વધારણાઓનું પરીક્ષણ કરવાની પ્રક્રિયાને ઝડપી બનાવે છે, સિદ્ધાંતમાં મોડેલો વિકસાવવા અને માન્ય કરવાની પ્રક્રિયાને સરળ બનાવે છે, અને PROM માં મોડેલના પરિણામને પણ નિયંત્રિત કરે છે.

તમારી અપેક્ષાઓને છેતરવા માટે, હું અગાઉથી કહેવા માંગુ છું કે આ પોસ્ટ એક પ્રારંભિક છે, અને કટ હેઠળ, શરૂઆત માટે, અમે તે વિશે વાત કરીએ છીએ, સૈદ્ધાંતિક રીતે, Sber.DS પ્લેટફોર્મના હૂડ હેઠળ શું છે. અમે સર્જનથી અમલીકરણ સુધીના મોડેલના જીવન ચક્ર વિશે અલગથી વાર્તા કહીશું.

Sber.DS માં ઘણા ઘટકોનો સમાવેશ થાય છે, જેમાં મુખ્ય છે પુસ્તકાલય, વિકાસ પ્રણાલી અને મોડેલ એક્ઝેક્યુશન સિસ્ટમ.

લાઇબ્રેરી મોડલના જીવન ચક્રને PROM, મોનિટરિંગ અને ડિકમિશનિંગમાં અમલમાં મૂકે ત્યાં સુધી તેને વિકસાવવાનો વિચાર આવે ત્યારથી નિયંત્રિત કરે છે. ઘણી લાઇબ્રેરી ક્ષમતાઓ નિયમનકારના નિયમો દ્વારા નિર્ધારિત કરવામાં આવે છે, ઉદાહરણ તરીકે, તાલીમ અને માન્યતા નમૂનાઓનો અહેવાલ અને સંગ્રહ. વાસ્તવમાં, આ અમારા તમામ મોડલનું રજિસ્ટર છે.

વિકાસ પ્રણાલી મોડેલો અને માન્યતા તકનીકોના દ્રશ્ય વિકાસ માટે રચાયેલ છે. વિકસિત મોડેલો પ્રારંભિક માન્યતામાંથી પસાર થાય છે અને તેમના વ્યવસાય કાર્યો કરવા માટે એક્ઝેક્યુશન સિસ્ટમને પૂરા પાડવામાં આવે છે. ઉપરાંત, રનટાઇમ સિસ્ટમમાં, મોડલને તેની કામગીરી પર દેખરેખ રાખવા માટે સમયાંતરે માન્યતા તકનીકો શરૂ કરવાના હેતુથી મોનિટર પર મૂકી શકાય છે.

સિસ્ટમમાં ઘણા પ્રકારના ગાંઠો છે. કેટલાક વિવિધ ડેટા સ્ત્રોતો સાથે જોડાવા માટે રચાયેલ છે, અન્ય સ્રોત ડેટાને રૂપાંતરિત કરવા અને તેને સમૃદ્ધ બનાવવા માટે રચાયેલ છે (માર્કઅપ). વિવિધ મૉડલ બનાવવા માટે ઘણા ગાંઠો છે અને તેમને માન્ય કરવા માટે નોડ્સ છે. વિકાસકર્તા કોઈપણ સ્ત્રોતમાંથી ડેટા લોડ કરી શકે છે, ટ્રાન્સફોર્મ કરી શકે છે, ફિલ્ટર કરી શકે છે, મધ્યવર્તી ડેટાને વિઝ્યુઅલાઈઝ કરી શકે છે અને તેને ભાગોમાં વિભાજિત કરી શકે છે.

પ્લેટફોર્મમાં તૈયાર મોડ્યુલ પણ હોય છે જેને ડીઝાઇન એરિયા પર ખેંચીને છોડી શકાય છે. બધી ક્રિયાઓ વિઝ્યુઅલાઈઝ ઈન્ટરફેસનો ઉપયોગ કરીને કરવામાં આવે છે. વાસ્તવમાં, તમે કોડની એક લીટી વિના સમસ્યા હલ કરી શકો છો.

જો બિલ્ટ-ઇન ક્ષમતાઓ પૂરતી નથી, તો સિસ્ટમ ઝડપથી તમારા પોતાના મોડ્યુલો બનાવવાની ક્ષમતા પ્રદાન કરે છે. અમે પર આધારિત એક સંકલિત વિકાસ મોડ બનાવ્યો જ્યુપીટર કર્નલ ગેટવે જેઓ શરૂઆતથી નવા મોડ્યુલો બનાવે છે.

Sber.DS નું આર્કિટેક્ચર માઇક્રોસર્વિસિસ પર બનેલ છે. માઇક્રોસર્વિસિસ શું છે તે વિશે ઘણા મંતવ્યો છે. કેટલાક લોકો માને છે કે મોનોલિથિક કોડને ભાગોમાં વિભાજિત કરવા માટે તે પૂરતું છે, પરંતુ તે જ સમયે તેઓ હજી પણ સમાન ડેટાબેઝ પર જાય છે. અમારી માઇક્રોસર્વિસે અન્ય માઇક્રોસર્વિસ સાથે માત્ર REST API દ્વારા જ વાતચીત કરવી જોઈએ. ડેટાબેઝને સીધો ઍક્સેસ કરવા માટે કોઈ ઉકેલ નથી.

અમે એ સુનિશ્ચિત કરવાનો પ્રયાસ કરીએ છીએ કે સેવાઓ ખૂબ મોટી અને અણઘડ ન બને: એક દાખલામાં 4-8 ગીગાબાઇટ્સ કરતાં વધુ રેમનો વપરાશ ન કરવો જોઈએ અને નવા દાખલાઓ શરૂ કરીને વિનંતીઓને આડી રીતે માપવાની ક્ષમતા પ્રદાન કરવી જોઈએ. દરેક સેવા અન્ય લોકો સાથે માત્ર REST API (ઓપન એપીઆઇ). સેવા માટે જવાબદાર ટીમે તેનો ઉપયોગ કરતા છેલ્લા ક્લાયન્ટ સુધી API ને પાછળની તરફ સુસંગત રાખવાની જરૂર છે.

એપ્લિકેશનનો મુખ્ય ભાગ સ્પ્રિંગ ફ્રેમવર્કનો ઉપયોગ કરીને જાવામાં લખાયેલ છે. સોલ્યુશન શરૂઆતમાં ક્લાઉડ ઇન્ફ્રાસ્ટ્રક્ચરમાં ઝડપી જમાવટ માટે ડિઝાઇન કરવામાં આવ્યું હતું, તેથી એપ્લિકેશન કન્ટેનરાઇઝેશન સિસ્ટમનો ઉપયોગ કરીને બનાવવામાં આવી હતી. રેડ Hat ઓપનશીફ્ટ (ક્યુબર્નેટિસ). વ્યાપાર કાર્યક્ષમતા (નવા કનેક્ટર્સ, AutoML ઉમેરવામાં આવી રહી છે) અને તકનીકી કાર્યક્ષમતાના સંદર્ભમાં બંને રીતે પ્લેટફોર્મ સતત વિકસિત થઈ રહ્યું છે.

અમારા પ્લેટફોર્મની એક વિશેષતા એ છે કે અમે કોઈપણ Sberbank મોડલ એક્ઝિક્યુશન સિસ્ટમ પર વિઝ્યુઅલ ઈન્ટરફેસમાં વિકસિત કોડ ચલાવી શકીએ છીએ. હવે તેમાંના બે પહેલેથી જ છે: એક હડૂપ પર, બીજો ઓપનશિફ્ટ (ડોકર) પર. અમે ત્યાં અટકતા નથી અને ઑન-પ્રિમાઈસ અને ક્લાઉડ સહિત કોઈપણ ઈન્ફ્રાસ્ટ્રક્ચર પર કોડ ચલાવવા માટે એકીકરણ મોડ્યુલ્સ બનાવીએ છીએ. Sberbank ઇકોસિસ્ટમમાં અસરકારક એકીકરણની શક્યતાઓ અંગે, અમે હાલના અમલીકરણ વાતાવરણ સાથે કામને સમર્થન આપવાની પણ યોજના બનાવીએ છીએ. ભવિષ્યમાં, ઉકેલને કોઈપણ સંસ્થાના કોઈપણ લેન્ડસ્કેપમાં લવચીક રીતે "બૉક્સની બહાર" સંકલિત કરી શકાય છે.

જેમણે ક્યારેય એવા સોલ્યુશનને ટેકો આપવાનો પ્રયાસ કર્યો છે જે PROM માં Hadoop પર Python ચલાવે છે તેઓ જાણે છે કે દરેક ડેટાનોડને Python વપરાશકર્તા પર્યાવરણ તૈયાર કરવા અને પહોંચાડવા માટે તે પૂરતું નથી. મશીન લર્નિંગ માટે મોટી સંખ્યામાં C/C++ લાઇબ્રેરીઓ કે જે પાયથોન મોડ્યુલોનો ઉપયોગ કરે છે તે તમને આરામ કરવા દેશે નહીં. અમે નવી લાઇબ્રેરીઓ અથવા સર્વર્સ ઉમેરતી વખતે પેકેજોને અપડેટ કરવાનું યાદ રાખવું જોઈએ, જ્યારે પહેલાથી અમલમાં આવેલ મોડલ કોડ સાથે પછાત સુસંગતતા જાળવી રાખીએ.

આ કેવી રીતે કરવું તે માટે ઘણા અભિગમો છે. ઉદાહરણ તરીકે, ઘણી વારંવાર ઉપયોગમાં લેવાતી લાઇબ્રેરીઓ અગાઉથી તૈયાર કરો અને તેને PROM માં અમલમાં મૂકો. Cloudera ના Hadoop વિતરણમાં, તેઓ સામાન્ય રીતે ઉપયોગ કરે છે પાર્સલ. હડુપમાં પણ હવે દોડવું શક્ય છે ગોદી- કન્ટેનર. કેટલાક સરળ કિસ્સાઓમાં પેકેજ સાથે કોડ વિતરિત કરવાનું શક્ય છે python.eggs.

બેંક તૃતીય-પક્ષ કોડ ચલાવવાની સુરક્ષાને ખૂબ જ ગંભીરતાથી લે છે, તેથી અમે Linux કર્નલની નવી સુવિધાઓનો મહત્તમ ઉપયોગ કરીએ છીએ, જ્યાં પ્રક્રિયા એક અલગ વાતાવરણમાં ચાલી રહી છે. Linux નેમસ્પેસ, તમે મર્યાદિત કરી શકો છો, ઉદાહરણ તરીકે, નેટવર્ક અને સ્થાનિક ડિસ્કની ઍક્સેસ, જે દૂષિત કોડની ક્ષમતાઓને નોંધપાત્ર રીતે ઘટાડે છે. દરેક વિભાગના ડેટા વિસ્તારો સુરક્ષિત છે અને ફક્ત આ ડેટાના માલિકો માટે જ ઍક્સેસિબલ છે. પ્લેટફોર્મ એ સુનિશ્ચિત કરે છે કે એક વિસ્તારનો ડેટા બીજા વિસ્તારમાં માત્ર ડેટા પબ્લિશિંગ પ્રક્રિયા દ્વારા જ પહોંચી શકે છે જેમાં સ્ત્રોતો સુધી પહોંચથી લઈને લક્ષ્ય સ્ટોરફ્રન્ટમાં ડેટાના ઉતરાણ સુધીના તમામ તબક્કે નિયંત્રણ હોય છે.

આ વર્ષે અમે Hadoop પર Python/R/Java માં લખેલા મોડલ્સ લોન્ચ કરવાના MVPને પૂર્ણ કરવાની યોજના બનાવીએ છીએ. Hadoop પર કોઈપણ વૈવિધ્યપૂર્ણ વાતાવરણ કેવી રીતે ચલાવવું તે શીખવાનું અમે અમારી જાતને મહત્વાકાંક્ષી કાર્ય સેટ કર્યું છે, જેથી અમારા પ્લેટફોર્મના વપરાશકર્તાઓને કોઈપણ રીતે મર્યાદિત ન કરી શકાય.

વધુમાં, જેમ કે તે બહાર આવ્યું છે, ઘણા DS નિષ્ણાતો ગણિત અને આંકડાશાસ્ત્રમાં ઉત્તમ છે, શાનદાર મોડેલો બનાવે છે, પરંતુ મોટા ડેટા ટ્રાન્સફોર્મેશનમાં ખૂબ વાકેફ નથી, અને તેમને તાલીમના નમૂનાઓ તૈયાર કરવા માટે અમારા ડેટા એન્જિનિયરોની મદદની જરૂર છે. અમે અમારા સહકાર્યકરોને મદદ કરવાનું નક્કી કર્યું અને Spark એન્જિન પરના મોડલ્સ માટે પ્રમાણભૂત રૂપાંતરણ અને સુવિધાઓ તૈયાર કરવા માટે અનુકૂળ મોડ્યુલ બનાવવાનું નક્કી કર્યું. આનાથી તમે મોડલ વિકસાવવામાં વધુ સમય પસાર કરી શકશો અને નવો ડેટાસેટ તૈયાર કરવા માટે ડેટા એન્જિનિયરોની રાહ જોશો નહીં.

અમે વિવિધ ક્ષેત્રોમાં જ્ઞાન ધરાવતા લોકોને રોજગારી આપીએ છીએ: Linux અને DevOps, Hadoop અને Spark, Java અને Spring, Scala અને Akka, OpenShift અને Kubernetes. આગલી વખતે આપણે મોડેલ લાઇબ્રેરી વિશે વાત કરીશું, મોડેલ કંપનીમાં જીવન ચક્રમાંથી કેવી રીતે પસાર થાય છે, માન્યતા અને અમલીકરણ કેવી રીતે થાય છે.

સોર્સ: www.habr.com