Mail.ru મેઇલમાં મશીન લર્નિંગનું સંચાલન

હાઇલોડ++ અને ડેટાફેસ્ટ મિન્સ્ક 2019 પરના મારા ભાષણો પર આધારિત.

આજે ઘણા લોકો માટે, મેઇલ એ ઑનલાઇન જીવનનો અભિન્ન ભાગ છે. તેની મદદથી, અમે વ્યવસાયિક પત્રવ્યવહાર કરીએ છીએ, નાણાકીય બાબતો, હોટેલ બુકિંગ, ઓર્ડર આપવા અને ઘણું બધું સંબંધિત તમામ પ્રકારની મહત્વપૂર્ણ માહિતી સંગ્રહિત કરીએ છીએ. 2018ના મધ્યમાં, અમે મેઇલ ડેવલપમેન્ટ માટે પ્રોડક્ટ વ્યૂહરચના ઘડી હતી. આધુનિક મેઇલ કેવો હોવો જોઈએ?

મેલ હોવો જોઈએ સ્માર્ટ, એટલે કે, વપરાશકર્તાઓને માહિતીના વધતા જથ્થામાં નેવિગેટ કરવામાં મદદ કરે છે: ફિલ્ટર કરો, માળખું કરો અને તેને સૌથી અનુકૂળ રીતે પ્રદાન કરો. તેણી હોવી જ જોઈએ ઉપયોગી, તમને તમારા મેઇલબોક્સમાં જ વિવિધ કાર્યોને હલ કરવાની મંજૂરી આપે છે, ઉદાહરણ તરીકે, દંડ ચૂકવો (એક કાર્ય જે, કમનસીબે, હું ઉપયોગ કરું છું). અને તે જ સમયે, અલબત્ત, મેલે માહિતી સુરક્ષા પ્રદાન કરવી જોઈએ, સ્પામને કાપી નાખવું અને હેકિંગ સામે રક્ષણ આપવું જોઈએ, એટલે કે, સલામત.

આ ક્ષેત્રો સંખ્યાબંધ મુખ્ય સમસ્યાઓને વ્યાખ્યાયિત કરે છે, જેમાંથી ઘણી મશીન લર્નિંગનો ઉપયોગ કરીને અસરકારક રીતે ઉકેલી શકાય છે. અહીં વ્યૂહરચનાના ભાગ રૂપે વિકસિત પહેલેથી અસ્તિત્વમાં છે તેનાં ઉદાહરણો છે - દરેક દિશા માટે એક.

• સ્માર્ટ જવાબ. મેઇલમાં સ્માર્ટ રિપ્લાય ફીચર છે. ન્યુરલ નેટવર્ક પત્રના ટેક્સ્ટનું વિશ્લેષણ કરે છે, તેનો અર્થ અને હેતુ સમજે છે અને પરિણામે ત્રણ સૌથી યોગ્ય પ્રતિભાવ વિકલ્પો પ્રદાન કરે છે: હકારાત્મક, નકારાત્મક અને તટસ્થ. આ પત્રોનો જવાબ આપતી વખતે સમયને નોંધપાત્ર રીતે બચાવવામાં મદદ કરે છે, અને ઘણીવાર બિન-માનક અને રમુજી રીતે જવાબ આપે છે.
• ઇમેઇલ્સનું જૂથ બનાવવુંઓનલાઈન સ્ટોર્સમાં ઓર્ડર સંબંધિત. અમે ઘણીવાર ઓનલાઈન ખરીદી કરીએ છીએ, અને નિયમ પ્રમાણે, સ્ટોર દરેક ઓર્ડર માટે અનેક ઈમેઈલ મોકલી શકે છે. ઉદાહરણ તરીકે, AliExpress, સૌથી મોટી સેવામાંથી, એક ઓર્ડર માટે ઘણા બધા પત્રો આવે છે, અને અમે ગણતરી કરી છે કે ટર્મિનલ કેસમાં તેમની સંખ્યા 29 સુધી પહોંચી શકે છે. તેથી, નેમ્ડ એન્ટિટી રેકગ્નિશન મોડલનો ઉપયોગ કરીને, અમે ઓર્ડર નંબર કાઢીએ છીએ. અને ટેક્સ્ટમાંથી અન્ય માહિતી અને બધા અક્ષરોને એક થ્રેડમાં જૂથ કરો. અમે ઓર્ડર વિશેની મૂળભૂત માહિતી એક અલગ બોક્સમાં પણ પ્રદર્શિત કરીએ છીએ, જે આ પ્રકારના ઈમેલ સાથે કામ કરવાનું સરળ બનાવે છે.

  

• ફિશિંગ વિરોધી. ફિશીંગ એ ખાસ કરીને ખતરનાક કપટપૂર્ણ પ્રકારનો ઈમેલ છે, જેની મદદથી હુમલાખોરો નાણાકીય માહિતી (વપરાશકર્તાના બેંક કાર્ડ સહિત) અને લોગિન મેળવવાનો પ્રયાસ કરે છે. આવા પત્રો સેવા દ્વારા મોકલવામાં આવેલા વાસ્તવિક અક્ષરોની નકલ કરે છે, જેમાં દૃષ્ટિની પણ સમાવેશ થાય છે. તેથી, કમ્પ્યુટર વિઝનની મદદથી, અમે લોગો અને મોટી કંપનીઓના પત્રોની ડિઝાઇન શૈલીને ઓળખીએ છીએ (ઉદાહરણ તરીકે, Mail.ru, Sber, Alfa) અને આને અમારા સ્પામ અને ફિશિંગ વર્ગીકરણમાં ટેક્સ્ટ અને અન્ય સુવિધાઓ સાથે ધ્યાનમાં લઈએ છીએ. .

મશીન લર્નિંગ

સામાન્ય રીતે ઇમેઇલમાં મશીન લર્નિંગ વિશે થોડું. મેઇલ એ અત્યંત લોડ થયેલ સિસ્ટમ છે: 1,5 મિલિયન DAU વપરાશકર્તાઓ માટે દરરોજ સરેરાશ 30 બિલિયન પત્રો અમારા સર્વરમાંથી પસાર થાય છે. લગભગ 30 મશીન લર્નિંગ સિસ્ટમ્સ તમામ જરૂરી કાર્યો અને સુવિધાઓને સપોર્ટ કરે છે.

દરેક અક્ષર સમગ્ર વર્ગીકરણ પાઇપલાઇનમાંથી પસાર થાય છે. પહેલા અમે સ્પામ કાપી નાખીએ છીએ અને સારા ઈમેલ છોડીએ છીએ. વપરાશકર્તાઓ ઘણીવાર એન્ટિસ્પામના કાર્યની નોંધ લેતા નથી, કારણ કે 95-99% સ્પામ યોગ્ય ફોલ્ડરમાં પણ સમાપ્ત થતા નથી. સ્પામ ઓળખ એ અમારી સિસ્ટમનો એક ખૂબ જ મહત્વપૂર્ણ ભાગ છે, અને સૌથી મુશ્કેલ, કારણ કે એન્ટિ-સ્પામના ક્ષેત્રમાં સંરક્ષણ અને હુમલો પ્રણાલીઓ વચ્ચે સતત અનુકૂલન છે, જે અમારી ટીમ માટે સતત એન્જિનિયરિંગ પડકાર પ્રદાન કરે છે.

આગળ, અમે લોકો અને રોબોટ્સના અક્ષરોને અલગ કરીએ છીએ. લોકોના ઇમેઇલ સૌથી મહત્વપૂર્ણ છે, તેથી અમે તેમના માટે સ્માર્ટ જવાબ જેવી સુવિધાઓ પ્રદાન કરીએ છીએ. રોબોટ્સના પત્રોને બે ભાગોમાં વહેંચવામાં આવ્યા છે: વ્યવહારિક - આ સેવાઓના મહત્વપૂર્ણ પત્રો છે, ઉદાહરણ તરીકે, ખરીદીઓ અથવા હોટેલ આરક્ષણોની પુષ્ટિ, નાણાકીય અને માહિતીપ્રદ - આ વ્યવસાયિક જાહેરાતો, ડિસ્કાઉન્ટ છે.

અમે માનીએ છીએ કે વ્યવહારિક ઇમેઇલ્સ વ્યક્તિગત પત્રવ્યવહાર માટે સમાન મહત્વ ધરાવે છે. તેઓ હાથમાં હોવા જોઈએ, કારણ કે અમને વારંવાર ઓર્ડર અથવા એર ટિકિટ આરક્ષણ વિશે ઝડપથી માહિતી શોધવાની જરૂર પડે છે, અને અમે આ પત્રો શોધવામાં સમય પસાર કરીએ છીએ. તેથી, સગવડ માટે, અમે તેમને આપમેળે છ મુખ્ય શ્રેણીઓમાં વિભાજિત કરીએ છીએ: મુસાફરી, ઓર્ડર, નાણાં, ટિકિટ, નોંધણી અને છેવટે, દંડ.

માહિતી પત્રો એ સૌથી મોટું અને કદાચ ઓછું મહત્વનું જૂથ છે, જેને તાત્કાલિક પ્રતિસાદની જરૂર નથી, કારણ કે જો વપરાશકર્તા આવા પત્ર વાંચશે નહીં તો તેના જીવનમાં નોંધપાત્ર કંઈપણ બદલાશે નહીં. અમારા નવા ઇન્ટરફેસમાં, અમે તેને બે થ્રેડોમાં સંકુચિત કરીએ છીએ: સામાજિક નેટવર્ક્સ અને ન્યૂઝલેટર્સ, આમ ઇનબોક્સને દૃષ્ટિની રીતે સાફ કરે છે અને ફક્ત મહત્વપૂર્ણ સંદેશાઓ જ દૃશ્યમાન રહે છે.

શોષણ

મોટી સંખ્યામાં સિસ્ટમો ઓપરેશનમાં ઘણી મુશ્કેલીઓનું કારણ બને છે. છેવટે, મોડલ્સ સમય જતાં, કોઈપણ સૉફ્ટવેરની જેમ અધોગતિ કરે છે: સુવિધાઓ તૂટી જાય છે, મશીનો નિષ્ફળ જાય છે, કોડ કુટિલ બને છે. વધુમાં, ડેટા સતત બદલાતો રહે છે: નવા ઉમેરવામાં આવે છે, વપરાશકર્તાની વર્તણૂકની પેટર્ન રૂપાંતરિત થાય છે, વગેરે, તેથી યોગ્ય સમર્થન વિનાનું મોડેલ સમય જતાં વધુ ખરાબ અને ખરાબ કામ કરશે.

આપણે એ ન ભૂલવું જોઈએ કે ઊંડું મશીન લર્નિંગ વપરાશકર્તાઓના જીવનમાં પ્રવેશ કરે છે, તેઓ ઇકોસિસ્ટમ પર જેટલી વધારે અસર કરે છે, અને પરિણામે, બજારના ખેલાડીઓને વધુ નાણાકીય નુકસાન અથવા નફો મળી શકે છે. તેથી, ક્ષેત્રોની વધતી જતી સંખ્યામાં, ખેલાડીઓ એમએલ એલ્ગોરિધમ્સના કાર્યને અનુકૂલિત કરી રહ્યા છે (ઉત્તમ ઉદાહરણો જાહેરાત, શોધ અને પહેલેથી જ ઉલ્લેખિત એન્ટિસ્પામ છે).

ઉપરાંત, મશીન લર્નિંગ કાર્યોની એક ખાસિયત છે: સિસ્ટમમાં કોઈપણ, નાનો પણ, ફેરફાર મોડલ સાથે ઘણું કામ જનરેટ કરી શકે છે: ડેટા સાથે કામ કરવું, ફરીથી તાલીમ આપવી, જમાવટ, જેમાં અઠવાડિયા કે મહિનાઓ લાગી શકે છે. તેથી, તમારા મોડેલો જે વાતાવરણમાં ઝડપથી કાર્ય કરે છે તે બદલાય છે, તેને જાળવવા માટે વધુ પ્રયત્નોની જરૂર પડે છે. એક ટીમ ઘણી બધી પ્રણાલીઓ બનાવી શકે છે અને તેના વિશે ખુશ થઈ શકે છે, પરંતુ પછી કંઈપણ નવું કરવાની તક વિના, તેના જાળવણી માટે તેના લગભગ તમામ સંસાધનો ખર્ચ કરે છે. અમે એકવાર એન્ટિસ્પામ ટીમમાં આવી પરિસ્થિતિનો સામનો કર્યો. અને તેઓએ સ્પષ્ટ નિષ્કર્ષ કાઢ્યો કે સપોર્ટને સ્વચાલિત કરવાની જરૂર છે.

ઓટોમેશન

શું સ્વચાલિત થઈ શકે છે? લગભગ બધું, વાસ્તવમાં. મેં ચાર ક્ષેત્રોને ઓળખ્યા છે જે મશીન લર્નિંગ ઇન્ફ્રાસ્ટ્રક્ચરને વ્યાખ્યાયિત કરે છે:

• માહિતી સંગ્રહ;
• વધારાની તાલીમ;
• જમાવટ
• પરીક્ષણ અને દેખરેખ.

જો પર્યાવરણ અસ્થિર અને સતત બદલાતું રહે છે, તો મોડલની આસપાસનું સમગ્ર ઈન્ફ્રાસ્ટ્રક્ચર મોડલ કરતાં ઘણું મહત્ત્વનું હોવાનું બહાર આવે છે. તે એક સારું જૂનું રેખીય વર્ગીકૃત હોઈ શકે છે, પરંતુ જો તમે તેને યોગ્ય સુવિધાઓ ફીડ કરો છો અને વપરાશકર્તાઓ તરફથી સારો પ્રતિસાદ મેળવો છો, તો તે તમામ ઘંટ અને સિસોટી સાથેના સ્ટેટ-ઓફ-ધ-આર્ટ મોડલ્સ કરતાં વધુ સારું કામ કરશે.

પ્રતિભાવક લુપ

આ ચક્ર ડેટા સંગ્રહ, વધારાની તાલીમ અને જમાવટને જોડે છે - હકીકતમાં, સમગ્ર મોડલ અપડેટ ચક્ર. શા માટે તે મહત્વનું છે? મેલમાં નોંધણી શેડ્યૂલ જુઓ:

મશીન લર્નિંગ ડેવલપરે એન્ટી-બોટ મોડલ અમલમાં મૂક્યું છે જે બૉટોને ઈમેલમાં નોંધણી કરતા અટકાવે છે. આલેખ એવા મૂલ્ય સુધી જાય છે જ્યાં માત્ર વાસ્તવિક વપરાશકર્તાઓ જ રહે છે. બધું મહાન છે! પરંતુ ચાર કલાક પસાર થાય છે, બૉટો તેમની સ્ક્રિપ્ટમાં ફેરફાર કરે છે અને બધું સામાન્ય થઈ જાય છે. આ અમલીકરણમાં, વિકાસકર્તાએ ફીચર્સ ઉમેરવા અને મોડલને ફરીથી પ્રશિક્ષિત કરવામાં એક મહિનો ગાળ્યો, પરંતુ સ્પામર ચાર કલાકમાં અનુકૂલન કરવામાં સક્ષમ હતો.

આટલા ઉત્તેજક રીતે પીડાદાયક ન બનવા માટે અને પછીથી બધું ફરીથી કરવું ન પડે તે માટે, આપણે શરૂઆતમાં પ્રતિસાદ લૂપ કેવો દેખાશે અને જો વાતાવરણ બદલાશે તો આપણે શું કરીશું તે વિશે વિચારવું જોઈએ. ચાલો ડેટા એકત્રિત કરવા સાથે પ્રારંભ કરીએ - આ આપણા અલ્ગોરિધમ્સ માટેનું બળતણ છે.

માહિતી સંગ્રહ

તે સ્પષ્ટ છે કે આધુનિક ન્યુરલ નેટવર્ક્સ માટે, વધુ ડેટા, વધુ સારું, અને તે હકીકતમાં, ઉત્પાદનના વપરાશકર્તાઓ દ્વારા જનરેટ કરવામાં આવે છે. વપરાશકર્તાઓ ડેટાને ચિહ્નિત કરીને અમને મદદ કરી શકે છે, પરંતુ અમે તેનો દુરુપયોગ કરી શકતા નથી, કારણ કે અમુક સમયે વપરાશકર્તાઓ તમારા મોડલ્સને પૂર્ણ કરીને થાકી જશે અને અન્ય ઉત્પાદન પર સ્વિચ કરશે.

સૌથી સામાન્ય ભૂલોમાંની એક (અહીં હું એન્ડ્રુ એનજીનો સંદર્ભ આપું છું) ટેસ્ટ ડેટાસેટ પરના મેટ્રિક્સ પર ખૂબ ધ્યાન કેન્દ્રિત કરે છે, અને વપરાશકર્તાના પ્રતિસાદ પર નહીં, જે વાસ્તવમાં કામની ગુણવત્તાનું મુખ્ય માપદંડ છે, કારણ કે અમે બનાવીએ છીએ વપરાશકર્તા માટે ઉત્પાદન. જો વપરાશકર્તા સમજી શકતો નથી અથવા મોડેલનું કામ ગમતું નથી, તો બધું બરબાદ થઈ ગયું છે.

તેથી, વપરાશકર્તા હંમેશા મત આપવા સક્ષમ હોવા જોઈએ અને પ્રતિસાદ માટે એક સાધન આપવું જોઈએ. જો અમને લાગે કે મેઇલબોક્સમાં ફાયનાન્સ સંબંધિત પત્ર આવ્યો છે, તો અમારે તેને "ફાઇનાન્સ" ચિહ્નિત કરવાની જરૂર છે અને એક બટન દોરવાની જરૂર છે જેને વપરાશકર્તા ક્લિક કરી શકે અને કહી શકે કે આ ફાઇનાન્સ નથી.

પ્રતિસાદ ગુણવત્તા

ચાલો યુઝર ફીડબેકની ગુણવત્તા વિશે વાત કરીએ. પ્રથમ, તમે અને વપરાશકર્તા એક ખ્યાલમાં વિવિધ અર્થો મૂકી શકો છો. ઉદાહરણ તરીકે, તમે અને તમારા પ્રોડક્ટ મેનેજરને લાગે છે કે "ફાઇનાન્સ" નો અર્થ બેંકના પત્રો છે, અને વપરાશકર્તા વિચારે છે કે તેના પેન્શન વિશે દાદીમાનો પત્ર પણ ફાઇનાન્સનો સંદર્ભ આપે છે. બીજું, એવા વપરાશકર્તાઓ છે કે જેઓ કોઈ પણ તર્ક વિના બટન દબાવવાનું મન વગર પસંદ કરે છે. ત્રીજે સ્થાને, વપરાશકર્તા તેના નિષ્કર્ષમાં ઊંડે ભૂલ કરી શકે છે. અમારી પ્રેક્ટિસમાંથી એક આકર્ષક ઉદાહરણ વર્ગીકૃત અમલીકરણ છે નાઇજિરિયન સ્પામ, એક ખૂબ જ રમુજી પ્રકારનો સ્પામ જ્યાં વપરાશકર્તાને આફ્રિકામાં અચાનક મળી આવેલા દૂરના સંબંધી પાસેથી કેટલાક મિલિયન ડોલર લેવાનું કહેવામાં આવે છે. આ ક્લાસિફાયરનો અમલ કર્યા પછી, અમે આ ઈમેઈલ પરની "સ્પામ નથી" ક્લિક્સ તપાસી, અને તે બહાર આવ્યું કે તેમાંથી 80% રસદાર નાઈજિરિયન સ્પામ હતા, જે સૂચવે છે કે વપરાશકર્તાઓ અત્યંત ભોળા હોઈ શકે છે.

અને ચાલો ભૂલશો નહીં કે બટનો ફક્ત લોકો દ્વારા જ નહીં, પરંતુ બ્રાઉઝર હોવાનો ડોળ કરતા તમામ પ્રકારના બૉટો દ્વારા પણ ક્લિક કરી શકાય છે. તેથી કાચો પ્રતિસાદ શીખવા માટે સારો નથી. તમે આ માહિતી સાથે શું કરી શકો?

અમે બે અભિગમોનો ઉપયોગ કરીએ છીએ:

• લિંક કરેલ ML તરફથી પ્રતિસાદ. ઉદાહરણ તરીકે, અમારી પાસે ઓનલાઈન એન્ટી-બોટ સિસ્ટમ છે, જે મેં ઉલ્લેખ કર્યો છે તેમ, મર્યાદિત સંખ્યામાં સંકેતોના આધારે ઝડપી નિર્ણય લે છે. અને બીજી, ધીમી સિસ્ટમ છે જે હકીકત પછી કામ કરે છે. તેમાં વપરાશકર્તા, તેના વર્તન વગેરે વિશે વધુ ડેટા છે. પરિણામે, સૌથી વધુ જાણકાર નિર્ણય લેવામાં આવે છે; તદનુસાર, તેમાં ઉચ્ચ ચોકસાઈ અને સંપૂર્ણતા છે. તમે આ સિસ્ટમોના સંચાલનમાં તફાવતને તાલીમ ડેટા તરીકે પ્રથમ એક પર નિર્દેશિત કરી શકો છો. આમ, એક સરળ સિસ્ટમ હંમેશા વધુ જટિલની કામગીરીનો સંપર્ક કરવાનો પ્રયાસ કરશે.
• વર્ગીકરણ પર ક્લિક કરો. તમે દરેક વપરાશકર્તા ક્લિકને ખાલી વર્ગીકૃત કરી શકો છો, તેની માન્યતા અને ઉપયોગિતાનું મૂલ્યાંકન કરી શકો છો. અમે યુઝર એટ્રીબ્યુટ્સ, તેનો ઈતિહાસ, સેન્ડર એટ્રીબ્યુટ્સ, ટેક્સ્ટ પોતે અને ક્લાસિફાયરના પરિણામનો ઉપયોગ કરીને એન્ટિસ્પામ મેલમાં આ કરીએ છીએ. પરિણામે, અમને એક સ્વચાલિત સિસ્ટમ મળે છે જે વપરાશકર્તા પ્રતિસાદને માન્ય કરે છે. અને કારણ કે તેને ઘણી ઓછી વાર ફરીથી પ્રશિક્ષિત કરવાની જરૂર છે, તેનું કાર્ય અન્ય તમામ સિસ્ટમો માટે આધાર બની શકે છે. આ મોડેલમાં મુખ્ય પ્રાથમિકતા ચોકસાઇ છે, કારણ કે અચોક્કસ ડેટા પર મોડેલને તાલીમ આપવી એ પરિણામોથી ભરપૂર છે.

જ્યારે અમે ડેટા સાફ કરી રહ્યા છીએ અને અમારી ML સિસ્ટમ્સને વધુ તાલીમ આપી રહ્યા છીએ, ત્યારે આપણે વપરાશકર્તાઓ વિશે ભૂલવું જોઈએ નહીં, કારણ કે અમારા માટે, ગ્રાફ પરની હજારો, લાખો ભૂલો આંકડા છે, અને વપરાશકર્તા માટે, દરેક ભૂલ એક દુર્ઘટના છે. હકીકત એ છે કે વપરાશકર્તાએ કોઈક રીતે ઉત્પાદનમાં તમારી ભૂલ સાથે જીવવું આવશ્યક છે, પ્રતિસાદ પ્રાપ્ત કર્યા પછી, તે અપેક્ષા રાખે છે કે ભવિષ્યમાં સમાન પરિસ્થિતિ દૂર કરવામાં આવશે. તેથી, વપરાશકર્તાઓને માત્ર મત આપવાની તક જ નહીં, પરંતુ ML સિસ્ટમની વર્તણૂકને સુધારવા માટે પણ હંમેશા યોગ્ય છે, ઉદાહરણ તરીકે, દરેક પ્રતિસાદ ક્લિક માટે વ્યક્તિગત હ્યુરિસ્ટિક્સ બનાવવું; મેઇલના કિસ્સામાં, આ ફિલ્ટર કરવાની ક્ષમતા હોઈ શકે છે. આ વપરાશકર્તા માટે પ્રેષક અને શીર્ષક દ્વારા આવા પત્રો.

તમારે કેટલાક અહેવાલો અથવા અર્ધ-સ્વચાલિત અથવા મેન્યુઅલ મોડમાં સપોર્ટ કરવા માટેની વિનંતીઓના આધારે મોડેલ બનાવવાની પણ જરૂર છે જેથી કરીને અન્ય વપરાશકર્તાઓ સમાન સમસ્યાઓથી પીડાય નહીં.

શીખવા માટે હ્યુરિસ્ટિક્સ

આ હ્યુરિસ્ટિક્સ અને ક્રેચ સાથે બે સમસ્યાઓ છે. પહેલું એ છે કે ક્રૉચની સતત વધતી જતી સંખ્યાને જાળવી રાખવી મુશ્કેલ છે, લાંબા સમય સુધી તેમની ગુણવત્તા અને પ્રદર્શનને છોડી દો. બીજી સમસ્યા એ છે કે ભૂલ વારંવાર થતી નથી, અને મોડેલને વધુ તાલીમ આપવા માટે થોડા ક્લિક્સ પૂરતા નથી. એવું લાગે છે કે જો નીચેનો અભિગમ લાગુ કરવામાં આવે તો આ બે અસંબંધિત અસરો નોંધપાત્ર રીતે તટસ્થ થઈ શકે છે.

1. અમે કામચલાઉ ક્રચ બનાવીએ છીએ.
2. અમે તેમાંથી ડેટાને મોડેલ પર મોકલીએ છીએ, તે પ્રાપ્ત ડેટા સહિત, તે નિયમિતપણે પોતાને અપડેટ કરે છે. અહીં, અલબત્ત, તે મહત્વનું છે કે હ્યુરિસ્ટિક્સ પાસે ઉચ્ચ સચોટતા છે જેથી તાલીમ સેટમાં ડેટાની ગુણવત્તામાં ઘટાડો ન થાય.
3. પછી અમે ક્રચને ટ્રિગર કરવા માટે મોનિટરિંગ સેટ કરીએ છીએ, અને જો થોડા સમય પછી ક્રચ કામ કરતું નથી અને મોડેલ દ્વારા સંપૂર્ણપણે આવરી લેવામાં આવે છે, તો તમે તેને સુરક્ષિત રીતે દૂર કરી શકો છો. હવે આ સમસ્યા ફરીથી થવાની શક્યતા નથી.

તેથી ક્રેચની ફોજ ખૂબ જ ઉપયોગી છે. મુખ્ય બાબત એ છે કે તેમની સેવા તાત્કાલિક છે અને કાયમી નથી.

વધારાની તાલીમ

પુનઃપ્રશિક્ષણ એ વપરાશકર્તાઓ અથવા અન્ય સિસ્ટમો તરફથી પ્રતિસાદના પરિણામે પ્રાપ્ત થયેલ નવો ડેટા ઉમેરવાની અને તેના પર હાલના મોડેલને તાલીમ આપવાની પ્રક્રિયા છે. વધારાની તાલીમ સાથે ઘણી સમસ્યાઓ હોઈ શકે છે:

1. મોડેલ કદાચ વધારાની તાલીમને સમર્થન ન આપે, પરંતુ માત્ર શરૂઆતથી જ શીખે છે.
2. પ્રકૃતિના પુસ્તકમાં ક્યાંય એવું નથી લખ્યું કે વધારાની તાલીમ ચોક્કસપણે ઉત્પાદનમાં કામની ગુણવત્તામાં સુધારો કરશે. ઘણીવાર વિપરીત થાય છે, એટલે કે, માત્ર બગાડ શક્ય છે.
3. ફેરફારો અણધારી હોઈ શકે છે. આ એક સૂક્ષ્મ બિંદુ છે જે આપણે આપણા માટે ઓળખી કાઢ્યું છે. જો A/B પરીક્ષણમાં નવું મોડેલ વર્તમાનની સરખામણીમાં સમાન પરિણામો દર્શાવે છે, તો પણ તેનો અર્થ એ નથી કે તે સમાન રીતે કાર્ય કરશે. તેમનું કાર્ય માત્ર એક ટકામાં ભિન્ન હોઈ શકે છે, જે નવી ભૂલો લાવી શકે છે અથવા પહેલાથી સુધારેલ જૂનીને પરત કરી શકે છે. અમે અને વપરાશકર્તાઓ બંને પહેલેથી જ જાણીએ છીએ કે વર્તમાન ભૂલો સાથે કેવી રીતે જીવવું, અને જ્યારે મોટી સંખ્યામાં નવી ભૂલો ઊભી થાય, ત્યારે વપરાશકર્તા શું થઈ રહ્યું છે તે પણ સમજી શકશે નહીં, કારણ કે તે અનુમાનિત વર્તનની અપેક્ષા રાખે છે.

તેથી, વધારાની તાલીમમાં સૌથી મહત્વની બાબત એ સુનિશ્ચિત કરવાની છે કે મોડેલ સુધારેલ છે, અથવા ઓછામાં ઓછું બગડ્યું નથી.

જ્યારે આપણે વધારાની તાલીમ વિશે વાત કરીએ છીએ ત્યારે પ્રથમ વસ્તુ જે ધ્યાનમાં આવે છે તે છે સક્રિય શિક્ષણ અભિગમ. આનો મતલબ શું થયો? ઉદાહરણ તરીકે, ક્લાસિફાયર નિર્ધારિત કરે છે કે ઇમેઇલ ફાઇનાન્સ સાથે સંબંધિત છે કે કેમ, અને તેની નિર્ણય સીમાની આસપાસ અમે લેબલ કરેલા ઉદાહરણોનો એક નમૂનો ઉમેરીએ છીએ. આ સારી રીતે કાર્ય કરે છે, ઉદાહરણ તરીકે, જાહેરાતમાં, જ્યાં ઘણો પ્રતિસાદ છે અને તમે મોડેલને ઑનલાઇન તાલીમ આપી શકો છો. અને જો ત્યાં થોડો પ્રતિસાદ છે, તો પછી અમને ઉત્પાદન ડેટા વિતરણની તુલનામાં અત્યંત પક્ષપાતી નમૂના મળે છે, જેના આધારે ઓપરેશન દરમિયાન મોડેલના વર્તનનું મૂલ્યાંકન કરવું અશક્ય છે.

વાસ્તવમાં, અમારો ધ્યેય જૂના નમૂનાઓ, પહેલેથી જ જાણીતા મોડલને સાચવવાનો અને નવા મેળવવાનો છે. સાતત્ય અહીં મહત્વપૂર્ણ છે. મોડલ, જેને અમે વારંવાર રોલ આઉટ કરવા માટે ઘણી પીડા સહન કરી છે, તે પહેલેથી જ કામ કરી રહ્યું છે, જેથી અમે તેના પ્રદર્શન પર ધ્યાન કેન્દ્રિત કરી શકીએ.

મેઇલમાં વિવિધ મોડેલોનો ઉપયોગ થાય છે: વૃક્ષો, રેખીય, ન્યુરલ નેટવર્ક. દરેક માટે અમે અમારી પોતાની વધારાની તાલીમ અલ્ગોરિધમ બનાવીએ છીએ. વધારાની તાલીમની પ્રક્રિયામાં, અમે ફક્ત નવો ડેટા જ નહીં, પરંતુ ઘણી વાર નવી સુવિધાઓ પણ પ્રાપ્ત કરીએ છીએ, જેને અમે નીચેના તમામ અલ્ગોરિધમ્સમાં ધ્યાનમાં લઈશું.

રેખીય મોડેલો

ચાલો કહીએ કે અમારી પાસે લોજિસ્ટિક રીગ્રેશન છે. અમે નીચેના ઘટકોમાંથી નુકશાન મોડલ બનાવીએ છીએ:

• નવા ડેટા પર લોગલોસ;
• અમે નવી સુવિધાઓના વજનને નિયમિત કરીએ છીએ (અમે જૂનાને સ્પર્શ કરતા નથી);
• અમે જૂના દાખલાઓને સાચવવા માટે જૂના ડેટામાંથી પણ શીખીએ છીએ;
• અને, કદાચ, સૌથી મહત્વની બાબત: અમે હાર્મોનિક રેગ્યુલરાઈઝેશન ઉમેરીએ છીએ, જે બાંયધરી આપે છે કે ધોરણ અનુસાર જૂના મોડલની તુલનામાં વજન વધુ બદલાશે નહીં.

દરેક નુકશાન ઘટકમાં ગુણાંક હોવાથી, અમે ક્રોસ-વેલિડેશન દ્વારા અથવા ઉત્પાદનની જરૂરિયાતોના આધારે અમારા કાર્ય માટે શ્રેષ્ઠ મૂલ્યો પસંદ કરી શકીએ છીએ.

વૃક્ષો

ચાલો નિર્ણય વૃક્ષો તરફ આગળ વધીએ. વૃક્ષોની વધારાની તાલીમ માટે અમે નીચેના અલ્ગોરિધમનું સંકલન કર્યું છે:

1. ઉત્પાદન 100-300 વૃક્ષોનું જંગલ ચલાવે છે, જેને જૂના ડેટા સેટ પર તાલીમ આપવામાં આવે છે.
2. અંતે અમે M = 5 ટુકડાઓ દૂર કરીએ છીએ અને 2M = 10 નવા ઉમેરીએ છીએ, જે સમગ્ર ડેટા સેટ પર પ્રશિક્ષિત છે, પરંતુ નવા ડેટા માટે ઊંચા વજન સાથે, જે કુદરતી રીતે મોડેલમાં વધારાના ફેરફારની ખાતરી આપે છે.

દેખીતી રીતે, સમય જતાં, વૃક્ષોની સંખ્યા મોટા પ્રમાણમાં વધે છે, અને સમયને પહોંચી વળવા માટે તે સમયાંતરે ઘટાડવું જોઈએ. આ કરવા માટે, અમે હવે સર્વવ્યાપક નોલેજ ડિસ્ટિલેશન (KD) નો ઉપયોગ કરીએ છીએ. તેના ઓપરેશનના સિદ્ધાંત વિશે સંક્ષિપ્તમાં.

1. અમારી પાસે વર્તમાન "જટિલ" મોડેલ છે. અમે તેને તાલીમ ડેટા સેટ પર ચલાવીએ છીએ અને આઉટપુટ પર વર્ગ સંભાવના વિતરણ મેળવીએ છીએ.
2. આગળ, અમે લક્ષ્ય ચલ તરીકે વર્ગ વિતરણનો ઉપયોગ કરીને મોડેલના પરિણામોને પુનરાવર્તિત કરવા માટે વિદ્યાર્થી મોડેલ (આ કિસ્સામાં ઓછા વૃક્ષો સાથેનું મોડેલ) તાલીમ આપીએ છીએ.
3. અહીં એ નોંધવું અગત્યનું છે કે અમે કોઈપણ રીતે ડેટા સેટ માર્કઅપનો ઉપયોગ કરતા નથી, અને તેથી અમે મનસ્વી ડેટાનો ઉપયોગ કરી શકીએ છીએ. અલબત્ત, અમે વિદ્યાર્થી મોડેલ માટે તાલીમ નમૂના તરીકે લડાઇ પ્રવાહમાંથી ડેટા નમૂનાનો ઉપયોગ કરીએ છીએ. આમ, તાલીમ સમૂહ અમને મોડેલની ચોકસાઈની ખાતરી કરવા માટે પરવાનગી આપે છે, અને પ્રવાહના નમૂના ઉત્પાદન વિતરણ પર સમાન કામગીરીની બાંયધરી આપે છે, તાલીમ સમૂહના પૂર્વગ્રહને વળતર આપે છે.

આ બે તકનીકોનું સંયોજન (જ્ઞાન નિસ્યંદનનો ઉપયોગ કરીને વૃક્ષો ઉમેરવા અને સમયાંતરે તેમની સંખ્યા ઘટાડવી) નવી પેટર્નની રજૂઆત અને સંપૂર્ણ સાતત્યની ખાતરી કરે છે.

KD ની મદદથી, અમે મોડલ ફીચર્સ પર વિવિધ કામગીરી પણ કરીએ છીએ, જેમ કે ફીચર્સ દૂર કરવા અને ગાબડા પર કામ કરવું. અમારા કિસ્સામાં, અમારી પાસે સંખ્યાબંધ મહત્વપૂર્ણ આંકડાકીય સુવિધાઓ છે (પ્રેષકો દ્વારા, ટેક્સ્ટ હેશ, URL, વગેરે) જે ડેટાબેઝમાં સંગ્રહિત છે, જે નિષ્ફળ થવાનું વલણ ધરાવે છે. મોડેલ, અલબત્ત, ઘટનાઓના આવા વિકાસ માટે તૈયાર નથી, કારણ કે તાલીમ સેટમાં નિષ્ફળતાની પરિસ્થિતિઓ થતી નથી. આવા કિસ્સાઓમાં, અમે KD અને વૃદ્ધિ તકનીકોને જોડીએ છીએ: જ્યારે ડેટાના ભાગ માટે તાલીમ આપીએ છીએ, ત્યારે અમે જરૂરી સુવિધાઓને દૂર અથવા રીસેટ કરીએ છીએ, અને અમે મૂળ લેબલ્સ (વર્તમાન મોડેલના આઉટપુટ) લઈએ છીએ, અને વિદ્યાર્થી મોડેલ આ વિતરણનું પુનરાવર્તન કરવાનું શીખે છે. .

અમે નોંધ્યું છે કે વધુ ગંભીર મોડેલ મેનીપ્યુલેશન થાય છે, થ્રેડ નમૂનાની ટકાવારી જેટલી વધારે છે.

લક્ષણ દૂર કરવા, સૌથી સરળ કામગીરી માટે, પ્રવાહના માત્ર એક નાના ભાગની જરૂર છે, કારણ કે માત્ર થોડા લક્ષણો બદલાય છે, અને વર્તમાન મોડેલને સમાન સેટ પર તાલીમ આપવામાં આવી હતી - તફાવત ન્યૂનતમ છે. મોડેલને સરળ બનાવવા માટે (વૃક્ષોની સંખ્યા ઘણી વખત ઘટાડવી), 50 થી 50 પહેલાથી જ જરૂરી છે. અને મહત્વપૂર્ણ આંકડાકીય લક્ષણોની બાદબાકી માટે જે મોડેલની કામગીરીને ગંભીરપણે અસર કરશે, તેના કાર્યને સરખાવવા માટે હજી વધુ પ્રવાહની જરૂર છે. તમામ પ્રકારના અક્ષરો પર નવું ઓમિશન-રેઝિસ્ટન્ટ મોડલ.

ફાસ્ટટેક્સ્ટ

ચાલો ફાસ્ટટેક્સ્ટ પર આગળ વધીએ. હું તમને યાદ અપાવી દઉં કે શબ્દની રજૂઆત (એમ્બેડિંગ) એ શબ્દના જ એમ્બેડિંગનો સરવાળો અને તેના તમામ અક્ષર N-ગ્રામ, સામાન્ય રીતે ટ્રિગ્રામનો સમાવેશ થાય છે. કારણ કે ત્યાં ઘણા બધા ટ્રિગ્રામ હોઈ શકે છે, બકેટ હેશિંગનો ઉપયોગ થાય છે, એટલે કે, સમગ્ર જગ્યાને ચોક્કસ નિશ્ચિત હેશમેપમાં રૂપાંતરિત કરવી. પરિણામે, વજન મેટ્રિક્સ શબ્દો + ડોલની સંખ્યા દીઠ આંતરિક સ્તરના પરિમાણ સાથે મેળવવામાં આવે છે.

વધારાની તાલીમ સાથે, નવા ચિહ્નો દેખાય છે: શબ્દો અને ટ્રિગ્રામ. Facebook તરફથી પ્રમાણભૂત ફોલો-અપ તાલીમમાં કંઈ નોંધપાત્ર થતું નથી. નવા ડેટા પર ક્રોસ-એન્ટ્રોપી સાથેના જૂના વજનને જ ફરીથી તાલીમ આપવામાં આવે છે. આમ, નવી સુવિધાઓનો ઉપયોગ થતો નથી; અલબત્ત, આ અભિગમમાં ઉત્પાદનમાં મોડેલની અણધારીતા સાથે સંકળાયેલ ઉપરોક્ત તમામ ગેરફાયદા છે. એટલા માટે અમે ફાસ્ટટેક્સ્ટમાં થોડો ફેરફાર કર્યો છે. અમે તમામ નવા વજન (શબ્દો અને ટ્રિગ્રામ્સ) ઉમેરીએ છીએ, ક્રોસ-એન્ટ્રોપી સાથે સમગ્ર મેટ્રિક્સને વિસ્તૃત કરીએ છીએ અને રેખીય મોડેલ સાથે સામ્યતા દ્વારા હાર્મોનિક નિયમિતીકરણ ઉમેરીએ છીએ, જે જૂના વજનમાં નજીવા ફેરફારની ખાતરી આપે છે.

સીએનએન

કન્વોલ્યુશનલ નેટવર્ક્સ થોડી વધુ જટિલ છે. જો છેલ્લા સ્તરો CNN માં પૂર્ણ થાય છે, તો પછી, અલબત્ત, તમે હાર્મોનિક નિયમિતતા લાગુ કરી શકો છો અને સાતત્યની ખાતરી આપી શકો છો. પરંતુ જો સમગ્ર નેટવર્કની વધારાની તાલીમની જરૂર હોય, તો પછી આવા નિયમિતીકરણને હવે તમામ સ્તરો પર લાગુ કરી શકાશે નહીં. જો કે, ટ્રિપ્લેટ લોસ દ્વારા પૂરક એમ્બેડિંગ્સને તાલીમ આપવાનો વિકલ્પ છેમૂળ લેખ).

ટ્રિપલ નુકશાન

ઉદાહરણ તરીકે એન્ટિ-ફિશિંગ કાર્યનો ઉપયોગ કરીને, ચાલો સામાન્ય શબ્દોમાં ટ્રિપ્લેટ લોસ જોઈએ. અમે અમારો લોગો, તેમજ અન્ય કંપનીઓના લોગોના હકારાત્મક અને નકારાત્મક ઉદાહરણો લઈએ છીએ. અમે પ્રથમ વચ્ચેનું અંતર ઘટાડીએ છીએ અને બીજા વચ્ચેનું અંતર મહત્તમ કરીએ છીએ, અમે વર્ગોની વધુ કોમ્પેક્ટનેસ સુનિશ્ચિત કરવા માટે નાના અંતર સાથે આ કરીએ છીએ.

જો આપણે નેટવર્કને વધુ તાલીમ આપીએ, તો આપણી મેટ્રિક સ્પેસ સંપૂર્ણપણે બદલાઈ જાય છે, અને તે પહેલાની સાથે સંપૂર્ણપણે અસંગત બની જાય છે. વેક્ટરનો ઉપયોગ કરતી સમસ્યાઓમાં આ એક ગંભીર સમસ્યા છે. આ સમસ્યાને દૂર કરવા માટે, અમે તાલીમ દરમિયાન જૂના એમ્બેડિંગ્સમાં ભળીશું.

અમે તાલીમ સેટમાં નવો ડેટા ઉમેર્યો છે અને મોડેલના બીજા સંસ્કરણને શરૂઆતથી તાલીમ આપી રહ્યા છીએ. બીજા તબક્કે, અમે અમારા નેટવર્કને વધુ તાલીમ આપીએ છીએ (ફાઇનટ્યુનિંગ): પ્રથમ છેલ્લું સ્તર પૂર્ણ થાય છે, અને પછી સમગ્ર નેટવર્ક અનફ્રોઝન થાય છે. ટ્રિપ્લેટ્સ કંપોઝ કરવાની પ્રક્રિયામાં, અમે પ્રશિક્ષિત મોડેલનો ઉપયોગ કરીને એમ્બેડિંગ્સના માત્ર એક ભાગની ગણતરી કરીએ છીએ, બાકીના - જૂનાનો ઉપયોગ કરીને. આમ, વધારાની તાલીમની પ્રક્રિયામાં, અમે મેટ્રિક સ્પેસ v1 અને v2 ની સુસંગતતા સુનિશ્ચિત કરીએ છીએ. હાર્મોનિક રેગ્યુલરાઇઝેશનનું અનોખું સંસ્કરણ.

સમગ્ર આર્કિટેક્ચર

જો આપણે એન્ટિસ્પામનો ઉપયોગ કરીને સમગ્ર સિસ્ટમને ઉદાહરણ તરીકે ધ્યાનમાં લઈએ, તો પછી મોડેલો અલગ નથી, પરંતુ એકબીજાની અંદર માળખામાં છે. અમે ચિત્રો, ટેક્સ્ટ અને અન્ય સુવિધાઓ લઈએ છીએ, CNN અને ફાસ્ટ ટેક્સ્ટનો ઉપયોગ કરીને અમને એમ્બેડિંગ્સ મળે છે. આગળ, એમ્બેડિંગ્સની ટોચ પર વર્ગીકરણ લાગુ કરવામાં આવે છે, જે વિવિધ વર્ગો (અક્ષરોના પ્રકારો, સ્પામ, લોગોની હાજરી) માટે સ્કોર્સ પ્રદાન કરે છે. આખરી નિર્ણય લેવાના સંકેતો અને ચિહ્નો પહેલેથી જ વૃક્ષોના જંગલમાં પ્રવેશી રહ્યા છે. આ યોજનામાં વ્યક્તિગત વર્ગીકૃત કરનારાઓ સિસ્ટમના પરિણામોનું વધુ સારી રીતે અર્થઘટન કરવાનું શક્ય બનાવે છે અને સમસ્યાઓના કિસ્સામાં ઘટકોને વધુ ચોક્કસ રીતે તાલીમ આપવાનું શક્ય બનાવે છે, તમામ ડેટાને કાચા સ્વરૂપમાં નિર્ણય વૃક્ષોમાં ખવડાવવાને બદલે.

પરિણામે, અમે દરેક સ્તરે સાતત્યની ખાતરી આપીએ છીએ. CNN અને ફાસ્ટ ટેક્સ્ટમાં નીચેના સ્તરે અમે હાર્મોનિક રેગ્યુલરાઇઝેશનનો ઉપયોગ કરીએ છીએ, મધ્યમાં ક્લાસિફાયર માટે અમે સંભવિત વિતરણની સુસંગતતા માટે હાર્મોનિક રેગ્યુલરાઇઝેશન અને રેટ કેલિબ્રેશનનો પણ ઉપયોગ કરીએ છીએ. ઠીક છે, વૃક્ષને વધારવાની તાલીમ વધતી જતી અથવા નોલેજ ડિસ્ટિલેશનનો ઉપયોગ કરીને આપવામાં આવે છે.

સામાન્ય રીતે, આવી નેસ્ટેડ મશીન લર્નિંગ સિસ્ટમની જાળવણી સામાન્ય રીતે પીડાદાયક હોય છે, કારણ કે નીચલા સ્તરે કોઈપણ ઘટક ઉપરની સમગ્ર સિસ્ટમમાં અપડેટ તરફ દોરી જાય છે. પરંતુ અમારા સેટઅપમાં દરેક ઘટક થોડો બદલાય છે અને તે પાછલા એક સાથે સુસંગત છે, તેથી સમગ્ર સિસ્ટમને સમગ્ર માળખાને ફરીથી તાલીમ આપવાની જરૂર વગર ટુકડા દ્વારા અપડેટ કરી શકાય છે, જે તેને ગંભીર ઓવરહેડ વિના સપોર્ટ કરવાની મંજૂરી આપે છે.

જમાવટ કરો

અમે વિવિધ પ્રકારનાં મોડલ્સની માહિતી સંગ્રહ અને વધારાની તાલીમ વિશે ચર્ચા કરી છે, તેથી અમે ઉત્પાદન વાતાવરણમાં તેમની જમાવટ તરફ આગળ વધી રહ્યા છીએ.

A/B પરીક્ષણ

મેં અગાઉ કહ્યું તેમ, ડેટા એકત્રિત કરવાની પ્રક્રિયામાં, અમને સામાન્ય રીતે પક્ષપાતી નમૂના મળે છે, જેમાંથી મોડેલના ઉત્પાદન પ્રદર્શનનું મૂલ્યાંકન કરવું અશક્ય છે. તેથી, જમાવટ કરતી વખતે, વસ્તુઓ વાસ્તવમાં કેવી રીતે ચાલી રહી છે તે સમજવા માટે, એટલે કે A/B પરીક્ષણો હાથ ધરવા માટે મોડેલની સરખામણી પાછલા સંસ્કરણ સાથે કરવી જોઈએ. વાસ્તવમાં, રોલ આઉટ અને ચાર્ટનું વિશ્લેષણ કરવાની પ્રક્રિયા એકદમ રૂટિન છે અને સરળતાથી સ્વચાલિત થઈ શકે છે. અમે મોડલ પ્રતિસાદો અને વપરાશકર્તા પ્રતિસાદ પર ઉપલબ્ધ તમામ મેટ્રિક્સ એકત્રિત કરતી વખતે અમારા મોડલને ધીમે ધીમે 5%, 30%, 50% અને 100% વપરાશકર્તાઓ સુધી લઈ જઈએ છીએ. કેટલાક ગંભીર આઉટલાયર્સના કિસ્સામાં, અમે મોડલને આપમેળે પાછું ફેરવીએ છીએ, અને અન્ય કિસ્સાઓમાં, પર્યાપ્ત સંખ્યામાં વપરાશકર્તા ક્લિક્સ એકત્રિત કર્યા પછી, અમે ટકાવારી વધારવાનું નક્કી કરીએ છીએ. પરિણામે, અમે નવા મૉડલને 50% વપરાશકર્તાઓ માટે સંપૂર્ણપણે ઑટોમૅટિક રીતે લાવીએ છીએ, અને સમગ્ર પ્રેક્ષકો માટે રોલઆઉટ વ્યક્તિ દ્વારા મંજૂર કરવામાં આવશે, જો કે આ પગલું સ્વચાલિત થઈ શકે છે.

જો કે, A/B પરીક્ષણ પ્રક્રિયા ઑપ્ટિમાઇઝેશન માટે જગ્યા આપે છે. હકીકત એ છે કે કોઈપણ A/B ટેસ્ટ ઘણો લાંબો હોય છે (અમારા કિસ્સામાં તે પ્રતિસાદની માત્રાને આધારે 6 થી 24 કલાક લે છે), જે તેને ખૂબ ખર્ચાળ અને મર્યાદિત સંસાધનો સાથે બનાવે છે. વધુમાં, A/B પરીક્ષણના એકંદર સમયને આવશ્યકપણે ઝડપી બનાવવા માટે પરીક્ષણ માટે પૂરતા પ્રમાણમાં ઊંચી ટકાવારી જરૂરી છે (નાની ટકાવારીમાં મેટ્રિક્સનું મૂલ્યાંકન કરવા માટે આંકડાકીય રીતે નોંધપાત્ર નમૂનાની ભરતી કરવામાં ઘણો સમય લાગી શકે છે), જે બનાવે છે. A/B સ્લોટની સંખ્યા અત્યંત મર્યાદિત છે. દેખીતી રીતે, અમારે ફક્ત સૌથી વધુ આશાસ્પદ મોડલ્સનું પરીક્ષણ કરવાની જરૂર છે, જેમાંથી અમને વધારાની તાલીમ પ્રક્રિયા દરમિયાન ઘણું બધું પ્રાપ્ત થાય છે.

આ સમસ્યાને ઉકેલવા માટે, અમે એક અલગ વર્ગીકૃતને તાલીમ આપી છે જે A/B પરીક્ષણની સફળતાની આગાહી કરે છે. આ કરવા માટે, અમે તાલીમ સેટ પર, વિલંબિત એક પર અને લક્ષણો તરીકે સ્ટ્રીમમાંથી નમૂના પર નિર્ણય લેવાના આંકડા, ચોકસાઇ, યાદ અને અન્ય મેટ્રિક્સ લઈએ છીએ. અમે ઉત્પાદનમાં વર્તમાન સાથે, હ્યુરિસ્ટિક્સ સાથે મોડેલની તુલના પણ કરીએ છીએ અને મોડેલની જટિલતાને ધ્યાનમાં લઈએ છીએ. આ તમામ સુવિધાઓનો ઉપયોગ કરીને, પરીક્ષણ ઇતિહાસ પર પ્રશિક્ષિત વર્ગીકૃત ઉમેદવાર ઉમેદવારોના મોડેલોનું મૂલ્યાંકન કરે છે, અમારા કિસ્સામાં આ વૃક્ષોના જંગલો છે, અને A/B ટેસ્ટમાં કયો ઉપયોગ કરવો તે નક્કી કરે છે.

અમલીકરણ સમયે, આ અભિગમે અમને સફળ A/B પરીક્ષણોની સંખ્યા ઘણી વખત વધારવાની મંજૂરી આપી.

પરીક્ષણ અને દેખરેખ

પરીક્ષણ અને દેખરેખ, વિચિત્ર રીતે, આપણા સ્વાસ્થ્યને નુકસાન પહોંચાડતું નથી; ઊલટું, તેઓ તેને સુધારે છે અને અમને બિનજરૂરી તાણથી મુક્ત કરે છે. પરીક્ષણ તમને નિષ્ફળતાને રોકવા માટે પરવાનગી આપે છે, અને મોનિટરિંગ તમને વપરાશકર્તાઓ પરની અસર ઘટાડવા માટે સમયસર તેને શોધવાની મંજૂરી આપે છે.

અહીં સમજવું અગત્યનું છે કે વહેલા કે પછી તમારી સિસ્ટમ હંમેશા ભૂલો કરશે - આ કોઈપણ સોફ્ટવેરના વિકાસ ચક્રને કારણે છે. સિસ્ટમ ડેવલપમેન્ટની શરૂઆતમાં જ્યાં સુધી બધું સ્થિર ન થાય અને નવીનતાનો મુખ્ય તબક્કો પૂર્ણ ન થાય ત્યાં સુધી હંમેશા ઘણી બધી ભૂલો હોય છે. પરંતુ સમય જતાં, એન્ટ્રોપી તેના ટોલ લે છે, અને ભૂલો ફરીથી દેખાય છે - આસપાસના ઘટકોના અધોગતિ અને ડેટામાં ફેરફારને કારણે, જેના વિશે મેં શરૂઆતમાં વાત કરી હતી.

અહીં હું એ નોંધવા માંગુ છું કે કોઈપણ મશીન લર્નિંગ સિસ્ટમને તેના સમગ્ર જીવન ચક્ર દરમિયાન તેના નફાના દૃષ્ટિકોણથી ધ્યાનમાં લેવું જોઈએ. નીચેનો ગ્રાફ એક દુર્લભ પ્રકારના સ્પામને પકડવા માટે સિસ્ટમ કેવી રીતે કાર્ય કરે છે તેનું ઉદાહરણ બતાવે છે (ગ્રાફમાં લીટી શૂન્યની નજીક છે). એક દિવસ, ખોટી રીતે કેશ કરેલ લક્ષણને લીધે, તે પાગલ થઈ ગઈ. નસીબની જેમ, અસામાન્ય ટ્રિગરિંગ માટે કોઈ દેખરેખ ન હતું; પરિણામે, સિસ્ટમે નિર્ણય લેવાની સીમા પર "સ્પામ" ફોલ્ડરમાં મોટી માત્રામાં અક્ષરો સાચવવાનું શરૂ કર્યું. પરિણામો સુધારવા છતાં, સિસ્ટમ પહેલેથી જ ઘણી વખત ભૂલો કરી ચૂકી છે કે તે પાંચ વર્ષમાં પણ પોતાને ચૂકવશે નહીં. અને આ મોડેલના જીવન ચક્રના દૃષ્ટિકોણથી સંપૂર્ણ નિષ્ફળતા છે.

તેથી, મોનિટરિંગ જેવી સરળ વસ્તુ મોડેલના જીવનમાં ચાવીરૂપ બની શકે છે. પ્રમાણભૂત અને સ્પષ્ટ મેટ્રિક્સ ઉપરાંત, અમે મોડેલ પ્રતિસાદો અને સ્કોર્સના વિતરણ તેમજ મુખ્ય વિશેષતા મૂલ્યોના વિતરણને ધ્યાનમાં લઈએ છીએ. KL ડાયવર્જન્સનો ઉપયોગ કરીને, અમે વર્તમાન વિતરણની ઐતિહાસિક એક સાથે અથવા A/B પરીક્ષણના મૂલ્યોની બાકીની સ્ટ્રીમ સાથે તુલના કરી શકીએ છીએ, જે અમને મોડલમાં વિસંગતતાઓ જોવાની અને સમયસર ફેરફારોને રોલ બેક કરવાની મંજૂરી આપે છે.

મોટા ભાગના કિસ્સાઓમાં, અમે સાદા હ્યુરિસ્ટિક્સ અથવા મોડલ્સનો ઉપયોગ કરીને સિસ્ટમના અમારા પ્રથમ સંસ્કરણો લૉન્ચ કરીએ છીએ જેનો અમે ભવિષ્યમાં નિરીક્ષણ તરીકે ઉપયોગ કરીએ છીએ. ઉદાહરણ તરીકે, અમે ચોક્કસ ઓનલાઈન સ્ટોર્સ માટેના નિયમિત મોડલની સરખામણીમાં NER મોડલનું નિરીક્ષણ કરીએ છીએ, અને જો વર્ગીકૃત કવરેજ તેમની સરખામણીમાં ઘટી જાય, તો અમે કારણો સમજીએ છીએ. હ્યુરિસ્ટિક્સનો બીજો ઉપયોગી ઉપયોગ!

પરિણામો

ચાલો ફરીથી લેખના મુખ્ય વિચારો પર જઈએ.

• ફિબડેક. અમે હંમેશા વપરાશકર્તા વિશે વિચારીએ છીએ: તે અમારી ભૂલો સાથે કેવી રીતે જીવશે, તે તેમની જાણ કેવી રીતે કરી શકશે. ભૂલશો નહીં કે વપરાશકર્તાઓ તાલીમ મોડેલો માટે શુદ્ધ પ્રતિસાદનો સ્ત્રોત નથી, અને તેને સહાયક ML સિસ્ટમ્સની મદદથી સાફ કરવાની જરૂર છે. જો વપરાશકર્તા પાસેથી સિગ્નલ એકત્રિત કરવું શક્ય ન હોય, તો અમે પ્રતિસાદના વૈકલ્પિક સ્ત્રોતો શોધીએ છીએ, ઉદાહરણ તરીકે, કનેક્ટેડ સિસ્ટમ્સ.
• વધારાની તાલીમ. અહીં મુખ્ય વસ્તુ સાતત્ય છે, તેથી અમે વર્તમાન ઉત્પાદન મોડેલ પર આધાર રાખીએ છીએ. અમે નવા મોડલને તાલીમ આપીએ છીએ જેથી કરીને તેઓ હાર્મોનિક રેગ્યુલરાઈઝેશન અને સમાન યુક્તિઓને કારણે અગાઉના મોડલ્સથી વધુ અલગ ન હોય.
• જમાવટ કરો. મેટ્રિક્સ પર આધારિત ઑટો-ડિપ્લોયમેન્ટ મોડલ્સને અમલમાં મૂકવા માટેનો સમય ઘણો ઘટાડે છે. આંકડાઓની દેખરેખ અને નિર્ણય લેવાનું વિતરણ, તમારી શાંત ઊંઘ અને ઉત્પાદક સપ્તાહાંત માટે વપરાશકર્તાઓ તરફથી ઘટતી સંખ્યા ફરજિયાત છે.

ઠીક છે, હું આશા રાખું છું કે આ તમને તમારી ML સિસ્ટમને ઝડપથી સુધારવામાં, તેમને ઝડપથી બજારમાં લાવવામાં અને તેમને વધુ વિશ્વસનીય અને ઓછા તણાવપૂર્ણ બનાવવામાં મદદ કરશે.

સોર્સ: www.habr.com