ડેટા સાયન્સમાંથી ચાર્લેટનને કેવી રીતે ઓળખવું?

તમે વિશ્લેષકો, મશીન લર્નિંગ અને આર્ટિફિશિયલ ઇન્ટેલિજન્સ નિષ્ણાતો વિશે સાંભળ્યું હશે, પરંતુ શું તમે એવા લોકો વિશે સાંભળ્યું છે કે જેઓ અયોગ્ય રીતે વધુ પગાર મેળવે છે? મળો ડેટા ચાર્લેટન! આ યુક્તિઓ, આકર્ષક નોકરીઓની લાલચમાં, વાસ્તવિક ડેટા વૈજ્ઞાનિકોને ખરાબ નામ આપે છે. સામગ્રીમાં આપણે સમજીએ છીએ કે આવા લોકોને સ્વચ્છ પાણીમાં કેવી રીતે લાવવું.

ડેટા ચાર્લાટન્સ દરેક જગ્યાએ છે

ડેટા ચાર્લાટન્સ સાદા દૃષ્ટિમાં છુપાવવામાં એટલા સારા છે કે તમે કરી શકો છો તેમાંથી એક બનોતે સમજ્યા વિના. સંભવ છે કે તમારી સંસ્થા વર્ષોથી આ સ્કેમર્સને આશ્રય આપી રહી છે, પરંતુ સારા સમાચાર એ છે કે જો તમે જાણતા હોવ કે શું શોધવું જોઈએ તો તેઓને ઓળખવામાં સરળ છે.
પ્રથમ ચેતવણી ચિહ્ન શું છે તે સમજાતું નથી એનાલિટિક્સ અને આંકડા ખૂબ જ અલગ અલગ વિષયો છે. હું આને આગળ સમજાવીશ.

વિવિધ વિદ્યાશાખાઓ

આંકડાશાસ્ત્રીઓને તેમના ડેટાની બહાર શું છે તે વિશે તારણો કાઢવા માટે તાલીમ આપવામાં આવે છે, વિશ્લેષકોને ડેટા સેટની સામગ્રીનો અભ્યાસ કરવા માટે તાલીમ આપવામાં આવે છે. બીજા શબ્દોમાં કહીએ તો, વિશ્લેષકો તેમના ડેટામાં શું છે તે વિશે તારણો કાઢે છે, અને આંકડાશાસ્ત્રીઓ ડેટામાં શું નથી તેના વિશે તારણો કાઢે છે. વિશ્લેષકો તમને સારા પ્રશ્નો (અનુમાન) પૂછવામાં મદદ કરે છે અને આંકડા તમને સારા જવાબો (પરીક્ષણ પૂર્વધારણાઓ) મેળવવામાં મદદ કરે છે.

ત્યાં વિચિત્ર વર્ણસંકર ભૂમિકાઓ પણ છે જ્યાં વ્યક્તિ બે ખુરશીઓ પર બેસવાનો પ્રયાસ કરે છે... કેમ નહીં? ડેટા સાયન્સનો મૂળભૂત સિદ્ધાંત: જો તમે અનિશ્ચિતતા સાથે કામ કરી રહ્યાં છો, તો ઉપયોગ કરશો નહીં સમાન પૂર્વધારણાઓ અને પરીક્ષણ માટે ડેટા પોઇન્ટ. જ્યારે ડેટા મર્યાદિત હોય છે, ત્યારે અનિશ્ચિતતા આંકડા અથવા વિશ્લેષણ વચ્ચે પસંદગી કરવા દબાણ કરે છે. સમજૂતી અહીં.

આંકડા વિના, તમે અટકી જશો અને તમે જે ચુકાદો ઘડ્યો છે તે ટીકાને અનુરૂપ છે કે કેમ તે સમજવામાં અસમર્થ રહેશો, અને વિશ્લેષણ વિના, તમે અજ્ઞાતને કાબૂમાં રાખવાની ઓછી તક ધરાવતા, આંખ આડા કાન કરી રહ્યા છો. આ એક મુશ્કેલ પસંદગી છે.

આ ગડબડમાંથી બહાર નીકળવાનો ચાર્લેટનનો રસ્તો એ છે કે તેને અવગણવું અને પછી તે અચાનક જે જાહેર કરે છે તેનાથી આશ્ચર્ય પામવાનો ડોળ કરવો. આંકડાકીય પૂર્વધારણાઓનું પરીક્ષણ કરવા પાછળનો તર્ક એ પૂછવા માટે ઉકળે છે કે શું ડેટા આપણને આપણા વિચારો બદલવા માટે પૂરતો આશ્ચર્યચકિત કરે છે. જો આપણે તેને પહેલેથી જ જોયો હોય તો ડેટા દ્વારા આપણે કેવી રીતે આશ્ચર્ય પામી શકીએ?

જ્યારે પણ ચાર્લાટન્સ કોઈ પેટર્ન શોધે છે ત્યારે તેઓ પ્રેરણા આપે છે પછી પરીક્ષણ કરે છે સમાન ડેટા માટે સમાન પેટર્નપરિણામ પોસ્ટ કરવા માટે, કાયદેસર p-મૂલ્ય અથવા બે સાથે, તેમના સિદ્ધાંતની સાથે. આમ કરવાથી, તેઓ તમારી સાથે જૂઠું બોલી રહ્યા છે (અને કદાચ પોતાને પણ). જો તમે તમારી પૂર્વધારણાને વળગી ન રહો તો આ પી-વેલ્યુ કોઈ વાંધો નથી. માટે તમે તમારો ડેટા કેવી રીતે જુઓ છો. ચાર્લાટન્સ કારણોને સમજ્યા વિના વિશ્લેષકો અને આંકડાશાસ્ત્રીઓની ક્રિયાઓનું અનુકરણ કરે છે. પરિણામે, ડેટા સાયન્સના સમગ્ર ક્ષેત્રમાં ખરાબ રેપ થઈ રહ્યો છે.

સાચા આંકડાશાસ્ત્રીઓ હંમેશા પોતાના તારણો કાઢે છે

સખત તર્ક માટે આંકડાશાસ્ત્રીઓની લગભગ રહસ્યવાદી પ્રતિષ્ઠા માટે આભાર, ડેટા સાયન્સમાં નકલી માહિતીનું પ્રમાણ સર્વકાલીન ઉચ્ચ સ્તરે છે. છેતરવું સહેલું છે અને પકડાશો નહીં, ખાસ કરીને જો શંકાસ્પદ પીડિત એવું વિચારે છે કે આ બધું સમીકરણો અને ડેટા વિશે છે. ડેટાસેટ એ ડેટાસેટ છે ને? ના. તમે તેનો ઉપયોગ કેવી રીતે કરો છો તે મહત્વનું છે.

સદભાગ્યે, ચાર્લાટન્સને પકડવા માટે તમારે ફક્ત એક ચાવીની જરૂર છે: તેઓ "હકીકત પછી અમેરિકાને ફરીથી શોધે છે." પુનઃશોધની ઘટના કે જે તેઓ પહેલાથી જ જાણે છે તે ડેટામાં હાજર છે.

ચાર્લાટન્સથી વિપરીત, સારા વિશ્લેષકો ખુલ્લા મનના હોય છે અને સમજે છે કે પ્રેરણાદાયી વિચારોના ઘણા જુદા જુદા ખુલાસા હોઈ શકે છે. તે જ સમયે, સારા આંકડાશાસ્ત્રીઓ તેમના નિષ્કર્ષને દોરે તે પહેલાં કાળજીપૂર્વક વ્યાખ્યાયિત કરે છે.

વિશ્લેષકોને જવાબદારીમાંથી મુક્તિ આપવામાં આવે છે... જ્યાં સુધી તેઓ તેમના ડેટાની બહાર જતા નથી. જો તેઓ એવી કોઈ વસ્તુનો દાવો કરવા માટે લલચાય છે જે તેઓએ જોયું નથી, તો તે એક અલગ કામ છે. તેઓએ વિશ્લેષક તરીકે "તેમના પગરખાં ઉતારવા" જોઈએ અને આંકડાશાસ્ત્રીના જૂતામાં "બદલવા" જોઈએ. છેવટે, અધિકૃત નોકરીનું શીર્ષક ગમે તે હોય, એવો કોઈ નિયમ નથી કે જે કહે કે જો તમે ઈચ્છો તો તમે બંને વેપારનો અભ્યાસ કરી શકતા નથી. ફક્ત તેમને મૂંઝવશો નહીં.

માત્ર એટલા માટે કે તમે આંકડાઓમાં સારા છો એનો અર્થ એ નથી કે તમે વિશ્લેષણમાં સારા છો અને ઊલટું. જો કોઈ તમને અન્યથા કહેવાનો પ્રયાસ કરી રહ્યું છે, તો તમારે તમારા સાવચેત રહેવું જોઈએ. જો આ વ્યક્તિ તમને કહે કે તમે પહેલાથી જ અભ્યાસ કરેલ ડેટા પર તમને આંકડાકીય અનુમાન દોરવાની મંજૂરી છે, તો આ બમણું સાવચેત રહેવાનું કારણ છે.

વિચિત્ર ખુલાસાઓ

જ્યારે તમે જંગલમાં ડેટા ચાર્લાટન્સનું અવલોકન કરો છો, ત્યારે તમે જોશો કે તેઓ અવલોકન કરેલા ડેટાને "સમજાવવા" માટે કાલ્પનિક વાર્તાઓ બનાવવાનું પસંદ કરે છે. વધુ શૈક્ષણિક તેટલું સારું. તે કોઈ વાંધો નથી કે આ વાર્તાઓ પૂર્વવર્તી રીતે ચલાવવામાં આવે છે.

જ્યારે ચાર્લાટન્સ આ કરે છે - મને શબ્દોથી ઉદાર બનવા દો - તેઓ જૂઠું બોલે છે. કોઈપણ સમીકરણો અથવા સુંદર ખ્યાલો એ હકીકત માટે બનાવે છે કે તેઓએ તેમના સંસ્કરણોનો શૂન્ય પુરાવો આપ્યો નથી. તેમના ખુલાસાઓ કેટલા અસામાન્ય છે તેનાથી આશ્ચર્ય પામશો નહીં.

આ તમારા હાથમાં રહેલા કાર્ડ્સ જોઈને તમારી "માનસિક" ક્ષમતાઓ દર્શાવવા જેવું જ છે અને પછી તમે શું પકડી રહ્યાં છો... તમે શું પકડી રહ્યાં છો તેની આગાહી કરો. તે એક અંધદર્શન પૂર્વગ્રહ છે, અને ડેટા વૈજ્ઞાનિક વ્યવસાય તેની સાથે સ્ટફ્ડ છે.

વિશ્લેષકો કહે છે: "તમે હમણાં જ હીરાની રાણી સાથે ગયા." આંકડાશાસ્ત્રીઓ કહે છે, “અમે શરૂ કરતા પહેલા મેં આ કાગળ પર મારી પૂર્વધારણાઓ લખી દીધી હતી. ચાલો રમીએ, અમુક ડેટા જોઈએ અને જોઈએ કે હું સાચો છું કે નહીં." ચાર્લાટન્સ કહે છે, "મને ખબર હતી કે તમે હીરાની રાણી બનવાના છો કારણ કે..."

ડેટા પાર્ટીશનીંગ એ ઝડપી સુધારો છે જેની દરેકને જરૂર છે.

જ્યારે વધારે ડેટા ન હોય, ત્યારે તમારે આંકડા અને એનાલિટિક્સ વચ્ચે પસંદગી કરવાની હોય છે, પરંતુ જ્યારે પર્યાપ્ત કરતાં વધુ ડેટા હોય, ત્યારે છેતરપિંડી કર્યા વિના એનાલિટિક્સનો ઉપયોગ કરવાની ઉત્તમ તક હોય છે. и આંકડા તમારી પાસે ચાર્લાટન્સ સામે સંપૂર્ણ રક્ષણ છે - આ ડેટાનું વિભાજન છે અને, મારા મતે, ડેટા સાયન્સમાં આ સૌથી શક્તિશાળી વિચાર છે.

તમારી જાતને ચાર્લાટન્સથી બચાવવા માટે, તમારે માત્ર એ સુનિશ્ચિત કરવાનું છે કે તમે કેટલાક પરીક્ષણ ડેટાને તેમની અસ્પષ્ટ આંખોથી દૂર રાખો અને પછી બાકીની દરેક વસ્તુને વિશ્લેષણ તરીકે ગણો. જ્યારે તમે એવા સિદ્ધાંતને આવો છો કે જેને તમે સ્વીકારવાનું જોખમ લો છો, ત્યારે પરિસ્થિતિનું મૂલ્યાંકન કરવા માટે તેનો ઉપયોગ કરો અને પછી સિદ્ધાંત બકવાસ નથી તે ચકાસવા માટે તમારા ગુપ્ત પરીક્ષણ ડેટાને જાહેર કરો. તે ખૂબ સરળ છે!

ખાતરી કરો કે અન્વેષણ તબક્કા દરમિયાન કોઈને પણ પરીક્ષણ ડેટા જોવાની મંજૂરી નથી. આ કરવા માટે, સંશોધન ડેટાને વળગી રહો. વિશ્લેષણ માટે પરીક્ષણ ડેટાનો ઉપયોગ થવો જોઈએ નહીં.

"સ્મોલ ડેટા" ના યુગમાં લોકો જેનો ઉપયોગ કરે છે તેનાથી આ એક મોટું પગલું છે, જ્યાં તમારે સમજાવવું પડશે કે તમે જે જાણો છો તે તમે કેવી રીતે જાણો છો જેથી આખરે લોકોને ખાતરી આપવામાં આવે કે તમે ખરેખર કંઈક જાણો છો.

ML/AI પર સમાન નિયમો લાગુ કરવા

ML/AI નિષ્ણાતો તરીકે દેખાતા કેટલાક ચાર્લાટન્સ પણ શોધવામાં સરળ છે. તમે તેમને એ જ રીતે પકડશો જે રીતે તમે અન્ય કોઈ ખરાબ એન્જિનિયરને પકડો છો: તેઓ જે "સોલ્યુશન્સ" બનાવવાનો પ્રયાસ કરે છે તે સતત નિષ્ફળ જાય છે. પ્રારંભિક ચેતવણી ચિહ્ન એ ઉદ્યોગની માનક ભાષાઓ અને પ્રોગ્રામિંગ લાઇબ્રેરીઓ સાથે અનુભવનો અભાવ છે.

પરંતુ લોકો જે સિસ્ટમો બનાવતા હોય તે કામ લાગે છે તેનું શું? તમે કેવી રીતે જાણો છો કે કંઈક શંકાસ્પદ થઈ રહ્યું છે? એ જ નિયમ લાગુ પડે છે! ચાર્લાટન એ એક અશુભ પાત્ર છે જે તમને બતાવે છે કે મોડેલે કેટલું સારું પ્રદર્શન કર્યું છે... તે જ ડેટા પર તેઓ મોડેલ બનાવવા માટે ઉપયોગ કરે છે.

જો તમે અત્યંત જટિલ મશીન લર્નિંગ સિસ્ટમ બનાવી છે, તો તમે કેવી રીતે જાણો છો કે તે કેટલી સારી છે? જ્યાં સુધી તમે તેણીને બતાવશો નહીં ત્યાં સુધી તમે જાણશો નહીં કે તે નવા ડેટા સાથે કામ કરી રહી છે જે તેણે પહેલાં જોયો નથી.

જ્યારે તમે આગાહી કરતા પહેલા ડેટા જોયો, ત્યારે તે અસંભવિત છે પહેલાંકહેતા.

જ્યારે તમારી પાસે વિભાજિત કરવા માટે પૂરતો ડેટા હોય, ત્યારે તમારે પ્રોજેક્ટને ન્યાયી ઠેરવવા માટે તમારા સૂત્રોની સુંદરતાનો ઉપયોગ કરવાની જરૂર નથી (એક જૂની ફેશનેબલ આદત જે હું દરેક જગ્યાએ જોઉં છું, માત્ર વિજ્ઞાનમાં જ નહીં). તમે કહી શકો છો: "હું જાણું છું કે તે કામ કરે છે કારણ કે હું ડેટા સેટ લઈ શકું છું જે મેં પહેલાં જોયો નથી અને ત્યાં શું થશે તેની ચોક્કસ આગાહી કરી શકું છું… અને હું સાચો હોઈશ. ફરીથી અને ફરીથી".

નવા ડેટા સામે તમારા મોડેલ/સિદ્ધાંતનું પરીક્ષણ કરવું એ વિશ્વાસ માટેનો શ્રેષ્ઠ આધાર છે.

હું ડેટા ચાર્લાટન્સ સહન કરતો નથી. તમારો અભિપ્રાય વિવિધ ચિપ્સ પર આધારિત હોય તો મને વાંધો નથી. હું સ્પષ્ટતાઓની સુંદરતાથી પ્રભાવિત નથી. મને બતાવો કે તમારી થિયરી/મોડેલ નવા ડેટાની શ્રેણી પર કામ કરે છે (અને કામ કરવાનું ચાલુ રાખે છે) જે તમે પહેલાં ક્યારેય જોયા નથી. તમારા અભિપ્રાયની શક્તિની આ વાસ્તવિક કસોટી છે.

ડેટા વૈજ્ઞાનિકોનો સંપર્ક કરવો

જો તમે આ રમૂજને સમજનાર કોઈપણ વ્યક્તિ દ્વારા ગંભીરતાથી લેવા માંગતા હો, તો તમારા વ્યક્તિગત પૂર્વગ્રહને જીવંત રાખવા માટે ફેન્સી સમીકરણો પાછળ છુપાવવાનું બંધ કરો. તમારી પાસે શું છે તે બતાવો. જો તમે ઇચ્છો છો કે જેઓ "તે મેળવે છે" તેઓ તમારી થિયરી/મૉડલને માત્ર પ્રેરણાદાયી કવિતા કરતાં વધુ જોવે, તો સાક્ષીઓની સામે તે તદ્દન નવા ડેટા સેટ પર કેટલું સારું પ્રદર્શન કરે છે તેનું ભવ્ય પ્રદર્શન કરવાની હિંમત રાખો!

આગેવાનોને અપીલ

જ્યાં સુધી તેની સામે પરીક્ષણ ન થાય ત્યાં સુધી ડેટા વિશેના કોઈપણ "વિચારો" ને ગંભીરતાથી લેવાનો ઇનકાર કરો નવું ડેટા પ્રયત્નો કરવા નથી માંગતા? વિશ્લેષણોને વળગી રહો, પરંતુ આ વિચારો પર આધાર રાખશો નહીં - તે અવિશ્વસનીય છે અને વિશ્વસનીયતા માટે પરીક્ષણ કરવામાં આવ્યું નથી. ઉપરાંત, જ્યારે કોઈ સંસ્થા પાસે વિપુલ પ્રમાણમાં ડેટા હોય છે, ત્યારે આંકડા માટેના પરીક્ષણ ડેટાની ઍક્સેસને નિયંત્રિત કરીને વિભાજનને વિજ્ઞાનનો પાયો બનાવવા અને માળખાકીય સ્તરે તેને જાળવી રાખવા માટે કોઈ નુકસાન નથી. તમને મૂર્ખ બનાવવાના પ્રયાસોને રોકવાની આ એક સરસ રીત છે!

જો તમે ચાર્લાટન્સ કંઈક ખરાબ કાવતરું ઘડવાના વધુ ઉદાહરણો જોવા માંગતા હોવ તો - આ એક મહાન ટ્વિટર થ્રેડ છે.

પરિણામો

જ્યારે ડેટાને અલગ કરવા માટે ખૂબ નાનો હોય છે, ત્યારે માત્ર ચાર્લેટન જ પ્રેરણાને સખત રીતે અનુસરવાનો પ્રયાસ કરે છે, અમેરિકાને પૂર્વનિર્ધારિત રીતે શોધે છે, ડેટામાં પહેલાથી જ જાણીતી ઘટનાને ગાણિતિક રીતે ફરીથી શોધે છે અને આશ્ચર્યને આંકડાકીય રીતે નોંધપાત્ર ગણાવે છે. આ તેમને પ્રેરણા સાથે કામ કરતા ખુલ્લા મનના વિશ્લેષક અને આગાહીઓ કરતી વખતે સાબિતી આપતા ચુસ્ત આંકડાશાસ્ત્રીથી અલગ પાડે છે.

જ્યારે ઘણો ડેટા હોય, ત્યારે ડેટા શેર કરવાની આદત પાડો જેથી તમારી પાસે બંને વિશ્વની શ્રેષ્ઠતા હોય! મૂળ ડેટાના થાંભલાના અલગ-અલગ સબસેટ્સ માટે અલગથી એનાલિટિક્સ અને આંકડાઓ કરવાનું સુનિશ્ચિત કરો.

• વિશ્લેષકો તમને પ્રેરણા અને પરિપ્રેક્ષ્ય આપે છે.
• આંકડા તમને સખત પરીક્ષણ ઓફર કરે છે.
• ચાર્લાટન્સ તમને એનાલિટિક્સ વત્તા આંકડા હોવાનો ઢોંગ કરતી ટ્વિસ્ટેડ હિંડસાઈટ ઑફર કરે છે.

કદાચ, લેખ વાંચ્યા પછી, તમને વિચાર આવશે કે "શું હું ચાર્લટન છું"? આ સારું છે. આ વિચારમાંથી છુટકારો મેળવવાના બે રસ્તાઓ છે: પ્રથમ, પાછળ જુઓ, જુઓ કે તમે શું કર્યું છે, શું ડેટા સાથેના તમારા કાર્યથી વ્યવહારુ લાભ થયો છે. અને બીજું, તમે હજી પણ તમારી લાયકાતો પર કામ કરી શકો છો (જે ચોક્કસપણે અનાવશ્યક રહેશે નહીં), ખાસ કરીને કારણ કે અમે અમારા વિદ્યાર્થીઓને વ્યવહારિક કુશળતા અને જ્ઞાન આપીએ છીએ જે તેમને વાસ્તવિક ડેટા વૈજ્ઞાનિક બનવાની મંજૂરી આપે છે.

• શરૂઆતથી ડેટા સાયન્સના વ્યવસાયને શીખવવું
• ડેટા સાયન્સ ઓનલાઈન બુટકેમ્પ
• શરૂઆતથી ડેટા એનાલિસ્ટના વ્યવસાયને તાલીમ આપવી
• ડેટા એનાલિટિક્સ ઓનલાઇન બુટકેમ્પ

વધુ અભ્યાસક્રમો

• મશીન લર્નિંગ કોર્સ
• કોર્સ "ડેટા સાયન્સ માટે ગણિત અને મશીન લર્નિંગ"
• એડવાન્સ કોર્સ "મશીન લર્નિંગ પ્રો + ડીપ લર્નિંગ"
• ડેટા એનાલિટિક્સ કોર્સ
• DevOps કોર્સ
• વેબ ડેવલપમેન્ટ કોર્સ માટે પાયથોન
• વ્યવસાય વેબ ડેવલપર
• શરૂઆતથી વ્યવસાય iOS વિકાસકર્તા
• શરૂઆતથી વ્યવસાય એન્ડ્રોઇડ ડેવલપર
• શરૂઆતથી વ્યવસાય જાવા ડેવલપર
• જાવાસ્ક્રિપ્ટ કોર્સ
• શરૂઆતથી વ્યવસાય UX ડિઝાઇનર
• વ્યવસાય વેબ ડિઝાઇનર

વધુ વાંચો

• અમારી અંદરનો ડેટા: બાયોઇન્ફોર્મેટીશિયન શું કરે છે?
• ખાણકામ ઉદ્યોગમાં મશીન લર્નિંગ અને કમ્પ્યુટર વિઝન

સોર્સ: www.habr.com