ஆய்வாளர்கள், இயந்திர கற்றல் மற்றும் செயற்கை நுண்ணறிவு நிபுணர்கள் பற்றி நீங்கள் கேள்விப்பட்டிருக்கலாம், ஆனால் நியாயமற்ற முறையில் அதிக ஊதியம் பெறுபவர்களைப் பற்றி கேள்விப்பட்டிருக்கிறீர்களா? சந்திக்கவும் தரவு சார்லட்டன்! இந்த ஹேக்குகள், லாபகரமான வேலைகளால் ஈர்க்கப்பட்டு, உண்மையான தரவு விஞ்ஞானிகளுக்கு கெட்ட பெயரைக் கொடுக்கின்றன. அத்தகைய நபர்களை எவ்வாறு சுத்தமான தண்ணீருக்கு கொண்டு வருவது என்பதை பொருளில் புரிந்துகொள்கிறோம்.
டேட்டா சார்லட்டன்கள் எல்லா இடங்களிலும் உள்ளன
டேட்டா சார்லட்டன்கள் உங்களால் முடிந்தவரை வெற்றுப் பார்வையில் ஒளிந்து கொள்வதில் மிகவும் சிறந்தவர்கள் அவர்களில் ஒருவராக இருங்கள்தன்னையும் அறியாமல். வாய்ப்புகள், உங்கள் நிறுவனம் பல ஆண்டுகளாக இந்த ஸ்னீக்கி பையன்களுக்கு புகலிடம் அளித்து வருகிறது, ஆனால் நல்ல செய்தி என்னவென்றால், எதைத் தேடுவது என்று உங்களுக்குத் தெரிந்தால் அவர்கள் எளிதாக அடையாளம் காண முடியும்.
அதைப் புரிந்து கொள்ளாததுதான் முதல் எச்சரிக்கை அறிகுறி பகுப்பாய்வு மற்றும் புள்ளிவிவரங்கள் மிகவும் வேறுபட்ட துறைகள். இதை மேலும் விளக்குகிறேன்.
வெவ்வேறு துறைகள்
புள்ளியியல் வல்லுநர்கள் தங்கள் தரவுகளுக்கு அப்பாற்பட்டவற்றைப் பற்றிய முடிவுகளை எடுக்க பயிற்சியளிக்கப்படுகிறார்கள், ஆய்வாளர்கள் தரவுத் தொகுப்பின் உள்ளடக்கத்தை ஆய்வு செய்ய பயிற்சியளிக்கப்படுகிறார்கள். வேறு வார்த்தைகளில் கூறுவதானால், ஆய்வாளர்கள் தங்கள் தரவில் உள்ளதைப் பற்றிய முடிவுகளை எடுக்கிறார்கள், மேலும் புள்ளியியல் வல்லுநர்கள் தரவுகளில் இல்லாதவை பற்றிய முடிவுகளை எடுக்கிறார்கள். ஆய்வாளர்கள் உங்களுக்கு நல்ல கேள்விகளைக் கேட்க உதவுகிறார்கள் (கருதுகோள்களை உருவாக்குங்கள்), மேலும் புள்ளியியல் வல்லுநர்கள் நல்ல பதில்களைப் பெற உதவுகிறார்கள் (உங்கள் கருதுகோள்களைச் சோதிக்கவும்).
ஒரு நபர் இரண்டு நாற்காலிகளில் உட்கார முயற்சிக்கும் வித்தியாசமான கலப்பின பாத்திரங்களும் உள்ளன... ஏன் முடியாது? தரவு அறிவியலின் அடிப்படைக் கொள்கை: நீங்கள் நிச்சயமற்ற தன்மையைக் கையாளுகிறீர்கள் என்றால், நீங்கள் பயன்படுத்த முடியாது அதே கருதுகோள்கள் மற்றும் சோதனைக்கான தரவு புள்ளி. தரவு வரம்புக்குட்பட்டதாக இருக்கும் போது, நிச்சயமற்ற தன்மையானது புள்ளிவிவரங்கள் அல்லது பகுப்பாய்வுகளுக்கு இடையே ஒரு தேர்வை கட்டாயப்படுத்துகிறது. விளக்கம் .
புள்ளிவிவரங்கள் இல்லாமல், நீங்கள் இப்போது வகுத்த தீர்ப்பு நிலைத்து நிற்கிறதா என்பதைப் புரிந்து கொள்ள முடியாமல் சிக்கிக் கொள்வீர்கள், மேலும் பகுப்பாய்வு செய்யாமல், தெரியாதவர்களைக் கட்டுப்படுத்தும் வாய்ப்பு இல்லாமல் கண்மூடித்தனமாக நகர்கிறீர்கள். இது கடினமான தேர்வு.
இந்த குழப்பத்திலிருந்து விடுபடுவதற்கான வழி, அதைப் புறக்கணித்துவிட்டு, திடீரென்று என்ன நடக்கிறது என்பதைக் கண்டு ஆச்சரியப்படுவது போல் நடிப்பதுதான். புள்ளியியல் கருதுகோள்களைச் சோதிப்பதன் பின்னணியில் உள்ள தர்க்கம், நம் மனதை மாற்றும் அளவுக்கு தரவு நம்மை ஆச்சரியப்படுத்துகிறதா என்ற கேள்விக்கு வருகிறது. தரவுகளை நாம் ஏற்கனவே பார்த்திருந்தால் எப்படி ஆச்சரியப்பட முடியும்?
சார்லட்டன்கள் ஒரு வடிவத்தைக் கண்டுபிடிக்கும் போதெல்லாம், அவர்கள் உத்வேகம் பெறுகிறார்கள், பின்னர் சரிபார்க்கவும் அதே தரவு செய்ய அதே மாதிரி, அவர்களின் கோட்பாட்டிற்கு அடுத்ததாக ஒரு முறையான p-மதிப்பு அல்லது இரண்டுடன் முடிவை வெளியிட வேண்டும். எனவே, அவர்கள் உங்களிடம் பொய் சொல்கிறார்கள் (மற்றும், ஒருவேளை, தங்களுக்கும் கூட). உங்கள் கருதுகோளுடன் நீங்கள் ஒட்டிக்கொள்ளவில்லை என்றால் இந்த p-மதிப்பு முக்கியமில்லை செய்ய உங்கள் தரவை எப்படிப் பார்த்தீர்கள். சார்லடன்கள் காரணங்களைப் புரிந்து கொள்ளாமல் ஆய்வாளர்கள் மற்றும் புள்ளியியல் நிபுணர்களின் செயல்களைப் பின்பற்றுகிறார்கள். இதன் விளைவாக, தரவு அறிவியலின் முழுத் துறையும் கெட்ட பெயரைப் பெறுகிறது.
உண்மையான புள்ளியியல் வல்லுநர்கள் எப்போதும் தங்கள் சொந்த முடிவுகளை எடுக்கிறார்கள்
புள்ளியியல் வல்லுநர்கள் தங்கள் கடுமையான பகுத்தறிவுக்காக கிட்டத்தட்ட மாயமான நற்பெயருக்கு நன்றி, தரவு அறிவியலில் போலித் தகவல்களின் அளவு எல்லா நேரத்திலும் அதிகமாக உள்ளது. ஏமாற்றுவது எளிது மற்றும் பிடிபடாதது, குறிப்பாக சந்தேகத்திற்கு இடமின்றி பாதிக்கப்பட்டவர் சமன்பாடுகள் மற்றும் தரவுகளைப் பற்றியது என்று நினைத்தால். தரவுத்தொகுப்பு என்பது தரவுத்தொகுப்பு, இல்லையா? இல்லை. நீங்கள் அதை எப்படி பயன்படுத்துகிறீர்கள் என்பது முக்கியம்.
அதிர்ஷ்டவசமாக, சார்லட்டன்களைப் பிடிக்க உங்களுக்கு ஒரே ஒரு துப்பு தேவை: அவர்கள் "முன்னோக்கி அமெரிக்காவைக் கண்டுபிடித்துள்ளனர்." தரவுகளில் இருப்பதை அவர்கள் ஏற்கனவே அறிந்த நிகழ்வுகளை மீண்டும் கண்டுபிடிப்பதன் மூலம்.
சார்லட்டன்களைப் போலல்லாமல், நல்ல ஆய்வாளர்கள் திறந்த மனதுடன் இருக்கிறார்கள் மற்றும் உத்வேகம் தரும் யோசனைகள் பலவிதமான விளக்கங்களைக் கொண்டிருக்கலாம் என்பதை புரிந்துகொள்கிறார்கள். அதே நேரத்தில், நல்ல புள்ளிவிவர வல்லுநர்கள் தங்கள் முடிவுகளை எடுப்பதற்கு முன் கவனமாக வரையறுக்கிறார்கள்.
ஆய்வாளர்கள் தங்கள் தரவின் எல்லைக்குள் இருக்கும் வரை... பொறுப்பிலிருந்து விலக்கு அளிக்கப்படுகிறார்கள். அவர்கள் பார்க்காத ஒன்றைக் கூற ஆசைப்பட்டால், அது வேறு வேலை. அவர்கள் ஆய்வாளரின் காலணிகளைக் கழற்றிவிட்டு புள்ளியியல் நிபுணரின் காலணிகளை அணிய வேண்டும். எல்லாவற்றிற்கும் மேலாக, அதிகாரப்பூர்வ வேலை தலைப்பு எதுவாக இருந்தாலும், நீங்கள் விரும்பினால் இரண்டு தொழில்களையும் படிக்க முடியாது என்று எந்த விதியும் இல்லை. அவர்களை மட்டும் குழப்ப வேண்டாம்.
புள்ளிவிவரங்களில் நீங்கள் சிறந்தவர் என்பதால், நீங்கள் பகுப்பாய்வுகளில் சிறந்தவர் என்று அர்த்தமல்ல, நேர்மாறாகவும். யாராவது உங்களிடம் வேறுவிதமாக சொல்ல முயற்சித்தால், நீங்கள் எச்சரிக்கையாக இருக்க வேண்டும். நீங்கள் ஏற்கனவே படித்த தரவுகளிலிருந்து புள்ளிவிவர முடிவுகளை எடுப்பது அனுமதிக்கப்படுகிறது என்று இந்த நபர் உங்களிடம் கூறினால், இது இரட்டிப்பு எச்சரிக்கையாக இருக்க ஒரு காரணம்.
விசித்திரமான விளக்கங்கள்
காடுகளில் டேட்டா சார்லட்டான்களைக் கவனிக்கும்போது, அவர்கள் கவனிக்கும் தரவை "விளக்க" அருமையான கதைகளை உருவாக்க விரும்புவதை நீங்கள் கவனிப்பீர்கள். அதிக கல்வி, சிறந்தது. இந்தக் கதைகள் பின்னோக்கிச் சரிப்பட்டாலும் பரவாயில்லை.
சார்லடன்கள் இதைச் செய்யும்போது - நான் தெளிவாக இருக்கட்டும் - அவர்கள் பொய் சொல்கிறார்கள். எந்த சமன்பாடுகள் அல்லது ஆடம்பரமான கருத்துக்கள் அவர்கள் தங்கள் கோட்பாடுகளுக்கு பூஜ்ஜிய ஆதாரத்தை வழங்கினர் என்ற உண்மையை ஈடுசெய்ய முடியாது. அவர்களின் விளக்கங்கள் எவ்வளவு அசாதாரணமானவை என்று ஆச்சரியப்பட வேண்டாம்.
முதலில் உங்கள் கைகளில் உள்ள அட்டைகளைப் பார்த்து, நீங்கள் என்ன வைத்திருக்கிறீர்கள்... எதைப் பிடித்திருக்கிறீர்கள் என்று கணிப்பதன் மூலம் உங்கள் "உளவியல்" திறன்களை வெளிப்படுத்துவது போன்றதே இது. இது பின்னோக்கி சார்புடையது, மேலும் தரவு அறிவியல் தொழில் அதன் விளிம்பில் நிரப்பப்பட்டுள்ளது.
ஆய்வாளர்கள் கூறுகிறார்கள்: "நீங்கள் வைரங்களின் ராணியுடன் சென்றீர்கள்." புள்ளியியல் வல்லுநர்கள் கூறுகிறார்கள், “நாங்கள் தொடங்குவதற்கு முன்பே இந்த காகிதத்தில் எனது கருதுகோள்களை எழுதினேன். விளையாடுவோம், சில தரவுகளைப் பார்த்து, நான் சொல்வது சரிதானா என்று பார்ப்போம்." சார்லடன்ஸ் கூறுகிறார்: "நீங்கள் இந்த வைரங்களின் ராணி ஆகப் போகிறீர்கள் என்று எனக்குத் தெரியும், ஏனென்றால்..."
தரவு பகிர்வு என்பது அனைவருக்கும் தேவைப்படும் விரைவான தீர்வாகும்.
அதிக தரவு இல்லாதபோது, நீங்கள் புள்ளிவிவரங்கள் மற்றும் பகுப்பாய்வுகளுக்கு இடையில் தேர்வு செய்ய வேண்டும், ஆனால் போதுமான தரவு இருந்தால், பகுப்பாய்வுகளை ஏமாற்றாமல் பயன்படுத்த ஒரு சிறந்த வாய்ப்பு உள்ளது. и புள்ளிவிவரங்கள். சார்லட்டன்களுக்கு எதிராக உங்களுக்கு சரியான பாதுகாப்பு உள்ளது - தரவு பிரிப்பு மற்றும், இது தரவு அறிவியலில் மிகவும் சக்திவாய்ந்த யோசனையாகும்.
சார்லட்டன்களிடமிருந்து உங்களைப் பாதுகாத்துக் கொள்ள, நீங்கள் செய்ய வேண்டியது, சில சோதனைத் தரவை அவர்களின் துருவியறியும் கண்களுக்கு எட்டாதவாறு வைத்திருப்பதை உறுதிசெய்து, மீதமுள்ளவற்றை பகுப்பாய்வுகளாகக் கருதுங்கள். நீங்கள் ஏற்றுக்கொள்ளும் அபாயத்தில் உள்ள ஒரு கோட்பாட்டை நீங்கள் கண்டால், நிலைமையை மதிப்பிடுவதற்கு அதைப் பயன்படுத்தவும், பின்னர் கோட்பாடு முட்டாள்தனமாக இல்லை என்பதைச் சரிபார்க்க உங்கள் ரகசிய சோதனைத் தரவை வெளிப்படுத்தவும். இது மிகவும் எளிமையானது!
ஆய்வுக் கட்டத்தில் சோதனைத் தரவைப் பார்க்க யாரும் அனுமதிக்கப்படவில்லை என்பதை உறுதிப்படுத்திக் கொள்ளுங்கள். இதை செய்ய, ஆராய்ச்சி தரவு ஒட்டிக்கொள்கின்றன. சோதனை தரவு பகுப்பாய்வுக்காக பயன்படுத்தப்படக்கூடாது.
"சிறிய தரவு" சகாப்தத்தில் மக்கள் பழகியவற்றிலிருந்து இது ஒரு பெரிய படியாகும், அங்கு உங்களுக்குத் தெரிந்ததை நீங்கள் எப்படி அறிவீர்கள் என்பதை நீங்கள் விளக்க வேண்டும்.
ML/AI க்கும் அதே விதிகளைப் பயன்படுத்தவும்
ML/AI நிபுணர்களாகக் காட்டிக் கொள்ளும் சில சார்லட்டன்களையும் எளிதாகக் கண்டறியலாம். நீங்கள் வேறு எந்த மோசமான பொறியாளரையும் பிடிக்கும் அதே வழியில் அவர்களைப் பிடிப்பீர்கள்: அவர்கள் உருவாக்க முயற்சிக்கும் "தீர்வுகள்" தொடர்ந்து தோல்வியடைகின்றன. ஒரு ஆரம்ப எச்சரிக்கை அறிகுறி தொழில்துறை நிலையான நிரலாக்க மொழிகள் மற்றும் நூலகங்களில் அனுபவம் இல்லாதது.
ஆனால் வேலை செய்யத் தோன்றும் அமைப்புகளை உருவாக்கும் நபர்களைப் பற்றி என்ன? சந்தேகத்திற்கிடமான ஏதாவது நடக்கிறதா என்பதை எப்படி அறிவது? அதே விதி பொருந்தும்! சார்லட்டன் ஒரு கெட்ட பாத்திரம், அந்த மாதிரி எவ்வளவு சிறப்பாக செயல்பட்டது என்பதை காட்டுகிறது...அவர்கள் மாதிரியை உருவாக்க பயன்படுத்திய அதே தரவுகளில்.
நீங்கள் மிகவும் சிக்கலான இயந்திர கற்றல் முறையை உருவாக்கியிருந்தால், அது எவ்வளவு நல்லது என்று உங்களுக்கு எப்படித் தெரியும்? அவர் இதுவரை பார்த்திராத புதிய தரவுகளுடன் பணிபுரிவதை நீங்கள் காண்பிக்கும் வரை உங்களுக்குத் தெரியாது.
முன்னறிவிப்பதற்கு முன் நீங்கள் தரவைப் பார்த்தபோது - அது சாத்தியமில்லை முன்சொல்கிறது
பிரிப்பதற்குப் போதுமான தரவு உங்களிடம் இருக்கும் போது, திட்டத்தை நியாயப்படுத்த உங்கள் சூத்திரங்களின் அழகை நீங்கள் மேற்கோள் காட்ட வேண்டியதில்லை (அறிவியலில் மட்டும் அல்ல, எல்லா இடங்களிலும் நான் பார்க்கும் பழைய ஃபேஷன் பழக்கம்). நீங்கள் சொல்ல முடியும்: “இது வேலை செய்கிறது என்று எனக்குத் தெரியும், ஏனென்றால் நான் இதுவரை பார்த்திராத தரவுத் தொகுப்பை எடுத்து, அங்கு என்ன நடக்கும் என்பதைச் சரியாகக் கணிக்க முடியும்... நான் சரியாகச் சொல்கிறேன். மீண்டும் மீண்டும்".
புதிய தரவுகளுக்கு எதிராக உங்கள் மாதிரி/கோட்பாட்டைச் சோதிப்பது நம்பிக்கைக்கான சிறந்த அடிப்படையாகும்.
டேட்டா சார்லட்டன்களை நான் பொறுத்துக்கொள்ளவில்லை. உங்கள் கருத்து வெவ்வேறு தந்திரங்களின் அடிப்படையில் இருந்தால் எனக்கு கவலையில்லை. விளக்கங்களின் அழகு என்னைக் கவரவில்லை. நீங்கள் இதுவரை பார்த்திராத புதிய தரவுகளின் மொத்தத்தில் உங்கள் கோட்பாடு/மாடல் வேலை செய்கிறது (தொடர்ந்து வேலை செய்கிறது) என்பதை எனக்குக் காட்டுங்கள். இது உங்கள் கருத்து வலிமையின் உண்மையான சோதனை.
தரவு அறிவியல் நிபுணர்களைத் தொடர்புகொள்ளவும்
இந்த நகைச்சுவையைப் புரிந்துகொள்ளும் அனைவராலும் நீங்கள் தீவிரமாக எடுத்துக் கொள்ள விரும்பினால், தனிப்பட்ட சார்புகளை ஆதரிக்க ஆடம்பரமான சமன்பாடுகளுக்குப் பின்னால் ஒளிந்து கொள்வதை நிறுத்துங்கள். உங்களிடம் என்ன இருக்கிறது என்பதைக் காட்டு. "அதைப் பெறுபவர்கள்" உங்கள் கோட்பாட்டை/மாதிரியை ஊக்கமளிக்கும் கவிதையாக மட்டும் பார்க்க வேண்டும் என நீங்கள் விரும்பினால், முற்றிலும் புதிய தரவுத் தொகுப்பில் அது எவ்வளவு சிறப்பாகச் செயல்படுகிறது என்பதை சாட்சிகள் முன் வைக்க தைரியமாக இருங்கள். !
தலைவர்களுக்கு வேண்டுகோள்
தரவைப் பற்றிய எந்தவொரு "யோசனைகளையும்" அவை சோதிக்கப்படும் வரை தீவிரமாக எடுத்துக்கொள்ள மறுக்கவும் புதியது தகவல்கள். முயற்சி செய்யத் தோன்றவில்லையா? பகுப்பாய்வுகளுடன் இணைந்திருங்கள், ஆனால் இந்த யோசனைகளை நம்ப வேண்டாம் - அவை நம்பகத்தன்மையற்றவை மற்றும் நம்பகத்தன்மைக்காக சோதிக்கப்படவில்லை. மேலும், ஒரு நிறுவனத்தில் தரவுகள் ஏராளமாக இருக்கும் போது, அறிவியலில் பிரிவினையை அடிப்படையாக்கி, புள்ளிவிபரங்களுக்கான சோதனைத் தரவை அணுகுவதைக் கட்டுப்படுத்துவதன் மூலம் உள்கட்டமைப்பு மட்டத்தில் அதைப் பராமரிப்பதில் எந்தப் பாதகமும் இல்லை. மக்கள் உங்களை முட்டாளாக்க முயற்சிப்பதைத் தடுக்க இது ஒரு சிறந்த வழியாகும்!
சார்லட்டன்களின் பல எடுத்துக்காட்டுகளை நீங்கள் பார்க்க விரும்பினால், நல்லதல்ல - .
முடிவுகளை
பிரிப்பதற்கு மிகக் குறைவான தரவு இருக்கும் போது, ஒரு சார்லட்டன் மட்டுமே அமெரிக்காவை பின்னோக்கி கண்டுபிடிப்பதன் மூலம் உத்வேகத்தை கண்டிப்பாக பின்பற்ற முயற்சிக்கிறார், தரவுகளில் ஏற்கனவே அறியப்பட்ட நிகழ்வுகளை கணித ரீதியாக மீண்டும் கண்டுபிடித்து, ஆச்சரியத்தை புள்ளிவிவர ரீதியாக முக்கியத்துவம் வாய்ந்ததாக அழைக்கிறார். இது உத்வேகத்தைக் கையாளும் திறந்த மனதுள்ள ஆய்வாளர் மற்றும் கணிப்புகளைச் செய்யும்போது ஆதாரங்களை வழங்கும் நுணுக்கமான புள்ளியியல் நிபுணரிடமிருந்து அவர்களை வேறுபடுத்துகிறது.
நிறைய தரவு இருக்கும்போது, தரவைப் பிரிக்கும் பழக்கத்தைப் பெறுங்கள், இதன் மூலம் நீங்கள் இரு உலகங்களிலும் சிறந்ததைப் பெறலாம்! அசல் தரவுக் குவியலின் தனிப்பட்ட துணைக்குழுக்களுக்கு தனித்தனியாக பகுப்பாய்வு மற்றும் புள்ளிவிவரங்களைச் செய்ய வேண்டும்.
- ஆய்வாளர்கள் உத்வேகம் மற்றும் திறந்த மனப்பான்மையை உங்களுக்கு வழங்குகிறது.
- புள்ளிவிவரங்கள் உங்களுக்கு கடுமையான சோதனையை வழங்குகிறது.
- சார்லடன்ஸ் பகுப்பாய்வு மற்றும் புள்ளிவிவரங்கள் என்று பாசாங்கு செய்யும் முறுக்கப்பட்ட பின்னோக்கியை உங்களுக்கு வழங்குகிறது.
ஒருவேளை, கட்டுரையைப் படித்த பிறகு, "நான் ஒரு சார்லட்டனா" என்ற எண்ணம் உங்களுக்கு வருமா? இது நன்று. இந்த எண்ணத்திலிருந்து விடுபட இரண்டு வழிகள் உள்ளன: முதலில், திரும்பிப் பார்க்கவும், நீங்கள் என்ன செய்தீர்கள் என்பதைப் பார்க்கவும், தரவுகளுடன் உங்கள் பணி நடைமுறை பலனைத் தந்திருக்கிறதா. இரண்டாவதாக, உங்கள் தகுதிகளில் நீங்கள் இன்னும் வேலை செய்யலாம் (இது நிச்சயமாக மிதமிஞ்சியதாக இருக்காது), குறிப்பாக எங்கள் மாணவர்களுக்கு நடைமுறை திறன்களையும் அறிவையும் நாங்கள் வழங்குவதால், அவர்கள் உண்மையான தரவு விஞ்ஞானிகளாக மாற அனுமதிக்கிறோம்.
மேலும் படிப்புகள்
மேலும் வாசிக்க
ஆதாரம்: www.habr.com