🥇데이터 과학 사기꾼을 어떻게 알아볼 수 있나요?

분석가, 기계 학습 및 인공 지능 전문가에 대해 들어보셨을 수도 있지만 부당하게 초과 급여를 받는 사람들에 대해 들어보신 적이 있습니까? 만나다 데이터 사기꾼! 수익성이 좋은 일자리에 낚인 이러한 해킹은 실제 데이터 과학자에게 나쁜 평판을 줍니다. 자료에서 우리는 그러한 사람들을 깨끗한 물로 데려오는 방법을 이해합니다.

데이터 사기꾼은 어디에나 있습니다

데이터 사기꾼은 눈에 잘 띄는 곳에 숨는 데 능숙하여 그들 중 하나가 되어라깨닫지도 못한 채. 귀하의 조직은 수년 동안 이러한 교활한 사람들을 숨겨 왔을 가능성이 있지만, 좋은 소식은 무엇을 찾아야 할지 알고 있다면 쉽게 식별할 수 있다는 것입니다.
첫 번째 경고 신호는 다음 사항에 대한 이해 부족입니다. 분석과 통계는 매우 다른 분야입니다. 이에 대해 더 자세히 설명하겠습니다.

다양한 분야

통계학자는 데이터 이상의 내용에 대해 결론을 도출하도록 훈련받고, 분석가는 데이터 세트의 내용을 조사하도록 훈련받습니다. 즉, 분석가는 데이터에 있는 내용에 대해 결론을 내리고, 통계학자는 데이터에 없는 내용에 대해 결론을 내립니다. 분석가는 좋은 질문을 하는 데 도움을 주고(가설 만들기), 통계학자는 좋은 답변을 얻는 데 도움을 줍니다(가설 테스트).

의자 두 개에 앉으려고 하는 이상한 하이브리드 역할도 있는데... 왜 안되죠? 데이터 과학의 기본 원리: 불확실성을 다루는 경우에는 다음을 사용할 수 없습니다. 똑같다 가설과 테스트를 위한 데이터 포인트입니다. 데이터가 제한되면 불확실성으로 인해 통계와 분석 중 하나를 선택해야 합니다. 설명 여기에.

통계 없이는 막혀서 방금 내린 판단이 유효한지 이해할 수 없으며, 분석 없이는 맹목적으로 움직이며 미지의 것을 길들일 가능성이 거의 없습니다. 이것은 어려운 선택입니다.

사기꾼이 이 혼란에서 벗어나는 방법은 그것을 무시하고 갑자기 나타난 일에 놀란 척하는 것입니다. 통계적 가설을 테스트하는 논리는 데이터가 우리 마음을 바꿀 만큼 우리를 놀라게 하는지 여부에 대한 질문으로 귀결됩니다. 이미 본 데이터에 어떻게 놀랄 수 있습니까?

사기꾼은 패턴을 찾을 때마다 영감을 얻은 다음 확인합니다. 동일한 데이터 에 같은 패턴, 이론 옆에 합법적인 p-값 한두 개를 포함하여 결과를 게시합니다. 따라서 그들은 당신에게(그리고 아마도 그들 자신에게도) 거짓말을 하고 있는 것입니다. 가설을 고수하지 않으면 이 p-값은 중요하지 않습니다. 에 귀하가 귀하의 데이터를 어떻게 보았는지. 사기꾼은 이유를 이해하지 못한 채 분석가와 통계학자의 행동을 모방합니다. 결과적으로 데이터 과학 분야 전체가 나쁜 평가를 받고 있습니다.

진정한 통계학자는 항상 스스로 결론을 내립니다.

엄격한 추론으로 인해 통계학자들이 신비에 가까운 평판을 얻은 덕분에 데이터 과학의 가짜 정보의 양은 사상 최고치를 기록하고 있습니다. 속이고 잡히지 않는 것은 쉽습니다. 특히 순진한 피해자가 모든 것이 방정식과 데이터에 관한 것이라고 생각하는 경우 더욱 그렇습니다. 데이터 세트는 데이터 세트입니다. 그렇죠? 아니요. 어떻게 사용하느냐가 중요합니다.

운 좋게도 사기꾼을 잡으려면 단 하나의 단서가 필요합니다. 그들은 "소급하여 미국을 발견"하고 있습니다. 이미 알고 있던 현상을 데이터에 재발견함으로써.

사기꾼과 달리 훌륭한 분석가는 개방적이며 영감을 주는 아이디어가 다양한 설명을 가질 수 있다는 것을 이해합니다. 동시에, 훌륭한 통계학자는 결론을 내리기 전에 신중하게 결론을 정의합니다.

분석가는 데이터 범위 내에 있는 한 책임이 면제됩니다. 그들이 보지 못한 것을 주장하고 싶은 유혹을 받는다면 그것은 완전히 다른 일입니다. 그들은 분석가의 신발을 벗고 통계학자의 신발을 신어야 합니다. 결국, 공식적인 직함이 무엇이든 원하면 두 가지 직업을 모두 공부할 수 없다는 규칙은 없습니다. 혼동하지 마십시오.

통계를 잘한다고 해서 분석도 잘하는 것은 아니며, 그 반대도 마찬가지입니다. 누군가가 당신에게 다르게 말하려고 한다면 조심해야 합니다. 만약 이 사람이 당신이 이미 연구한 데이터로부터 통계적 결론을 도출하는 것이 허용된다고 말한다면, 이는 두 배로 조심해야 하는 이유입니다.

기괴한 설명

야생에서 데이터 사기꾼을 관찰할 때, 그들은 관찰한 데이터를 "설명"하기 위해 환상적인 이야기를 만드는 것을 좋아한다는 것을 알게 될 것입니다. 학문적일수록 좋습니다. 이러한 이야기가 나중에 조정되는 것은 중요하지 않습니다.

사기꾼들이 이런 짓을 할 때 - 분명히 말씀드리자면 - 그들은 거짓말을 하고 있는 것입니다. 아무리 많은 방정식이나 멋진 개념도 자신의 이론에 대한 증거가 전혀 없다는 사실을 보완할 수 없습니다. 그들의 설명이 얼마나 특이한지 놀라지 마십시오.

이것은 먼저 손에 있는 카드를 보고 무엇을 들고 있는지 예측하여 "심령" 능력을 보여주는 것과 같습니다. 이는 사후 판단 편향이며, 데이터 과학 분야는 이것으로 가득 차 있습니다.

분석가들은 "당신은 방금 다이아몬드 여왕과 함께 갔다"고 말합니다. 통계학자들은 “나는 시작하기 전에 이 종이에 내 가설을 적었다. 좀 더 가지고 놀면서 데이터를 살펴보고 내가 옳은지 확인해 봅시다." Charlatans는 다음과 같이 말합니다. "나는 당신이 다이아몬드의 여왕이 될 것이라는 것을 알았습니다. 왜냐하면..."

데이터 공유는 모든 사람에게 필요한 빠른 해결책입니다.

데이터가 많지 않을 때는 통계와 분석 중 하나를 선택해야 하지만, 데이터가 충분할 때는 속이지 않고 분석을 활용할 수 있는 절호의 기회입니다. и 통계. 사기꾼에 대한 완벽한 방어책은 데이터 분리입니다. 제 생각에는 이것이 데이터 과학에서 가장 강력한 아이디어입니다.

사기꾼으로부터 자신을 보호하려면 일부 테스트 데이터를 엿보는 사람의 손이 닿지 않는 곳에 보관하고 나머지는 분석으로 처리하기만 하면 됩니다. 받아들일 위험이 있는 이론을 발견하면 이를 사용하여 상황을 평가한 다음 비밀 테스트 데이터를 공개하여 이론이 말도 안되는지 확인하세요. 정말 간단해요!

탐색 단계에서는 누구도 테스트 데이터를 볼 수 없도록 하십시오. 그러기 위해서는 연구 데이터를 고수해야 합니다. 테스트 데이터를 분석에 사용해서는 안 됩니다.

이는 자신이 실제로 알고 있는 것을 사람들에게 설득하기 위해 자신이 알고 있는 것을 어떻게 아는지 설명해야 하는 "스몰 데이터" 시대에 사람들이 익숙했던 방식에서 크게 발전한 것입니다.

ML/AI에도 동일한 규칙 적용

ML/AI 전문가로 가장하는 사기꾼도 쉽게 발견할 수 있습니다. 다른 나쁜 엔지니어를 잡는 것과 같은 방식으로 그들을 잡을 것입니다. 그들이 구축하려는 "솔루션"은 지속적으로 실패합니다. 조기 경고 신호는 업계 표준 프로그래밍 언어 및 라이브러리에 대한 경험이 부족하다는 것입니다.

하지만 작동하는 것처럼 보이는 시스템을 만드는 사람들은 어떻습니까? 의심스러운 일이 일어나고 있는지 어떻게 알 수 있나요? 동일한 규칙이 적용됩니다! Charlatan은 모델을 만드는 데 사용한 것과 동일한 데이터에서 모델이 얼마나 잘 작동했는지 보여주는 사악한 캐릭터입니다.

엄청나게 복잡한 기계 학습 시스템을 구축했다면 그것이 얼마나 좋은지 어떻게 알 수 있습니까? 그녀가 이전에 본 적이 없는 새로운 데이터로 작업하는 모습을 보여줄 때까지는 알 수 없습니다.

예측하기 전에 데이터를 봤을 때는 그럴 가능성이 낮습니다. 전에말함

분리할 충분한 데이터가 있으면 프로젝트를 정당화하기 위해 공식의 아름다움을 인용할 필요가 없습니다(과학뿐만 아니라 모든 곳에서 볼 수 있는 오래된 패션 습관). 다음과 같이 말할 수 있습니다. “이전에 본 적이 없는 데이터 세트를 사용하여 거기에서 무슨 일이 일어날지 정확히 예측할 수 있기 때문에 이것이 효과가 있다는 것을 알고 있습니다. 그리고 제 생각이 옳을 것입니다. 계속해서."

새로운 데이터에 대해 모델/이론을 테스트하는 것은 자신감을 위한 최고의 기초입니다.

나는 데이터 사기꾼을 용납하지 않습니다. 당신의 의견이 다른 트릭에 근거한 것인지 나는 상관하지 않습니다. 나는 설명의 아름다움에 감동받지 않습니다. 귀하의 이론/모델이 이전에 본 적이 없는 수많은 새로운 데이터에 대해 작동하고 있음을 보여주십시오. 이것은 당신의 의견의 힘에 대한 실제 테스트입니다.

데이터 과학 전문가에게 문의하기

이 유머를 이해하는 모든 사람이 진지하게 받아들이고 싶다면 개인적인 편견을 뒷받침하기 위해 멋진 방정식 뒤에 숨지 마세요. 당신이 무엇을 가지고 있는지 보여주세요. 당신의 이론/모델을 단지 영감을 주는 시 이상의 것으로 "이해하는" 사람들이 보기를 원한다면, 그것이 완전히 새로운 데이터 세트에서 얼마나 잘 작동하는지를 증인 앞에서 웅대하게 보여줄 용기를 가지십시오. !

지도자들에게 호소

데이터가 테스트될 때까지 데이터에 대한 "아이디어"를 진지하게 받아들이지 마십시오. 새로운 데이터. 노력하고 싶지 않으신가요? 분석을 고수하되 이러한 아이디어에 의존하지 마십시오. 이러한 아이디어는 신뢰할 수 없으며 안정성 테스트를 거치지 않았습니다. 또한, 조직에 데이터가 풍부할 경우, 통계용 테스트 데이터에 대한 접근을 제어하여 분리를 과학의 기본으로 만들고 이를 인프라 수준에서 유지하는 데 아무런 문제가 없습니다. 이것은 사람들이 당신을 속이려는 것을 막을 수 있는 좋은 방법입니다!

좋지 않은 사기꾼의 더 많은 예를 보려면 - 여기 트위터에 멋진 스레드가 있습니다.

결과

분리할 데이터가 너무 적으면, 오직 사기꾼만이 미국을 회고적으로 발견하고, 이미 데이터에 있었던 현상을 수학적으로 재발견하고, 그 놀라움을 통계적으로 유의미하다고 말하는 방식으로 영감을 엄격하게 따르려고 합니다. 이는 영감을 다루는 열린 마음의 분석가와 예측할 때 증거를 제공하는 세심한 통계학자와 구별됩니다.

데이터가 많을 때는 데이터를 분리하는 습관을 들이면 두 가지 장점을 모두 누릴 수 있습니다! 원본 데이터 더미의 개별 하위 집합에 대해 별도로 분석 및 통계를 수행해야 합니다.

분석가 당신에게 영감과 열린 마음을 제공합니다.
통계 엄격한 테스트를 제공합니다.
사기꾼 분석에 통계를 더한 척하는 뒤틀린 뒤늦은 통찰력을 제공합니다.

아마도 기사를 읽고 나면 '나는 사기꾼인가?'라는 생각이 들 것입니다. 이건 괜찮아. 이 생각을 없애는 방법에는 두 가지가 있습니다. 먼저, 자신이 한 일을 되돌아보고 데이터 작업이 실질적인 이점을 가져왔는지 확인하십시오. 둘째, 특히 우리는 학생들에게 실제 데이터 과학자가 될 수 있는 실용적인 기술과 지식을 제공하기 때문에 자격 취득을 위해 계속 노력할 수 있습니다(물론 불필요한 것은 아닙니다).

더 많은 과정

더 읽기

출처 : habr.com

데이터 과학 사기꾼을 인식하는 방법은 무엇입니까?