Puede que hayas oído hablar de analistas, especialistas en machine learning e inteligencia artificial, pero ¿has oído hablar de aquellos a quienes se les paga de más sin merecerlo? Conoce a los charlatanes de datos! Estos astutos, atraídos por trabajos lucrativos, crean una mala reputación para los verdaderos especialistas en procesamiento de datos. En este artículo, analizamos cómo desenmascarar a estas personas.
Los charlatanes de datos están en todas partes
Los charlatanes de datos son tan buenos escondiéndose a plena vista que podrías ser uno de ellos, sin ni siquiera darte cuenta. Es probable que tu organización haya ocultado a estos astutos durante años, pero hay buenas noticias: son fáciles de identificar si sabes qué buscar.
La primera señal de advertencia es la falta de comprensión de que la analítica y la estadística son disciplinas muy diferentes. A continuación, lo explicaré.
Disciplinas diferentes
Los estadísticos están entrenados para hacer conclusiones sobre lo que va más allá de sus datos, los analistas están entrenados para estudiar el contenido de un conjunto de datos. En otras palabras, los analistas hacen inferencias sobre lo que hay en sus datos, mientras que los estadísticos hacen inferencias sobre lo que no hay en los datos. Los analistas ayudan a formular buenas preguntas (generar hipótesis) y los estadísticos ayudan a obtener buenas respuestas (probar hipótesis).
También hay roles híbridos exóticos cuando una persona intenta mantenerse en dos sillas... ¿Por qué no? El principio básico de la ciencia de datos: si lidias con la incertidumbre, no puedes usar el mismo punto de datos para hipótesis y pruebas. Cuando los datos son limitados, la incertidumbre obliga a elegir entre estadística o analítica. Explicación .
Sin estadísticas, quedarás estancado y no podrás entender si el juicio recién formulado resiste la crítica, y sin análisis, te moverás a ciegas, teniendo pocas posibilidades de domesticar lo desconocido. Es una elección difícil.
La salida del charlatán de esta situación es ignorarla y luego hacerse el sorprendido cuando se revela algo. La lógica de la verificación de hipótesis estadísticas se reduce a la pregunta: ¿son los datos suficientemente sorprendentes como para cambiar nuestra opinión? ¿Cómo podemos sorprendernos con los datos si ya los hemos visto?
Cada vez que los charlatanes encuentran un patrón, se sienten inspirados, luego verifican los mismos datos para del mismo patrón, para publicar un resultado con un valor p legítimo o dos, junto a su teoría. De este modo, están mintiéndote (y quizás también a sí mismos). Un valor p así no importa si no mantienes tu hipótesis. hasta sobre cómo han revisado sus datos. Los charlatanes imitan las acciones de analistas y estadísticos sin entender las causas. Como resultado, toda el área de la ciencia de datos sufre de mala reputación.
Los verdaderos estadísticos siempre llegan a sus conclusiones.
Gracias a la casi mística reputación de los especialistas en estadística que se dedican a razonamientos rigurosos, la cantidad de información engañosa en la Ciencia de Datos es récord. Es fácil engañar y no ser descubierto, especialmente si la víctima desprevenida piensa que todo se trata de ecuaciones y datos. Un conjunto de datos es solo un conjunto de datos, ¿verdad? No. Importa cómo lo utilices.
Afortunadamente, solo necesitas una pista para atrapar a los charlatanes: ellos “redescubren América a posteriori”. Reapareciendo fenómenos que, como ya saben, están presentes en los datos.
A diferencia de los charlatanes, los buenos analistas no tienen prejuicios y entienden que las ideas inspiradoras pueden tener muchas explicaciones diferentes. Al mismo tiempo, los buenos estadísticos determinan cuidadosamente sus conclusiones antes de hacerlas.
Los analistas están liberados de responsabilidades... hasta que salgan de sus datos. Si sienten la tentación de declarar algo que no han visto, eso es un trabajo completamente diferente. Deben 'quitarse los zapatos' de analista y 'ponerse en los zapatos' de un estadístico. Al final, no importa cuál sea el título oficial, no hay regla que diga que no puedes estudiar ambas profesiones si lo deseas. Solo asegúrate de no confundirlas.
Si eres bueno en estadística, no significa que seas bueno en análisis, y viceversa. Si alguien intenta decirte lo contrario, es motivo de desconfianza. Si esa persona te dice que está permitido hacer inferencias estadísticas en los datos que ya has analizado, eso es un motivo de desconfianza doble.
Explicaciones extravagantes
Al observar a los charlatanes de datos en la naturaleza, notarás que les gusta inventar historias fantásticas para "explicar" los datos observados. Cuanto más académico, mejor. No importa que estas historias sean construcciones retrospectivas.
Cuando los charlatanes hacen esto — permíteme no escatimar en palabras — están mintiendo. Ninguna cantidad de ecuaciones o conceptos hermosos compensa el hecho de que han ofrecido pruebas nulas de sus versiones. No te sorprendas de cuán inusuales son sus explicaciones.
Es lo mismo que demostrar tus habilidades "extrasensoriales", primero mirando las cartas en tus manos y luego predecir lo que sostienes... lo que sostienes. Es un sesgo retrospectivo, y la profesión de científico de datos está saturada de esto.
Los analistas dicen: "Acabas de jugar con la reina de tréboles". Los estadísticos dicen: "Anoté mis hipótesis en este trozo de papel antes de que empezáramos. Vamos a jugar, ver algunos datos y ver si tengo razón". Los charlatanes dicen: "Sabía que ibas a jugar con esta reina de tréboles porque..."
La segmentación de datos es una solución rápida a un problema que todos necesitan.
Cuando hay pocos datos, debes elegir entre estadística y analítica, pero cuando hay abundancia de datos, hay una excelente oportunidad de aprovechar la analítica sin engaños. y Estadística. Tienes la protección perfecta contra los charlatanes: es la segmentación de datos, y, en mi opinión, es la idea más poderosa en Ciencia de Datos.
Para protegerte de los charlatanes, todo lo que necesitas hacer es asegurarte de que guardas algunos datos de prueba fuera de su curiosa mirada, y luego tratar todo lo demás como analítica. Cuando enfrentes una teoría que podrías estar tentado a aceptar, utilízala para evaluar la situación, y luego revela tus datos de prueba secretos para verificar que la teoría no es una tontería. ¡Es así de simple!
Asegúrate de que nadie pueda ver los datos de prueba en la etapa de investigación. Para ello, adhiérete a los datos de investigación. Los datos de prueba no deben utilizarse para análisis.
Este es un gran avance en comparación con lo que la gente solía conocer en la era de los "datos pequeños", cuando necesitabas explicar de dónde sabes lo que sabes para finalmente convencer a las personas de que realmente sabes algo.
Aplicamos las mismas reglas a ML/AI
También es fácil detectar a algunos charlatanes que se hacen pasar por expertos en ML/AI. Los reconocerás de la misma manera que identificarías a cualquier mal ingeniero: las "soluciones" que intentan construir siempre fracasan. Una señal de advertencia temprana es la falta de experiencia con los lenguajes y bibliotecas estándar de la industria.
¿Pero qué pasa con las personas que crean sistemas que parecen funcionar? ¿Cómo saber que hay algo sospechoso? ¡Se aplica la misma regla! El charlatán es un personaje siniestro que te muestra lo bien que funcionó el modelo... en los mismos datos que usaron para construirlo.
Si has creado un sistema de aprendizaje automático extremadamente complejo, ¿cómo sabes cuán bueno es? No lo sabrás hasta que demuestres que funciona con nuevos datos que no ha visto antes.
Cuando has visto los datos antes de prever — difícilmente es esto unapredicción.
Cuando tienes suficientes datos para la división, no necesitas referirte a la belleza de tus fórmulas para justificar el proyecto (un viejo hábito que veo en todas partes, no solo en la ciencia). Puedes decir: "Sé que esto funciona porque puedo tomar un conjunto de datos que nunca he visto antes y predecir con precisión qué sucederá... y tendré razón. Una y otra vez."
Probar tu modelo/teoría con nuevos datos es la mejor base para la confianza.
No tolero a los charlatanes de datos. No me importa si tu opinión se basa en diferentes atractivos. La belleza de las explicaciones no me impresiona. Muéstrame que tu teoría/modelo funciona (y sigue funcionando) en una serie de nuevos datos que nunca antes has visto. Eso es la verdadera prueba de la robustez de tu opinión.
Consultar a expertos en Ciencia de Datos
Si desea que todos los que entienden este humor lo tomen en serio, deje de esconderse detrás de ecuaciones caprichosas para mantener prejuicios personales. Muestre lo que tiene. Si quiere que aquellos que "entendieron" consideren su teoría/modelo como algo más que poesía inspiradora, tenga el valor de hacer una gran demostración de lo bien que funciona con un conjunto completamente nuevo de datos… ¡ante testigos!
Dirección a los ejecutivos
Rehúse a tomar en serio cualquier "idea" sobre datos hasta que haya sido verificada en nuevos datos. ¿No quiere esforzarse? Apegue a la analítica, pero no confíe en estas ideas, son poco fiables y no han sido verificadas por su fiabilidad. Además, cuando una organización tiene datos en abundancia, no hay escasez en hacer la división como base en la ciencia y mantenerla a nivel de infraestructura, controlando el acceso a los datos de prueba para la estadística. ¡Es una excelente manera de evitar ser engañado!
Si desea ver más ejemplos de charlatanes tramando algo malo — .
Resultados
Cuando hay muy pocos datos para la separación, solo un charlatán intenta seguir estrictamente la inspiración, redescubriendo retrospectivamente, matemáticamente, fenómenos que ya se sabe que están en los datos, y llamando a la sorpresa estadísticamente significativa. Esto los distingue de un analista imparcial que lidia con la inspiración y un estadístico meticuloso que ofrece evidencia al hacer predicciones.
Cuando hay muchos datos, adquiera el hábito de separar los datos, ¡así podrá tener lo mejor de ambos mundos! Asegúrese de hacer análisis y estadísticas por separado en subconjuntos distintos del desorden de datos original.
- Analistas le ofrecen inspiración y amplitud de miras.
- Los estadísticos le ofrecen pruebas rigurosas.
- Los charlatanes le ofrecen una perspectiva retorcida retrospectiva que finge ser analítica más estadística.
Es posible que, después de leer el artículo, tengas el pensamiento: «¿no seré un charlatán?» Eso es normal. Puedes deshacerte de este pensamiento de dos maneras: primero, mira hacia atrás y evalúa lo que has hecho, si tu trabajo con los datos ha tenido un beneficio práctico. Y en segundo lugar, puedes seguir mejorando tu cualificación (lo cual nunca está de más), especialmente porque a nuestros estudiantes les impartimos habilidades prácticas y conocimientos que les permiten convertirse en verdaderos científicos de datos.
Más cursos
Leer más
Fuente: habr.com
