La exagerada promesa de la llamada minería de datos imparcial


El premio Nobel Richard Feynman una vez le pidió a sus estudiantes de Caltech que calculen la probabilidad de que, si caminaba fuera del salón de clases, el primer automóvil en el estacionamiento tendría una placa específica, digamos 6ZNA74. Asumiendo que todos los números y letras son igualmente probables y se determinan de manera independiente, los estudiantes estimaron que la probabilidad es inferior a 1 en 17 millones. Cuando los estudiantes terminaron sus cálculos, Feynman reveló que la probabilidad correcta era 1: había visto esta placa en su camino a la clase. Algo extremadamente improbable no es improbable en absoluto si ya ha sucedido.

La trampa de Feynman, el saqueo de datos para patrones sin una idea preconcebida de lo que uno busca, es el talón de Aquiles de los estudios basados ​​en la minería de datos. Encontrar algo inusual o sorprendente después de que ya haya ocurrido no es inusual ni sorprendente. Es seguro que se encontrarán patrones, y es probable que sean engañosos, absurdos o peores.

En su libro más vendido de 2001. Bueno a excelente, Jim Collins comparó 11 compañías que habían superado el desempeño del mercado bursátil general en los últimos 40 años con 11 compañías que no lo habían hecho. Identificó cinco rasgos distintivos que las empresas exitosas tenían en común. "No comenzamos este proyecto con una teoría para probar o probar", se jactó Collins. "Buscamos construir una teoría desde cero, derivada directamente de la evidencia".

Entró en la trampa de Feynman. Cuando miramos hacia atrás en el tiempo a cualquier grupo de compañías, las mejores o las peores, siempre podemos encontrar algunas características comunes, por lo que encontrarlas no prueba nada en absoluto. Tras la publicación de Bueno a excelente, el desempeño de las magníficas 11 acciones de Collins ha sido claramente mediocre: cinco acciones han tenido un mejor desempeño que el mercado de valores en general, mientras que seis lo han hecho peor.

En 2011, Google creó un programa de inteligencia artificial llamado Google Flu que utilizaba consultas de búsqueda para predecir los brotes de gripe. El programa de minería de datos de Google examinó 50 millones de consultas de búsqueda e identificó las 45 que estaban más estrechamente relacionadas con la incidencia de la gripe. Es otro ejemplo más de la trampa de extracción de datos: un estudio válido especificaría las palabras clave de antemano. Después de emitir su informe, Google Flu sobreestimó el número de casos de gripe durante 100 de las próximas 108 semanas, en un promedio de casi el 100 por ciento. Google Flu ya no hace predicciones de gripe.

Un vendedor de Internet pensó que podría aumentar sus ingresos cambiando el color de su página web azul tradicional a un color diferente. Después de varias semanas de pruebas, la compañía encontró un resultado estadísticamente significativo: al parecer, Inglaterra ama el verde azulado. Al observar varios colores alternativos para un centenar de países, garantizaban que encontrarían un aumento de ingresos para un cierto color para algún país, pero no tenían idea de antemano si Teal se vendería más en Inglaterra. Al final resultó que, cuando el color de la página web de Inglaterra se cambió a verde azulado, los ingresos cayeron.

Un experimento estándar de neurociencia consiste en mostrar a un voluntario en una máquina de MRI varias imágenes y hacer preguntas sobre las imágenes. Las mediciones son ruidosas, recogen señales magnéticas del entorno y de variaciones en la densidad del tejido graso en diferentes partes del cerebro. A veces extrañan la actividad cerebral; A veces sugieren actividad donde no hay ninguna.

Un estudiante graduado de Dartmouth usó una máquina de resonancia magnética para estudiar la actividad cerebral de un salmón, ya que mostraba fotografías y hacía preguntas. Lo más interesante del estudio no fue que se estudiara un salmón, sino que el salmón estaba muerto. Sí, un salmón muerto comprado en un mercado local se colocó en la máquina de IRM y se descubrieron algunos patrones. Había inevitablemente patrones, e invariablemente carecían de significado.

En 2018, un profesor de economía de Yale y un estudiante graduado calcularon las correlaciones entre los cambios diarios en los precios de Bitcoin y cientos de otras variables financieras. Descubrieron que los precios de Bitcoin estaban correlacionados positivamente con los rendimientos de las acciones en las industrias de bienes de consumo y de atención médica, y que estaban correlacionados negativamente con los rendimientos de las acciones en las industrias de productos fabricados y minería metálica. "No damos explicaciones", dijo el profesor, "solo documentamos este comportamiento". En otras palabras, es posible que también hayan analizado las correlaciones de los precios de Bitcoin con cientos de listas de números de teléfono y reportaron las correlaciones más altas.

El director del Laboratorio de Alimentos y Marcas de la Universidad de Cornell escribió (o fue coautor) más de 200 artículos revisados ​​por pares y escribió dos libros populares, que fueron traducidos a más de 25 idiomas.

En una publicación en el blog de 2016 titulada "El estudiante graduado que nunca dijo nada", escribió sobre un estudiante de doctorado a quien se le había dado información recopilada en un bufé italiano de todo lo que puedas comer.

Apareció una correspondencia por correo electrónico en la que el profesor aconsejó al estudiante graduado que dividiera a los comensales en “hombres, mujeres, asistentes a la comida, asistentes a la cena, personas sentadas solas, personas que comían con grupos de 2, personas que comían en grupos de más de 2, personas que ordenaban alcohol , personas que piden refrescos, personas que se sientan cerca del bufé, personas que se sientan muy lejos, y así sucesivamente … "Entonces ella podría ver diferentes maneras en que estos subgrupos podrían diferir:" # piezas de pizza, # viajes, llene el nivel de plato, ¿consiguieron el postre, pidieron una bebida, y así sucesivamente … "

Llegó a la conclusión de que ella debería "trabajar duro, exprimir un poco de sangre de esta roca". Al no decir nunca que no, el estudiante obtuvo cuatro papeles (ahora conocidos como "papeles de pizza") publicados con el profesor de Cornell como coautor. El periódico más famoso informó que los hombres comen un 93 por ciento más de pizza cuando comen con mujeres. Eso no termino bien. En septiembre de 2018, un comité de la facultad de Cornell concluyó que había "cometido una falta de conducta académica en su investigación". Renunció, a partir del siguiente mes de junio.

Una buena investigación comienza con una idea clara de lo que uno está buscando y espera encontrar. La minería de datos solo busca patrones e inevitablemente encuentra algunos.

El problema se ha vuelto endémico hoy en día porque las computadoras poderosas son tan buenas para saquear Big Data. Los mineros de datos han encontrado correlaciones entre las palabras de Twitter o las búsquedas de Google y la actividad criminal, los ataques cardíacos, los precios de las acciones, los resultados de las elecciones, los precios de Bitcoin y los partidos de fútbol. Puedes pensar que estoy inventando estos ejemplos. Yo no soy.

Hay correlaciones aún más fuertes con números puramente aleatorios. Es Big Data Hubris pensar que las correlaciones extraídas de datos deben ser significativas. Encontrar un patrón inusual en Big Data no es más convincente (o útil) que encontrar una matrícula inusual fuera del aula de Feynman.

Opinión cableada publica piezas escritas por colaboradores externos y representa una amplia gama de puntos de vista. Lea más opiniones aquí. Presentar un artículo de opinión en opinion@wired.com


Más grandes historias WIRED