El francotirador tejano

Recientemente me topé con este estudio, que hace una comparación entre diferentes tipos de familia. Ellos hacen un análisis estadístico de más de 80 factores (por alguna razón el abstract dice 40) en personas criadas en 8 diferentes tipos de familia: matrimonio heterosexual, padres divorciados, matrimonio homosexual, etc. Al final suman los factores con una desviación estándar o más de lo que consideran las familias normales (Biologically Intact en el artículo). En los resultados muestran algunas diferencias estadísticamente notables, que son analizadas un poco más a fondo. Solo con esos datos ¿a alguien se le ocurre qué puede haber de malo en este estudio, incluso suponiendo que toda la información es veraz? Es un buen ejercicio mental, vale la pena pensarlo un rato antes de seguir leyendo.

El problema está en que no están buscando nada específico, simplemente algo. Hacen un montón de comparaciones usando los 80 y pico factores, lo que facilita enormemente que aparezcan patrones aleatorios. Si vemos las categorías, hay todo tipo de items no relacionados: si votaron, si tienen empleo, frecuencia con la que ven televisión, uso de drogas, si fueron víctimas del bullying... Es decir, están buscando cualquier cosa. Y por supuesto, el que busca encuentra.

Esto se conoce como la falacia del francotirador tejano. El nombre viene de un ejemplo en el cual un tejano dispara a la pared de su granero, se acerca al hueco, dibuja un blanco alrededor y afirma que su puntería es la de un francotirador al haber dado justo en el blanco. El error está obviamente en que el punto donde llegó la bala en realidad no es especial porque necesariamente hubiera llegado a alguna parte. En resumen, es disparar ciegamente, ver qué resultado sale y hacer como si este resultado fuese significativo.

Regresando al estudio de los tipos de familia, estamos en una situación similar: si tenemos un montón de información, casi seguramente se formarán patrones. Esto no quiere decir que sean significativos, porque al hacer el estudio de nuevo con otra muestra bien podrían aparecer patrones completamente distintos.

Esto continúa: Igual que el tejano que se enfoca en el lugar donde cayó la bala y lo trata como especial, el artículo luego se concentra en esas diferencias que aparecen para sacar conclusiones, ignorando que correlación no implica causalidad. Esta frase común en la estadística lo que dice es que incluso si uno encuentra una relación entre eventos (como la orientación sexual de los padres y el consumo de cigarrillos, por ejemplo) esto no quiere decir que una cosa causó la otra. Para sacar una conclusión así se necesitaría un estudio especializado.

Lo honesto sería luego repetir la encuesta, esta vez enfocada a verificar si realmente existe la correlación entre los datos encontrados y el tipo de familia, y en caso de que sí exista una correlación, diseñar un experimento que pueda determinar si hay causalidad.

¿Cómo reconocer la falacia del francotirador tejano? En el título, resumen y abstract. Un estudio serio diría de entrada qué factor o factores se están comparando y qué se quiere comprobar. Contrastemos con el estudio que hemos usando de ejemplo, cuyo objetivo es refutar estudios especializados (que muestran que la orientación sexual de los padres no tiene efecto negativo en los hijos) buscando diferencias entre familias tradicionales y alternativas. Cualquier diferencia vale, mientras que las similitudes son descartadas.