“Científicamente comprobado”: el problema de la replicabilidad en el área de consultoría

La replicabilidad es uno de los elementos fundamentales de la ciencia. El hallazgo de un investigador sólo puede ser calificado como “científico” cuando otro investigador, en otro estudio y en otra oportunidad, consigue los mismos resultados. Sin embargo, con frecuencia, un hallazgo de la psicología es publicado, divulgado y mercadeado como algo “científicamente comprobado”, solo para que luego, al intentar ser replicado por otros investigadores, dicho hallazgo no se repita.

¿Con cuánta frecuencia podría estar sucediendo esto? Ahora lo sabemos.

En 2015, Brian Nosek y su equipo de investigadores publicaron en la revista “Science” (luego de recopilar los resultados de 100 de los más prestigiosos hallazgos en el área de la psicología) que aproximadamente 2 de cada 3 de los estudios más relevantes de los últimos 7 años no eran fácilmente replicables. En una frase: 2 de cada 3 hallazgos psicológicos “científicamente comprobados” no podían ser catalogados como tales.

El sistema que refuerza este terrible estado de cosas es complejo: incluye escalafones universitarios que ascienden a sus profesores solamente a partir de trabajos originales (y no premian el replicar otros estudios, a pesar de que la replicación sea básica para la ciencia), también incluye publicaciones que sólo aceptan trabajos cuando los resultados son positivos (es decir, cuando el hallazgo que se supone que se debe obtener efectivamente se obtiene), y por último incluye -a nivel empresarial- la tendencia de las consultoras a ofrecer productos y servicios de psicología apalancados en lo llamativo de la oferta, y no en lo verdadero de la misma.

Las empresas deben ser muy cuidadosas con el tipo de consultoría que permiten en el área psicológica, porque el costo de los servicios de psicología en las empresas (uso de pruebas, entrenamientos, coaching, procesos de selección, etc) genera alto retorno cuando es bien usado, pero puede ser dinero desperdiciado si se utiliza en la contratación de servicios que no son replicables: para tener una idea del tamaño del negocio de consultoría en esta área, se estima que la inversión (solamente en el área de la psicometría) mueve un total de 4 millardos de dólares anuales y crece a una tasa anual de 15% en el mundo. Todo eso sin contar los procesos de coaching, formación profesional, y otros servicios en los cuales los elementos psicológicos son centrales y muchas veces se ofrecen con promesas de éxito “avaladas científicamente” que no son tales.

La solución es sencilla: no podemos colocar en manos de la estadística, lo que es tarea de los seres humanos: cualquier hallazgo debe ser verificado y validado, antes de ser calificado como tal.

En consultoría organizacional esto significa que ninguna técnica de selección, formación o desarrollo de bienestar de empleados debe implementarse en una empresa, sin antes hacer todos los esfuerzos necesarios para saber que el efecto en dicha empresa será el prometido. Es trabajo del consultor el darle a sus clientes soluciones que sean reales y verificables, y no solamente estrategias con nombres grandes, y resultados pequeños. En caso contrario, sufrirá el consultor al poner su tiempo y reputación a largo plazo en peligro, sufrirá la empresa al invertir dinero en estrategias que no funcionarán y sufrirá todo el ecosistema de consultoría, que irá viendo mermada la confianza de sus clientes.

La “crisis de replicabilidad” debe ser aprovechada para fortalecer estrategias y no para ocultar defectos.