Limitaciones de las metodologías basadas en opiniones de expertos. El caso de la automatización del empleo

This study examines the problems of reliability of predictions made by human beings (specifically, those considered experts in the subject matter in question). It is found that these people inevitably suffer from biases, heuristics and overconfidence, which cause them to make systematic errors in their predictions. This perspective was applied to the analysis of the investigation of Frey and Osborne (2013) on job automation risk by occupations in the U.S. The results show how, at least for the moment, the predictions of this study seem not to be coming true, both because the experts' opinions seem not to have been too effective, and because the statistical model used seems not to have improved the results. The errors in the experts' predictions are in line with the expected effects of the biases and heuristics previously described. En este estudio, se examinan los problemas de fiabilidad de las predicciones realizadas por seres humanos (en concreto, aquellos considerados expertos en la materia en cuestión). Se comprueba que estas personas adolecen, inevitablemente, de sesgos, heurísticos y exceso de confianza, lo cual les hace incurrir en errores sistemáticos en sus predicciones. Esa perspectiva se aplica al análisis del celebérrimo estudio de Frey y Osborne (2013) sobre riesgo de automatización del empleo por ocupaciones en los EE.UU. Los resultados obtenidos muestran cómo, al menos por el momento, las predicciones de este estudio parecen no estar cumpliéndose, tanto porque las opiniones de los expertos parecen no haber sido demasiado eficaces, como porque el modelo estadístico utilizado parece no haber mejorado los resultados. Los errores en las predicciones de los expertos están en línea con los efectos esperables de los sesgos y heurísticos descritos.