Modificando la valoración de los grados de significación (p)

Como es bien conocido, los grados de significación son objeto de controversia desde hace tiempo, sobre todo a partir de trabajos críticos como el de Vul (2009). Se ha intentado bien corregir la problemática con el uso de algoritmos modificados, por ejemplo en R (Herrero et al., 2011), e incluso eliminarlo (Newcombe, 2013), pero su uso tan extendido en el campo de las publicaciones científicas ha resistido hasta ahora todos los intentos de eliminación o modificación de una forma generalizada (Wasserstein & Lazar, 2016).

Ahora un grupo de investigadores, de distintos campos científicos, han planteado en la revista Nature Human Behavior alterar el criterio de significación estadística para un resultado del valor p clásico (Preprint en PsyArXiv http://osf.io/preprints/psyarxiv/mky9j; Benjamin et al.,2017). La nueva propuesta sugiere modificar el 0,05 por el 0,005. Entre las ventajas que podrá contener el cambio de criterio se encuentra mejorar la reproducción de los trabajos de investigación, disminuyendo los falsos positivos que se dan en este momento por usar el criterio del p<0,05. De esta forma, la línea propuesta hará que solo aquellos resultados con valores de p inferiores a 0,005 pasarán a ser considerados estadísticamente significativos. 

Debemos tener en cuenta toda la problemática que conlleva el cambio del paradigma clásico de valoración, no solo alterando los algoritmos de programas como el SPSS, sino sobre todo a la hora de evaluar la bibliografía anterior del tema investigado. De esta forma, muchas líneas de investigación deberán ser alteradas e incluso cerradas ya que valoraciones significativas pasarán ahora a no serlo. 

Por ejemplo supongamos la siguiente matriz de correlaciones generada por el paquete estadístico SPSS:

...usando el criterio clásico vemos que solo 3 correlaciones de Pearson son consideradas como no significativas (celdas marcadas en rojo).

Ahora si cambiamos el criterio al sugerido por Benjamin et al., 2017 nos encontraremos con una matriz con la valoración siguiente:

...que como podemos observar ha pasado a contener 6 correlaciones no significativas.

Por último, señalar que un criterio aún mas riguroso sería la aproximación "cuántica", donde el valor criterio del grado de significación pasa a ser p<0,0000005.

Referencias. 
*Benjamin, D. J., Berger, J., Johannesson, M., Nosek, B. A., Wagenmakers, E.-J., Berk, R., … Johnson, V. (2017, July 22). Redefine statistical significance. Retrieved from psyarxiv.com/mky9j

*Herrero,F.J.; Cuesta,M.; Fernández,P. y Vallejo,G., 2011. Uso de 4 procedimientos de ajuste del grado de significación en una matriz de correlaciones: Un algoritmo R incrustado en SPSS. Grupo Diseños de Investigación y Análisis de Datos, Report DPAM#18.08.1.A, Informe inédito, Universidad de Oviedo

*Newcombe, R. G. (2013). Confidence intervals for proportions and related measures of effect size. Boca Raton,FL:CRC Press.

*Vul, E., Harris, C., Winkielman, P., & Pashler, H. (2009). Puzzlingly high correlations in fMRI studies of emotion, personality, and social cognition. Perspectives on psychological science, 4(3), 274-290.

*Wasserstein,R.L. & Lazar,N.A. (2016): The ASA's statement on p-values: context, process, and purpose, The American Statistician, DOI: 10.1080/00031305.2016.1154108 (URL: http://dx.doi.org/10.1080/00031305.2016.1154108, acceso 9-03-2016)