Índices de ajuste dinámicos en modelos de AFC

Evaluar el ajuste de un modelo cuando se realiza un Análisis Factorial Confirmatorio (AFC), es un paso sumamente crítico ya que determina la idoneidad del modelo para explicar la estructura factorial de un instrumento psicológico. En este contexto, la práctica más extendida en Psicología, es emplear puntos de corte fijos para valorar los índices de ajuste de un modelo. Uno de los puntos de corte fijos más empleados y conocidos en la literatura científica son los sugeridos por Hu y Bentler (1999) (SRMR < .08, RMSEA < .06, and CFI > .96). 

No obstante, varios estudios metodológicos han evidenciado que los puntos de corte pueden cambiar en función del tamaño de la muestra y características del propio modelo, como el número de ítems o factores, los grados de libertad, magnitud de los pesos factoriales y la naturaleza de la especificación errónea (Heene et al., 2011; Kang et al., 2015; Kenny et al., 2014; McNeish et al., 2017; Shi et al., 2018). Por tanto, hay un creciente número de estudios que desaconsejan el uso de puntos de corte fijos, incluso los autores Hu y Bentler (1999) señalan claramente, que los puntos de corte propuesto por ellos no deberían generalizarse y ser empleados de manera rígida en todas las condiciones. Por el contrario, los puntos de corte planteados por estos autores deberían ser utilizados solo en situaciones similares a las probadas en el estudio de simulación. 

Para afrontar esta problemática, la literatura científica recomienda que los investigadores puedan desarrollar sus propios estudios de simulación para determinar los puntos de corte más idóneos considerando las características de su modelo (Kim & Millsap, 2014; Millsap, 2007). Para facilitar este proceso, McNeish y Wolf (2021) propusieron el método Dynamic Fit Index (DFI), el cual es un conjunto algorítmico de pasos que permiten determinar especificaciones erróneas hipotéticas en la simulación basados en el modelo empírico (del usuario) y de esta forma determinar los índices de ajuste dinámicos más apropiados para ese modelo. Es importante mencionar que el método DFI proporciona tres niveles/límites (puntos de corte) para que el investigador pueda evaluar de manera integral el modelo estimado.

Por ejemplo, para un modelo unidimensional, las especificaciones hipotéticas erróneas se basan en agregar correlaciones residuales entre los ítems. Por tanto, los diferentes niveles de especificación errónea se basan en la cantidad de correlaciones residuales que se agregan, donde los niveles más altos tienen más correlaciones residuales.

• Nivel 1 = Modelo ajustado más una correlación residual de .30 entre un tercio de los ítems
• Nivel 2 = Modelo ajustado más una correlación residual de .30 entre dos tercios de los ítems
• Nivel 3 = Modelo ajustado más una correlación residual de .30 entre todos los ítems

Es importante señalar que el método DIF usa la misma regla de decisión que Hu y Bentler (1999) emplearon en su estudio de simulación. Por tanto, se crean dos distribuciones para cada nivel: (1) una que supone que el modelo ajustado es correcto y (2) otra que supone que el modelo ajustado está hipotéticamente mal especificado. Para distinguir entre las dos distribuciones, se selecciona un límite (punto de corte) que permita rechazar un porcentaje mínimo de modelos mal especificados (los porcentajes mínimos son 90% o 95%) y a su vez que no rechace más que un porcentaje máximo de modelos correctos (el porcentaje máximo es 5%). Es decir, un resultado de 95/5 proporciona un límite (punto de corte) que puede rechazar al menos 95% de los modelos mal especificados en la simulación y a su vez no rechazar más del 5% de los modelos correctos en la simulación. Para una explicación más detallada del método se pueden revisar los estudios de McNeish and Wolf (2021; 2022).

Actualmente, ya existe una librería en R que permite implementar el método DFI. En un siguiente post explicare el funcionamiento de la librería "dynamic" para diferentes modelos factoriales.

Referencias

Heene, M., Hilbert, S., Draxler, C., Ziegler, M., & Bühner, M. (2011). Masking misfit in confirmatory factor analysis by increasing unique variances: A cautionary note on the usefulness of cutoff values of fit indices. Psychological Methods, 16(3), 319–336. https://doi.org/10.1037/a0024917

Hu, L., & Bentler, P. M. (1999). Cutoff Criteria for Fit Indexes in Covariance Structure Analysis: Conventional Criteria versus New Alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1–55. https://doi.org/10.1080/10705519909540118

Kang, Y., McNeish, D. M., & Hancock, G. R. (2015). The Role of Measurement Quality on Practical Guidelines for Assessing Measurement and Structural Invariance. Educational and Psychological Measurement, 76(4), 533–561. https://doi.org/10.1177/0013164415603764

Kenny, D. A., Kaniskan, B., & McCoach, D. B. (2014). The Performance of RMSEA in Models With Small Degrees of Freedom. Sociological Methods & Research, 44(3), 486–507. https://doi.org/10.1177/0049124114543236

Kim, H., & Millsap, R. (2014). Using the Bollen-Stine Bootstrapping Method for Evaluating Approximate Fit Indices. Multivariate Behavioral Research, 49(6), 581–596. https://doi.org/10.1080/00273171.2014.947352

McNeish, D., An, J., & Hancock, G. R. (2017). The Thorny Relation Between Measurement Quality and Fit Index Cutoffs in Latent Variable Models. Journal of Personality Assessment, 100(1), 43–52. https://doi.org/10.1080/00223891.2017.1281286

McNeish, D., & Wolf, M. G. (2021). Dynamic fit index cutoffs for confirmatory factor analysis models. Psychological Methods. https://doi.org/10.1037/met0000425

McNeish, D., & Wolf, M. G. (2022). Dynamic fit index cutoffs for one-factor models. Behavior Research Methods. https://doi.org/10.3758/s13428-022-01847-y

Millsap, R. E. (2007). Structural equation modeling made difficult. Personality and Individual Differences, 42(5), 875–881. https://doi.org/10.1016/j.paid.2006.09.021

Shi, D., Lee, T., & Maydeu-Olivares, A. (2018). Understanding the Model Size Effect on SEM Fit Indices. Educational and Psychological Measurement, 79(2), 310–334. https://doi.org/10.1177/0013164418783530