Confiabilidad y Validez en la Medición del Bien Común
25/06/2021
Autor: Dr. José Luis Avila-Valdez
Foto: Área de Matemáticas UPAEP

En los últimos años, el Instituto Promotor del Bien Común de la UPAEP ha enfocado sus esfuerzos en desarrollar una métrica para medir el Bien Común en los municipios poblanos. Lo anterior se ha hecho recolectando datos a través de un instrumento de medición del bien común (IMBC), en escala Likert, desarrollado para tal propósito. La primera versión de esta escala estuvo conformada por 71 ítems, distribuidos en cinco dimensiones o constructos (justicia, estabilidad, gobernanza, agencia y humanidad).

La confiabilidad y la validez son requisitos que todo instrumento de medición debe satisfacer. La confiabilidad se refiere a la consistencia y coherencia en el sentido de obtener los mismos resultados cuando el instrumento se aplica repetidamente a un mismo sujeto. La validez, por su parte, es la capacidad del instrumento para medir lo que se supone debe medirse para un constructo.1 Para verificar lo anterior, el instrumento se aplicó a una muestra aleatoria de 450 personas mayores de 18 años que viven en el municipio de Atlixco, Puebla.

En escalas tipo Likert, por lo general se usa el coeficiente Alpha de Cronbach para evaluar la confiabilidad de la escala; esto no es del todo apropiado pues las variables categóricas son tratadas como si fueran continuas. Entonces, la confiabilidad del instrumento IMBC se evaluó por medio del coeficiente categórico omega 2,3 pues respeta la naturaleza ordinal de los datos al calcularse con la matriz de correlaciones policóricas de los ítems. Se dice que la escala es confiable cuando .

Para evaluar la validez de un instrumento se sugiere verificar: validez de constructo, validez convergente y validez discriminante.4 Así, para los constructos se llevó a cabo un análisis factorial confirmatorio (CFA), por medio del método robusto de estimación de mínimos cuadrados ponderados diagonales pues los ítems son categóricos.5 Por su parte, la validez convergente mide la cantidad de varianza que se captura por el constructo en relación con la cantidad de varianza debida a la medición del error. Cuando la varianza media extraída (AVE) es mayor a 0.5 se dice que hay validez convergente.6 La AVE también se utilizó para evaluar la validez discriminante, la cual verifica en qué medida un constructo es verdaderamente distinto de otros. En este caso, se recomienda verificar que la raíz cuadrada del AVE sea mayor que la correlación entre cualquier par de constructos6.

Como se mencionó al principio, el IMBC inicial fue de 71 ítems, que se redujeron a 67 después del proceso de validación. Entre los resultados destacan tanto la confiabilidad de la escala total como la de cada una de sus dimensiones. Aunque la validez general del instrumento es aceptable, el constructo “justicia” presenta una mayor área de oportunidad (más detalles en Ávila-Valdez y Castro-Manzano).7 Con lo anterior aseguramos que la medición del Bien Común sea lo mejor posible para, a partir de ella, diseñar estrategias de desarrollo integral certeras.

Referencias

1Awang, Z. (2015). SEM Made Simple: A gentle approach to learning structural equation modeling. MPWS Rich Publication.

2Green, S. B., & Yang, Y. (2009). Reliability of summed item scores using structural equation modeling: An alternative to coefficient alpha. Psychometrika, 74(1), 155–167.

3Kelley, K. & Pornprasertmanit, P. (2016). Confidence intervals for population reliability coefficients: Evaluation of methods, recommendations, and software for homogeneous composite measures. Psychological Methods, 21(1), 69-92.

4Ahmad, S., Zulkurnain N., Khairushalimi F. (2016). Assessing the validity and reliability of a measurement model in structural equation modeling (SEM). Journal of Advances in Mathematics and Computer Science, 15(3), 1-8.

5Yang-Wallentin & Jöreskog, K. G. & Luo, H. (2010). Confirmatory factor analysis of ordinal variables with misspecified models. Structural Equation Modeling: A Multidisciplinary Journal, 17(3), 392-423.

6Fornell C., Larcker D.F. (1981). Evaluation structural equation models with unobservable variables and measurement error. Journal of Marketing Research, 18(1), 39-50.

7Avila-Valdez, J. L. & Castro-Manzano, J. M. (2020). Measuring common goods: First steps toward validation.  Rivista Internazionale di Scienze Sociali, 4, 407-425.