EVIDENCIAS DE VALIDEZ DE CONTENIDO
Los ítems de los constructos psicológicos fueron desarrollados por el equipo de expertos en Psicometría y Evaluación Psicológica. Para ello, fueron desarrolladas tablas de especificación, en la que se detallan los dominios de cada
constructo y el número de ítems necesarios para abarcar cada aspecto fundamental a evaluar.
A continuación, se formula un amplio conjunto de ítems (30 por cada constructo) y se someten a prueba en el posterior estudio piloto. Una vez alcanzado el conjunto de ítems definitivo de cada constructo por los expertos de ARHU,
estos se sometieron a un juicio de expertos externo. Estos expertos tenían dos objetivos: por un lado, evaluar el vocabulario y redacción de cada uno de los ítems, de manera que fueran comprensibles para la población general.
Por otro, evaluar la representatividad de cada uno de los ítems. A los expertos se les aportó la definición de cada constructo psicológico y tenían que señalar qué constructo estaba midiendo cada uno de los ítems. A través de
diferentes indicadores de validez de contenido, se analizó qué ítems continuaban para el siguiente proceso, qué ítems tenían que ser modificados y qué ítems tenían que ser directamente eliminados por no captar el contenido para
el que fueron construidos. Una vez finalizados ambos procesos, se contó con el conjunto de ítems definitivos de cada constructo para ser sometido al posterior estudio piloto cuantitativo.
ESTUDIO PILOTO CUANTITATIVO
Se llevó a cabo un estudio piloto cuantitativo con cada uno de los constructos por separado.
El estudio piloto cuantitativo se realizó en una muestra de candidatos que aplicaron a diferentes puestos de trabajo en diferentes empresas. El objetivo era conocer cómo funcionaban las escalas en un contexto real.
Una vez aplicados los instrumentos de medida, se realizó un estudio previo de sus propiedades psicométricas. En primer lugar, se estudiaron los estadísticos descriptivos de los ítems. Aquellos con una asimetría y/o curtosis superior
a 3 fueron eliminados o, en su caso, revisados por los expertos. A su vez, se estudiaron los índices de discriminación de los ítems (que el ítem discriminase entre los que mostraban una alta y una baja puntuación total en el
determinado constructo psicológico). Los ítems con un índice de discriminación bajo fueron eliminados, lo que también llevó a aumentar la consistencia interna de los ítems. Finalmente, se realizaron análisis factoriales exploratorios
de cada constructo. Aquellos ítems que empeorasen el ajuste del modelo unidimensional y mostraran pesos factoriales (correlación ítem-factor) bajos, fueron eliminados.
Una vez cribado el conjunto de ítems de cada constructo psicológico, se contó con el conjunto de ítems definitivo que se llevará en la fase posterior en el estudio psicométrico de cada escala.
EVIDENCIAS DE LA FIABILIDAD DE LAS PUNTUACIONES
Esta es una cualidad que debe contener cualquier test dedicado a medir constructos psicológicos. Es necesario garantizar que, aunque se realice la evaluación diferentes veces, las puntuaciones que se obtienen son precisas y consistentes.
Por estas razón, ARHU lleva a cabo un análisis exhaustivo de la precisión de las puntuaciones de cada uno de los constructos psicológicos evaluados. Para ello, se empleó el coeficiente Alpha de Cronbach y el coeficiente Omega
de McDonald, lo que da a las pruebas la máxima validez científica.
A pesar de que la evaluación de algunos constructos está compuesta por pocos ítems, todos los constructos psicológicos superan el valor de .70 respecto al coeficiente Alpha de Cronbach y el valor .75 respecto al coeficiente Omega
de McDonald. Esto resume que todas las puntuaciones muestran una adecuada precisión y los ítems reflejan una alta consistencia interna. La evaluación de cada uno de los constructos es por tanto precisa y puede ser utilizada con
seguridad con una media de .85.
EVIDENCIAS DE VALIDEZ EN FUNCIÓN DE LA ESTRUCTURA INTERNA
Se llevó a cabo un Análisis Factorial Exploratorio (AFE) de cada uno de los constructos psicológicos. Introduciendo la matriz de correlaciones de Pearson entre los ítems, se analizó si una dimensión era suficiente para explicar
las conductas que subyacen a cada uno de los constructos psicológicos.
Se empleó, en primer lugar, el índice MSA de cada uno de los ítems que nos dice si el ítem es adecuado para el Análisis Factorial. Una vez cribados los ítems con un MSA inferior a .50, se calcularon los índices KMO y la prueba
de esfericidad de Barlett para analizar si los datos eran adecuados para ser sometidos a Análisis Factorial. KMO fue superior a .70 en cada una de las matrices de correlación, y la prueba de Barlett fue estadísticamente significativa
(*p* <.001).
Al tratarse de una escala Likert de 5 puntos y siendo los índices de asimetría y curtosis adecuados, se empleó un estimador de máxima verosimilitud sobre la matriz de correlaciones de Pearson.
Para analizar si el modelo unidimensional era adecuado para constructo psicológico, se empleó el análisis paralelo, porcentaje de varianza explicada, los indicadores de la unidimensionalidad (UNICO, ECV y MIREAL), y los índices
de ajuste del modelo unidimensional (CFI y RMSEA).
El análisis paralelo recomendó una única dimensión, el porcentaje de varianza explicada fue superior al 35% en todos los constructos psicológicos y los indicadores de la unidimensionalidad fueron adecuados (UNICO > .95, ECV
> .85 y MIREAL < .30). Además, el modelo unidimensional mostró un ajuste adecuado a los datos (CFI > .95 y RMSEA < .06).
EVIDENCIAS DE VALIDEZ EN FUNCIÓN DE OTRAS VARIABLES
Se estudiaron las correlaciones entre los constructos psicológicos medidos por ARHU y los cinco grandes rasgos de personalidad. La personalidad se explica en la literatura psicológica mediante cinco grandes rasgos
de personalidad: responsabilidad, apertura a la experiencia, extraversión, estabilidad emocional y amabilidad. Esta forma de estudio y medida de la personalidad es la que ha generado más consenso en la literatura científica y
por tanto la que se usará como fuente de validación de los constructos creados por ARHU. Durante la validación del test, fueron realizados numerosos estudios comparativos de los test de personalidad clásicos con las evaluaciones
de competencias de ARHU. Posteriormente, se estudiaron las evidencias de validez de relación entre las competencias laborales con cada uno de los rasgos de personalidad. Por ejemplo, si la autoeficacia se relaciona con la responsabilidad
de las personas, si ARHU ha desarrollo bien la evaluación de esta competencia entonces ésta debería de mostrar una correlación alta con la responsabilidad. La evaluación de competencias de ARHU muestra relaciones altas con las evaluaciones clásicas de rasgos de la personalidad, lo que valida externamente la utilización de dicha prueba en contextos de evaluación de personas.
