Precisión y exactitud de los Eye Trackers

El lanzamiento de los últimos eye trackers de Tobii ha vuelto a poner sobre la mesa la discusión acerca de los diferentes parámetros que los fabricantes publican en las especificaciones técnicas de sus equipos. Debido a que no existe ninguna norma específica con la que homologarlos, cada fabricante emplea su propio método de medición o incluso su propia definición del parámetro.

Ello nos lleva a que idénticos valores en diferentes fabricantes no signifiquen lo mismo, por lo que no son valores comparables. Así ha quedado además reflejado en recientes investigaciones (ver Zhang y Hornof (2010) o Johnson y al. (2007)).

Precisión y exactitud son valores normalmente empleados para la comparación de prestaciones espaciales de diferentes eye trackers. Ambos valores se expresan en grados. Un grado de exactitud, por ejemplo, representa un error promedio de 11mm en una pantalla situada a 65 cm. Vamos a ver la definición de estos dos parámetros:

Exactitud de la fijación

Describe la distancia angular promedio desde el punto actual de fijación al medido efectivamente por el eye tracker. Describe, por tanto, la variación espacial entre las diferentes mediciones individuales.

Precisión de la fijación

Se refiere a la dispersión (valor RMS) del conjunto de valores obtenidos de mediciones repetidas de una magnitud. Se mide mediante el uso de ojos artificiales con objeto de eliminar interferencias producidas por los movimientos del ojo humano (microsacadas, temblor y deriva). Dichos valores se pueden expresar con o sin filtros de reducción del ruido.

Por tanto, los datos más fidedignos de la mirada del usuario los obtendremos cuando los valores de exactitud y precisión sean menores. No obstante, la importancia de dicho error dependerá del tipo de estudio que estemos realizando o del tipo de estímulo que estemos analizando. Por ejemplo, es menos tolerante el error en un estudio de lectura en el que se presenta al sujeto un texto con letra e interlineado pequeños que un estudio en que se presenten, por ejemplo, imágenes de paisajes.

Los requerimientos del posible método para realizar las mediciones deben ser tales que permitan la repetición, la objetividad, la comprensión, la universalidad, la relevancia, la independencia y el aplicarse sobre datos en bruto, es decir, sin filtrado previo. Partiendo de estas bases, Tobii ha redactado un protocolo de prueba para la obtención de dichos valores de exactitud y precisión en el que ha establecido de forma rigurosa mediciones tanto en condiciones ideales como en condiciones de medición para amplios ángulos de visión, para condiciones de iluminación variables y para diferentes posiciones del usuario. Estas diferentes variantes ilustran variaciones en los parámetros que más influyen en las prestaciones de un eye tracker.

Otro punto de gran influencia en los resultados es el propio sujeto sometido al test. Por ello, algunas de las mediciones de precisión se deben realizar con la ayuda de ojos artificiales eliminado así por completo los movimientos involuntarios del ojo humano (microsacadas, temblor y deriva).

Este gran trabajo de definición, desarrollo de metodología e incluso programación de herramientas específicas para la obtención de los valores típicos de forma fácil permitirán en un futuro próximo poder medir las prestaciones de los diferentes eye trackers de una forma equitativa. Para los que queráis documentaros más sobre dicho protocolo de pruebas, podéis consultar el siguiente documento.

Añadir que los valores obtenidos de dichos parámetros para los nuevos eye trackers de Tobii son espectaculares. Os dejo unos valores obtenidos:

En condiciones ideales Exactitud Precisión
Tobii Pro Spectrum 0.4º* 0.1º*
Tobii Pro X3-120 0.4º 0.24º
Tobii Pro Glasses 2 - -
Tobii Pro X2 Family 0.4º 0.34º

*aprox

A continuación, se muestran las hojas de producto de cada uno de estos equipos donde se pueden ver una descripción completa del ensayo y sus resultados: