Beyond Cumulated Gain and Average Precision: Including Willingness and Expectation in the User Model

En la rama de IR (Information Retrieval) se emplean comúnmente dos métricas por separado: un criterio de paro y la satisfacción del usuario. Hasta la fecha de este artículo, no habían sido usadas a la vez.

Asumiendo que el usuario observe la lista de resultados que obtiene de manera secuencial, se sabe que al ver cada resultado en orden parará o continuará. La métrica del artículo está definida sobre este par de acciones.

Se hace la suposición de que el detenerse en un resultado depende de dos factores: cuánto esfuerzo está dispuesto el usuario a emplear antes de encontrar un nuevo documento relevante, y cuanto esfuerzo espera gastar antes de encontrar un nuevo documento relevante. Estos dos se encuentran influenciados por otros factores como cuánta información relevante ha visto el usuario hasta el momento, el esfuerzo que debe gastar para obtener los siguientes resultados, cuánta información relevante está presente en el listado, etc.

La disposición del usuario depende sobre cuántos documentos más espera el usuario encontrar y por lo tanto se relaciona con el número total de documentos (recall). El esfuerzo (disposición) debe ser una función decreciente de la estimación del usuario sobre el número de documentos relevantes en el ranking (lista).

Según las métricas que analizan, esperan que haga paros continuos a medida que disminuye la precisión (expectativa) y cuando el número de documentos relevantes faltantes baja (disposición).

Se lleva a cabo una reinterpretación de la precisión promedio para los resultados. Los resultados indican que si se llega a un rango k, el usuario siempre continúa si el documento no es relevante y se detiene con una probabilidad que es inversamente proporcional al número de documentos relevantes dentro o después del rango k.

Los resultados al momento son interpretaciones y no se respaldan con datos duros.

Piwowarski, B., Dupret, G., & Lalmas, M. (2012). Beyond Cumulated Gain and Average Precision: Including Willingness and Expectation in the User Model. arXiv preprint arXiv:1209.4479, 2–5. Information Retrieval. Retrieved from http://arxiv.org/abs/1209.4479