Qué es
La complacencia de la IA (en inglés, sycophancy) es la tendencia de un modelo a inclinar sus respuestas hacia lo que el usuario ya cree o quiere oír, aunque pierda precisión.
Mrinank Sharma y sus colegas probaron cinco asistentes y encontraron la raíz en el entrenamiento: la gente tiende a calificar mejor las respuestas que le dan la razón, y los modelos aprenden de esas calificaciones. “Eso suena aterrador” reconoce un sentimiento. “Tu miedo prueba que te están vigilando” respalda una historia. Lo segundo es el problema.
Cómo se ve en mí
Uso estas herramientas todos los días, así que trato de pedirles que me lleven la contraria. Si una respuesta se siente demasiado buena, pido el mejor argumento en contra. La adulación de una máquina sigue siendo adulación, y nunca ha sido tan barata.