Qué es el aprendizaje por refuerzo
Es como aprender a montar en bicicleta: nadie te da un manual con la respuesta correcta en cada momento, pero sabes cuándo te caes y cuándo avanzas. El modelo prueba, observa las consecuencias y aprende qué estrategias funcionan mejor a largo plazo.
Cómo funciona
- Agente: el sistema que decide.
- Entorno: el mundo donde actúa (un juego, un almacén, una conversación).
- Acciones: lo que puede hacer en cada momento.
- Recompensa: la señal que indica si lo hizo bien o mal.
- Política: la estrategia que el agente aprende para maximizar la recompensa total.
Ejemplo real
AlphaGo, de Google DeepMind, aprendió a jugar al go jugando millones de partidas y en 2016 venció a Lee Sedol, uno de los mejores jugadores del mundo. En el mundo real se usa para optimizar el consumo energético de centros de datos, la logística de almacenes o las pujas en publicidad digital. También es clave en el entrenamiento de los LLM, a través de RLHF.
Para qué te sirve en tu negocio
Rara vez lo aplicarás directamente, pero está detrás de muchas herramientas que usas: la puja automática en Google Ads y Meta Ads optimiza continuamente según los resultados, y los asistentes de IA deben parte de su comportamiento a RLHF.
Errores comunes
- Definir mal la recompensa: el sistema optimizará exactamente lo que le pidas, aunque no sea lo que querías.
- Esperar resultados rápidos: suele necesitar muchísimas pruebas.
- Aplicarlo donde un modelo supervisado sería más simple.
Preguntas frecuentes
¿Qué diferencia hay con el aprendizaje supervisado?
El supervisado aprende con respuestas correctas; el de refuerzo, con recompensas por sus acciones.
¿Qué es RLHF?
Aprendizaje por refuerzo en el que la recompensa sale de valoraciones humanas.
¿Las campañas automáticas de Google Ads usan aprendizaje por refuerzo?
Sus sistemas de puja aprenden de los resultados de forma continua, con técnicas de este tipo combinadas con otras.