Qué es LoRA
Propuesta por investigadores de Microsoft en 2021, parte de una idea sencilla: para especializar un modelo no hace falta modificar sus miles de millones de parámetros, basta con añadir unas «capas de ajuste» pequeñas. El resultado es un archivo ligero que se aplica sobre el modelo original.
Cómo se usa
- En texto: para que un LLM adopte un formato, un estilo o una especialidad.
- En imagen: muy popular con Stable Diffusion para crear estilos, personajes o productos concretos.
- Combinable: se pueden aplicar varios LoRA sobre el mismo modelo base.
Ejemplo real
Una marca de moda entrena un LoRA con 30 fotos de su colección. Al aplicarlo a Stable Diffusion, genera imágenes de ambiente en las que sus prendas mantienen el estilo y la paleta de la marca, algo difícil de conseguir solo con prompts.
Para qué te sirve en tu negocio
Permite personalizar modelos abiertos sin grandes infraestructuras. Si necesitas un estilo visual propio o un modelo de texto especializado, LoRA es la forma más accesible.
Errores comunes
- Entrenar con pocas imágenes o de mala calidad.
- Sobreajustar: el modelo solo sabe repetir los ejemplos.
- Usar LoRA de terceros sin revisar derechos.
Preguntas frecuentes
¿Qué diferencia hay con el fine-tuning completo?
LoRA ajusta muy pocos parámetros; el fine-tuning completo, todos.
¿Qué es PEFT?
El nombre general de las técnicas de ajuste eficiente, entre las que está LoRA.
¿Necesito programar?
Hay herramientas que lo simplifican, pero requiere cierto conocimiento técnico.