Ajuste rápido

El ajuste de instrucciones es una técnica eficaz para adaptar grandes modelos preentrenados, en particular los Modelos de Lenguaje Extenso (LLM), a tareas específicas sin modificar los parámetros del modelo original. En lugar de volver a entrenar todo el modelo, o incluso una parte significativa de él, el ajuste de instrucciones se centra en aprender pequeñas "instrucciones suaves" específicas de la tarea -incrustaciones devectores continuos- quese añaden al texto de entrada. Este enfoque reduce significativamente los recursos informáticos y los datos necesarios para la adaptación, en comparación con el ajuste fino tradicional.

Cómo funciona el ajuste rápido

En el Ajuste de Pronósticos, la idea central es mantener congelados la gran mayoría de los parámetros del modelo preentrenado. Al adaptar el modelo a una tarea como el análisis de sentimientos o la generación de texto, en lugar de ajustar los miles de millones de weights and biases dentro del modelo, sólo se entrena un pequeño conjunto de parámetros de instrucciones (las incrustaciones suaves de instrucciones) mediante el descenso gradiente. Estas incrustaciones aprendidas actúan como instrucciones o contexto, guiando al modelo congelado para producir el resultado deseado para la tarea específica. Esto lo convierte en una forma de ajuste fino eficiente de parámetros (PEFT), que reduce drásticamente la barrera para especializar modelos de fundamentos masivos.

Ventajas del ajuste rápido

El ajuste rápido ofrece varias ventajas:

• Eficiencia computacional: Requiere muchos menos cálculos y memoria que el ajuste fino completo, ya que sólo se actualiza una pequeña fracción de los parámetros durante el entrenamiento.
• Almacenamiento reducido: Sólo es necesario almacenar el pequeño conjunto de incrustaciones rápidas para cada tarea, en lugar de una copia completa del modelo ajustado.
• Adaptación más rápida: Entrenar instrucciones para tareas específicas es mucho más rápido que ajustar todo el modelo.
• Mitigación del olvido catastrófico: Como los parámetros originales del modelo permanecen inalterados, el modelo conserva sus capacidades generales aprendidas durante el preentrenamiento, evitando el problema de que el ajuste fino en una tarea degrade el rendimiento en otras(interferencia catastrófica).
• Despliegue simplificado: Se pueden utilizar múltiples avisos específicos de tareas con un único modelo central compartido, lo que simplifica el despliegue y la gestión de modelos en los pipelines MLOps.

Aplicaciones en el mundo real

Prompt Tuning es especialmente eficaz para personalizar grandes modelos lingüísticos para aplicaciones especializadas:

1. Chatbots de Atención al Cliente Personalizados: Una empresa puede tomar un LLM general preentrenado como el GPT-4 y utilizar el ajuste de avisos para crear avisos especializados para diferentes áreas de asistencia (por ejemplo, facturación, asistencia técnica, consultas sobre productos). Cada aviso guía al modelo base para que responda adecuadamente en ese contexto específico, utilizando el lenguaje y los conocimientos específicos de la empresa, sin necesidad de modelos ajustados por separado. Esto permite escalar eficazmente las capacidades del chatbot.
2. Generación de contenidos especializados: Una agencia de marketing podría utilizar Prompt Tuning para adaptar un gran modelo de generación de texto para crear contenido con voces o estilos de marca específicos (por ejemplo, informes formales, entradas de blog informales, textos publicitarios pegadizos). Se entrenan instrucciones distintas para cada estilo, lo que permite que el mismo potente modelo base de organizaciones como OpenAI o Google AI sea versátil para las distintas necesidades de los clientes.

Sintonización del indicador frente a conceptos relacionados

Es importante distinguir la Sintonización Prompt de otras técnicas similares:

• Puesta a punto: Consiste en actualizar una gran parte, o incluso todos, los parámetros del modelo preentrenado en un nuevo conjunto de datos. Es más intensivo desde el punto de vista computacional, pero a veces puede lograr un mayor rendimiento adaptando profundamente las representaciones internas del modelo. Los consejos para el entrenamiento de modelos a menudo cubren aspectos del ajuste fino.
• Ingeniería Prompt: Se centra en diseñar manualmente instrucciones eficaces basadas en texto (hard prompts) para obtener el comportamiento deseado de un modelo preentrenado congelado. Implica elaborar instrucciones y ejemplos dentro del propio texto de entrada y no implica entrenar ningún parámetro nuevo. En esta categoría se incluyen técnicas como el estímulo de cadena de pensamiento.
• Prompt Enriquecimiento: Mejora automáticamente la consulta de entrada de un usuario añadiendo contexto o información relevante (por ejemplo, utilizando la Generación Mejorada por Recuperación (RAG)) antes de que la procese el modelo de IA. A diferencia del ajuste de la consulta, no modifica el modelo ni entrena los parámetros, sino que refina la consulta de entrada.
• LoRA (Adaptación de bajo rango): Otra técnica PEFT que inyecta pequeñas matrices de bajo rango entrenables en las capas existentes (como el mecanismo de atención) del modelo preentrenado. Actualiza distintas partes del modelo, en comparación con el Ajuste de Preferencia, que se centra únicamente en las incrustaciones de entrada. Ambos se encuentran a menudo en bibliotecas como la biblioteca PEFTHugging Face .

Aunque el Ajuste de Pronósticos se aplica predominantemente a los LLM en el Procesamiento del Lenguaje Natural (PLN), el principio básico de la adaptación eficiente es relevante en toda la Inteligencia Artificial (IA). En Visión por Computador (VC), mientras que el ajuste fino completo de modelos como Ultralytics YOLO en conjuntos de datos personalizados es habitual para tareas como la detección de objetos, los métodos PEFT están ganando adeptos, especialmente para grandes modelos multimodales. Plataformas como Ultralytics HUB agilizan el proceso de entrenamiento y despliegue de varios modelos de IA, incorporando potencialmente técnicas tan eficientes en el futuro.

En resumen, Prompt Tuning ofrece un método potente y eficaz para especializar grandes modelos preentrenados, como los LLM, para diversas tareas, equilibrando el rendimiento con la viabilidad computacional. Representa un avance clave para hacer que los potentes modelos de IA sean más adaptables y accesibles.