Modelo LLM se reinicia al predeterminado en cada nueva subtarea

Síntomas:

Al iniciar una tarea en Reasoning con un Modelo de Lenguaje Grande (LLM) elegido, la selección del modelo puede revertir al predeterminado cuando se inicia una nueva subtarea. En estos casos, el modelo elegido no persiste durante toda la duración de la tarea.

Causa:

Este es un problema conocido en el que el estado de selección del modelo no se mantiene correctamente entre las subtareas. El sistema vuelve al modelo principal en lugar de retener la elección del usuario.

Aunque los usuarios pueden cambiar de modelo manualmente en cualquier momento, cambiar de modelo en medio de la tarea puede introducir complicaciones. Si el modelo recién seleccionado tiene una ventana de contexto más pequeña (es decir, soporta menos tokens) que el anterior, esto puede llevar a errores o pérdida de contexto, ya que el modelo no podrá procesar todo el historial de la tarea.

Recomendaciones:

• Evite Cambiar de Modelo en Medio de la Tarea: Para una experiencia más estable, se recomienda seleccionar un modelo al inicio de una tarea y mantenerlo hasta su finalización.

• Verifique los Límites de Tokens: Si es necesario cambiar de modelo, tenga en cuenta la capacidad de tokens del modelo actual y del nuevo. Opte por un modelo con una ventana de contexto igual o mayor para evitar posibles problemas.

• Revierta si es Necesario: Si encuentra errores después de cambiar a un nuevo modelo, la mejor acción es volver al modelo original u otro que soporte un número suficiente de tokens para el contexto de la tarea.

Estado:

Nuestro equipo de ingeniería es consciente del problema principal de que la selección del modelo no persiste y está trabajando en una solución. Las actualizaciones futuras garantizarán que el LLM elegido permanezca activo durante todo el ciclo de vida de la tarea, incluyendo todas las subtareas.