Rutear el gasto en IA cuando Astra cuesta 2,5 veces Sol

Es más fácil rutear tu factura de inferencia cuando precios una tarea terminada en lugar de un token. El precio de la API estándar de GPT-6 Astra es de $10 por millón de tokens de entrada y $50 por millón de tokens de salida, 2,5 veces el precio estándar de GPT-5.6 Sol de $4 de entrada y $20 de salida.

La diferencia es el peaje de entrada, no toda la historia. OpenAI está dando acceso a GPT-6 Astra primero a un grupo limitado de organizaciones, con acceso previsto para usuarios de ChatGPT Plus, Pro, Business y Enterprise, la API de OpenAI, Microsoft Azure y AWS Bedrock.

El precio de etiqueta no define la ruta

La capacidad es parte de la decisión. La evaluación OSWorld 2.0 de OpenAI situó a Astra en 72,6 por ciento y a Sol en 65,7 por ciento. En Terminal-Bench Science 0.1, Astra obtuvo 64,6 por ciento frente al 52,6 por ciento de Claude Fable 5.1, con un coste estimado de API aproximadamente 31 por ciento menor para Astra.

La capacidad por sí sola no define la ruta. La guía de eficiencia de costes de ML6 señala el coste total de completado de tarea, no los precios de lista por token. También exige tareas representativas de producción, criterios de éxito definidos antes de ejecutar y pruebas repetidas de cada configuración.

El coste por tarea resuelta cuenta el gasto total de una tarea que cumple tu umbral de éxito. Incluye entrada, salida, entrada en caché, escrituras en caché, reintentos y llamadas de respaldo. Un intento fallido que se reintenta sigue contando en el total. Cuenta las tareas completadas, no los intentos, como denominador.

Un modelo puede parecer caro por token y aun así ser más barato por tarea completada si necesita menos reintentos. Puede parecer barato por token y aun así ser caro si produce salidas que requieren reparación humana. Usa el trabajo completado como unidad, incluyendo reparación y reintentos.

El número de tarea resuelta es la ruta

En la prueba interna de migración a Kubeflow Pipelines de ML6, Astra con bajo esfuerzo completó la tarea sin fallos de ejecución ni de compilación, usando menos tokens y menos tiempo que Sol con alto esfuerzo. El Coding Agent Index de Artificial Analysis muestra a Astra (Max) con una puntuación de 62 y un promedio de 3,3 millones de tokens por tarea, frente a Sol (Max) con una puntuación de 55 y un promedio de 10,2 millones de tokens por tarea.

La ventana de contexto de 1.050.000 tokens de Astra convierte el ruteo de contexto largo en una decisión de coste, no una comodidad. Su precio estándar incluye entrada en caché a $1 por 1M tokens y un precio explícito de escritura en caché de $12,50 por 1M tokens.

Las pruebas de router hacen concreta la lógica de costes. La prueba Switchyard de Nvidia encontró que LangChain reducía los costes en 74 por ciento en 145 tareas multi-turno de Deep Agents, ruteando solo el 7 por ciento de las llamadas a un modelo de frontera y aceptando un intercambio de 6 por ciento en precisión. En la ejecución in-distribution de CodeRouterBench de los investigadores, ACRouter costó $13,21 para la ejecución completa de la tarea, frente a $34,02 por usar siempre Opus, un ahorro de 2,6x.

Trata el ruteo como una regla, no como un valor predeterminado. Algunas cargas de trabajo se quedan en el modelo más barato. Otras pasan al modelo premium. Las divisiones a mitad de tarea son para trabajos que se vuelven lo suficientemente difíciles como para justificar el premium. Por defecto, usa el modelo más barato hasta que el número de tarea resuelta diga lo contrario.

Mantén la ruta honesta

Verifica esta lista de verificación antes de la próxima factura. Cada elemento es una comprobación, no un proyecto. Aplicala a las cargas de trabajo que impulsan la factura.

• Etiqueta cada carga de trabajo con tipo de tarea, longitud de salida esperada, tasa de reintento y criterio de éxito.
• Define los criterios de éxito antes de ejecutar cualquier comparación de modelos.
• Prepara una muestra pequeña y representativa para los modelos más barato y premium.
• Registra tokens totales, fallos, reintentos y tiempo para cada tarea completada.
• Calcula el coste por tarea completada, no por token.
• Rutea al modelo premium solo cuando su coste por tarea completada sea menor o se requiera calidad.
• Revisa la ruta tras cambios en el prompt, la caché o el contexto.

Protege el acantilado de contexto largo tratando el tamaño de contexto como una entrada de ruteo, no como un valor predeterminado. Si una tarea puede dividirse, cachearse o resumirse, el coste por tarea resuelta puede bajar antes que el del modelo. Hazlo antes del próximo cambio de modelo.