Pular para o conteúdo principal

Limites de Taxa e Custos

Entender e gerenciar o uso da API é crucial para uma experiência tranquila e econômica com o AI Cockpit Reasoning. Esta seção explica como rastrear o uso de tokens, custos e como configurar limites de taxa.

Uso de Tokens​

O AI Cockpit Reasoning interage com modelos de IA usando tokens. Tokens são essencialmente pedaços de palavras. O número de tokens usados em uma solicitação e resposta afeta tanto o tempo de processamento quanto o custo.

  • Tokens de Entrada: São os tokens em seu prompt, incluindo o prompt do sistema, suas instruções e qualquer contexto fornecido (por exemplo, conteúdo de arquivos).
  • Tokens de Saída: São os tokens gerados pelo modelo de IA em sua resposta.

Você pode ver o número de tokens de entrada e saída usados para cada interação no histórico do chat.

Cálculo de Custo​

A maioria dos provedores de IA cobra com base no número de tokens usados. O preço varia dependendo do provedor e do modelo específico.

O AI Cockpit Reasoning calcula automaticamente o custo estimado de cada solicitação de API com base no preço do modelo configurado. Esse custo é exibido no histórico do chat, ao lado do uso de tokens.

Nota:

  • O cálculo de custo é uma estimativa. O custo real pode variar ligeiramente dependendo das práticas de faturamento do provedor.
  • Alguns provedores podem oferecer níveis gratuitos ou créditos. Verifique a documentação do seu provedor para obter detalhes.
  • Alguns provedores oferecem cache de prompt, o que reduz bastante o custo.

Configurando Limites de Taxa​

Para evitar o uso excessivo acidental da API e para ajudá-lo a gerenciar os custos, o AI Cockpit Reasoning permite que você defina um limite de taxa. O limite de taxa especifica o tempo mínimo (em segundos) entre as solicitações de API.

Como configurar:

  1. Abra as configurações do AI Cockpit Reasoning (ícone no canto superior direito).
  2. Vá para a seção "Configurações Avançadas" na guia Provedores.
  3. Encontre a configuração "Limite de Taxa (segundos)".
  4. Digite o atraso desejado em segundos. Um valor de 0 desativa o limite de taxa.

Exemplo:

Se você definir o limite de taxa para 10 segundos, o AI Cockpit Reasoning aguardará pelo menos 10 segundos após a conclusão de uma solicitação de API antes de enviar a próxima.

Dicas para Otimizar o Uso de Tokens​

  • Seja Conciso: Use uma linguagem clara e concisa em seus prompts. Evite palavras ou detalhes desnecessários.
  • Forneça Apenas Contexto Relevante: Use menções de contexto (@file.ts, @folder/) seletivamente. Inclua apenas os arquivos que são diretamente relevantes para a tarefa.
  • Divida as Tarefas: Divida tarefas grandes em subtarefas menores e mais focadas.
  • Use Instruções Personalizadas: Forneça instruções personalizadas para orientar o comportamento do AI Cockpit Reasoning e reduzir a necessidade de explicações longas em cada prompt.
  • Escolha o Modelo Certo: Alguns modelos são mais econômicos do que outros. Considere usar um modelo menor e mais rápido para tarefas que não exigem todo o poder de um modelo maior.
  • Use Modos: Diferentes modos podem acessar diferentes ferramentas, por exemplo, o Architect não pode modificar o código, o que o torna uma escolha segura ao analisar uma base de código complexa, sem se preocupar em permitir acidentalmente operações caras.
  • Desative o MCP se não for usado: Se você não estiver usando os recursos do MCP (Model Context Protocol), considere desativá-lo nas configurações do MCP para reduzir significativamente o tamanho do prompt do sistema e economizar tokens.

Ao entender e gerenciar o uso da sua API, você pode usar o AI Cockpit Reasoning de forma eficaz e eficiente.