Pular para o conteúdo principal

Usando Modelos Locais

O AI Cockpit Reasoning suporta a execução de modelos de linguagem localmente em sua própria máquina usando Ollama e LM Studio. Isso oferece várias vantagens:

  • Privacidade: Seu código e dados nunca saem do seu computador.
  • Acesso Offline: Você pode usar o AI Cockpit Reasoning mesmo sem uma conexão com a internet.
  • Economia de Custos: Evite taxas de uso de API associadas a modelos baseados em nuvem.
  • Personalização: Experimente diferentes modelos e configurações.

No entanto, o uso de modelos locais também tem algumas desvantagens:

  • Requisitos de Recursos: Modelos locais podem ser intensivos em recursos, exigindo um computador potente com uma boa CPU e, idealmente, uma GPU dedicada.
  • Complexidade da Configuração: A configuração de modelos locais pode ser mais complexa do que o uso de APIs baseadas em nuvem.
  • Desempenho do Modelo: O desempenho dos modelos locais pode variar significativamente. Embora alguns sejam excelentes, eles nem sempre correspondem às capacidades dos maiores e mais avançados modelos em nuvem.
  • Recursos Limitados: Modelos locais (e muitos modelos online) geralmente não suportam recursos avançados como cache de prompt, uso de computador e outros.

Provedores de Modelos Locais Suportados​

O AI Cockpit Reasoning atualmente suporta dois principais provedores de modelos locais:

  1. Ollama: Uma popular ferramenta de código aberto para executar grandes modelos de linguagem localmente. Ele suporta uma ampla gama de modelos.
  2. LM Studio: Um aplicativo de desktop amigável que simplifica o processo de download, configuração e execução de modelos locais. Ele também fornece um servidor local que emula a API da OpenAI.

Configurando Modelos Locais​

Para instruções detalhadas de configuração, consulte:

Ambos os provedores oferecem capacidades semelhantes, mas com interfaces de usuário e fluxos de trabalho diferentes. O Ollama oferece mais controle através de sua interface de linha de comando, enquanto o LM Studio oferece uma interface gráfica mais amigável.

Solução de Problemas​

  • "Nenhuma conexão pôde ser feita porque a máquina de destino a recusou ativamente": Isso geralmente significa que o servidor Ollama ou LM Studio não está em execução ou está em execução em uma porta/endereço diferente do que o AI Cockpit Reasoning está configurado para usar. Verifique novamente a configuração do URL Base.

  • Tempos de Resposta Lentos: Modelos locais podem ser mais lentos que os modelos baseados em nuvem, especialmente em hardware menos potente. Se o desempenho for um problema, tente usar um modelo menor.

  • Modelo Não Encontrado: Certifique-se de ter digitado o nome do modelo corretamente. Se você estiver usando o Ollama, use o mesmo nome que você fornece no comando ollama run.