Inteligência artificial · Na prática · 6 min de leitura
Rodar LLMs localmente e quantização
Modelos de pesos abertos podem rodar no seu computador ou servidor; a quantização reduz o tamanho deles para caber em menos memória.
Arraste para o lado para ver o diagrama inteiro.
Por que rodar local
- Privacidade: textos sensíveis não vão para terceiros.
- Custo previsível em uso intenso.
- Funciona offline e sem limites de API.
Em troca, os maiores modelos de ponta só existem por API, e você cuida de atualização e infraestrutura.
Quantização
Os pesos são guardados com menos bits (por exemplo, 4 em vez de 16). Um modelo de 7 bilhões de parâmetros cai de cerca de 14 GB para algo em torno de 4 GB, com perda de qualidade pequena na maioria das tarefas. Formatos como GGUF e ferramentas como llama.cpp e Ollama tornam isso simples.
Escolhendo o tamanho
Modelos pequenos (alguns bilhões de parâmetros) rodam em notebooks e servem para classificação, extração e resumo. Tarefas complexas pedem modelos maiores e GPUs com mais memória. Teste com as suas tarefas antes de decidir.
Em resumo
- Pesos abertos rodam na sua máquina.
- Quantização reduz memória com pouca perda.
- Privacidade e custo previsível são as vantagens.
- Confira licença e requisitos de hardware.