29 lines
4.1 KiB
Markdown
29 lines
4.1 KiB
Markdown
# Modelos, licenças e custo — avaliação prévia
|
||
|
||
Consulta de fontes primárias em 26/09/2026. São candidatos identificados, não alegações de versões mais recentes nem selecção final. Licença do modelo não elimina obrigações de proveniência dos dados nem valida juridicamente o uso em Moçambique.
|
||
|
||
| Candidato fixado para avaliação | Licença declarada | Recursos e decisão |
|
||
| --------------------------------------------- | ----------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------- |
|
||
| mistralai/Mistral-Small-3.2-24B-Instruct-2506 | Apache-2.0 | A ficha indica cerca de 55 GB GPU em BF16/FP16. Incompatível com a GPU virtual disponível. Quantização precisa de benchmark próprio. |
|
||
| Qwen/Qwen3-4B-Instruct-2507 | Apache-2.0 | Estimativa aritmética de pesos: cerca de 8 GB a 16 bits ou 2 GB a 4 bits, antes de KV cache, runtime e metadados. Candidato menor para benchmark, não aprovado. |
|
||
| BAAI/bge-m3 | MIT | Embeddings de 1024 dimensões, contexto máximo indicado de 8192 tokens; memória e latência locais não medidas. |
|
||
| BAAI/bge-reranker-v2-m3 | Apache-2.0 | Cross-encoder multilingue; custo cresce com pares pergunta/fragmento. Medir antes de habilitar. |
|
||
| pgvector 0.8.6 | PostgreSQL License | Código open source; extensão ausente no PostgreSQL local. Usar a mesma base, não uma base paralela. |
|
||
| vLLM | Verificar licença/release do artefacto de implantação | Ambiente de inferência controlado por provisionar; não instalado nem validado nesta máquina. |
|
||
| Ollama | Apenas protótipo local, conforme pedido | Não instalado. Não tratar o Windows virtual como equivalente ao hardware macOS anfitrião. |
|
||
|
||
Estimativa de armazenamento vectorial bruto BGE-M3: 1024 × 4 bytes = 4096 bytes por fragmento; um milhão de fragmentos representa aproximadamente 4,1 GB decimais, sem índices, texto, WAL, backups e overhead. Planear esses adicionais por medição.
|
||
|
||
Custo de API da linha de base lexical/regras: zero chamadas pagas. Há custos de CPU, energia, armazenamento, administração e revisão humana; não são zero. Latência e qualidade dos modelos permanecem não medidas. Preferência preliminar de menor necessidade de memória: testar Qwen 4B quantizado antes de adquirir GPU para Mistral 24B. Não constitui escolha final baseada em benchmark.
|
||
|
||
## Fontes primárias
|
||
|
||
- [Mistral Small 3.2 — ficha e requisitos](https://huggingface.co/mistralai/Mistral-Small-3.2-24B-Instruct-2506)
|
||
- [Qwen 4B — ficha e licença](https://huggingface.co/Qwen/Qwen3-4B-Instruct-2507)
|
||
- [BGE-M3 — ficha, licença e dimensão](https://huggingface.co/BAAI/bge-m3)
|
||
- [BGE Reranker — ficha e licença](https://huggingface.co/BAAI/bge-reranker-v2-m3)
|
||
- [pgvector — versão e operação](https://github.com/pgvector/pgvector)
|
||
- [vLLM — instalação por plataforma](https://docs.vllm.ai/en/stable/getting_started/installation/)
|
||
|
||
Antes de produção: fixar commit SHA e imagem por digest, rever licenças transitivas, efectuar benchmark em PT de Moçambique e EN com avaliadores locais, e documentar decisão de qualidade/segurança/custo. Não existe autorização implícita de envio a serviços pagos.
|