Inferbench
Freemium
Aug 23, 2026
Resumo da IA
InferBench é uma ferramenta CLI independente de fornecedor que faz benchmark de motores de inferência de LLM locais como omlx e llama.cpp diretamente no próprio hardware. Em vez de confiar em métricas externas, reporta tokens por segundo reais e medidos. InferBench detecta automaticamente os motores, executa um conjunto fixo de prompts e recomenda a configuração mais rápida. auto-hospedado, licenciado Apache 2.0.
Descricao Detalhada
InferBench 🚀 é uma ferramenta CLI **vendor-neutral** para benchmark de inferência local de modelos LLM (Large Language Models). Ele testa diretamente motores como omlx, llama.cpp e outros, medindo **tokens por segundo** em tempo real 📊, sem depender de métricas externas. Sua inteligência automatizada detecta motores compatíveis, roda um conjunto fixo de prompts padronizados e sugere a **configuração mais rápida** para seu hardware 🔧. Ideal para otimizar desempenho de modelos auto-hospedados, garantindo eficiência e precisão nas medições. Com licença **Apache 2.0**, é open-source e fácil de integrar em workflows de desenvolvedores 🛠️. Use para validar custos reais de inferência, evitar gargalos e escolher a melhor estratégia para aplicações de IA 🤖.
Captura de Tela da Ferramenta
Clique para ampliar
Principais Recursos
Ferramenta de linha de comando neutra em relação a fornecedores
Faz benchmark de motores de inferência LLM locais como mlx e llama.cpp
Executa diretamente no hardware próprio, sem dependência de métricas externas
Relata tokens por segundo reais e medidos
Detecta automaticamente os motores de inferência
Utiliza um conjunto fixo de prompts para testes padronizados
Recomenda a configuração mais rápida para cada motor
É auto-hospedada
Licenciada sob Apache 2.0
Comentarios 0
Participe da conversa
Entre para deixar um comentário e compartilhar seus pensamentos.
Related Ferramentas
Categorias
Discover More AI Ferramentas
Explore our comprehensive collection of AI tools.
Browse TodosAvaliacoes
Carregando...
Loading reviews...
Nenhum comentário ainda
Seja o primeiro a compartilhar seus pensamentos e iniciar a conversa!