A maior atualização em 5 anos. A v5 traz um design modular, quantização de primeira classe e uma nova API de serving compatível com OpenAI. Otimizada para PyTorch e totalmente interoperável com a stack de IA moderna (vLLM, llama.cpp, GGUF).
Detailed Description
Grande atualização v5! 🚀 Design modular, quantização de ponta e API compatível com OpenAI. Otimizada para PyTorch e interoperável com vLLM, llama.cpp e GGUF. 🤩 Potencialize seus projetos de IA com mais eficiência e flexibilidade! ✨
Tool Screenshot
Click to enlarge
Key Features
Design modular
Quantização de primeira classe
Nova API de serving compatível com OpenAI
Otimizada para PyTorch
Totalmente interoperável com a stack de IA moderna (vLLM, llama.cpp, GGUF)
No comments yet
Be the first to share your thoughts and start the conversation!