oMLX

Visit

0.0 (0) Avaliar

Freemium Aug 30, 2026

Productivity AI & Machine Learning Open Source API GitHub Developer Tools Coding Tools AI macOS Machine Learning Local AI LLM Optimization Infrastructure

Visitar Ferramenta

Sobre oMLX

Mac servidor LLM reduz tempo de espera do agente de 90s para 5s

omlx.ai

Visit oMLX

Resumo da IA

oMLX transforma o Mac em um servidor completo de inferência LLM, rodando na barra de menus. Suporta modelos de texto, visão, OCR, embedding e reranker com batching contínuo, além de cache em camadas RAM+SSD que sobrevive a reinicializações — Claude Code e Cursor respondem em 5s em vez de 90s. APIs compatíveis com OpenAI e Anthropic se integram diretamente. Swift nativo, não Electron. Código aberto Apache 2.0.

Descricao Detalhada

🖥️ oMLX transforma seu Mac em um poderoso servidor de inferência LLM local, rodando discretamente na barra de menus. Suporta modelos de texto, visão, OCR, embeddings e reranker com batching contínuo para máxima eficiência. 🚀 O sistema de cache em camadas RAM+SSD garante que os modelos sobrevivam a reinicializações, eliminando tempos de carregamento repetitivos. O resultado? Ferramentas como Claude Code e Cursor respondem em apenas 5 segundos, contra os habituais 90 segundos! ⚡ Compatível com as APIs da OpenAI e Anthropic, permitindo integração direta sem alterações no código existente. Desenvolvido nativamente em Swift, oferece desempenho superior ao Electron com menor consumo de recursos. 🔓 Totalmente open source sob licença Apache 2.0, ideal para desenvolvedores que precisam de privacidade, velocidade e controle total sobre seus modelos de IA sem depender de serviços em nuvem. 💻

Principais Recursos

Transforma o Mac em um servidor completo de inferência de LLM

Executa modelos diretamente na barra de menus do macOS

Suporta modelos de texto, visão, OCR, embeddings e reranker

Processamento em lotes contínuos para maior eficiência

Cache em camadas usando RAM e SSD que persiste após reinicializações

Reduz tempo de resposta de 90 segundos para 5 segundos em ferramentas como Claude Code e Cursor

Compatível com APIs no formato OpenAI e Anthropic sem necessidade de adaptações

Desenvolvido nativamente em Swift, sem uso de Electron

Projeto de código aberto sob licença Apache 2.0

Videos

7

YouTube

This Is The Best Local Model Runner For Apple Silicon (oMLX)

YouTube

oMLX : Run Local AI Models on Apple Silicon with Persistent KV Cache

YouTube

OMLX Hits 47 Tokens a Second on a Mac, LM Studio Only 16 - Daily AI Pulse

YouTube

omlx: Run Local AI on Your Mac at Full Speed (No CUDA Needed)

YouTube

Run Local AI 2x Faster on Mac: MLX & oMLX Setup Guide

YouTube

oMLX Demo: Running Multi-Agent AI Workflows Locally on Mac 🚀

YouTube

Everything You Need to Know About MLX + oMLX for Local AI on Mac

Comentarios 0

Nenhum comentário ainda

Seja o primeiro a compartilhar seus pensamentos e iniciar a conversa!

Entre para Comentar

Participe da conversa

Entre para deixar um comentário e compartilhar seus pensamentos.

oMLX