Olmo Hybrid

Visit

0.0 (0) Rate

Freemium Mar 07, 2026

AI & Machine Learning Open Source AI AI Model Generation

Visit Tool

About Olmo Hybrid

Modelo aberto de 7B misturando transformers e RNNs lineares

www.producthunt.com

Visit Olmo Hybrid

AI Summary

Olmo Hybrid é um modelo 7B totalmente aberto que combina atenção transformer com camadas RNN lineares. Utilizando um padrão 3:1 de Gated DeltaNet para atenção, ele iguala a precisão do Olmo 3 no MMLU enquanto usa 49% menos tokens.

Detailed Description

Olmo Hybrid: modelo de IA 🤖 aberto de 7B que une a atenção transformer com RNNs lineares. Usa DeltaNet para otimizar, atingindo a precisão do Olmo 3 no MMLU com 49% menos tokens! 🚀 Ideal para tarefas de linguagem com eficiência e precisão. ✨

Key Features

Modelo 7B totalmente aberto

Combina atenção transformer com camadas RNN lineares

Utiliza um padrão 3:1 de Gated DeltaNet para atenção

Atinge a mesma precisão do Olmo 3 no MMLU

Utiliza 49% menos tokens

Videos

4

YouTube

OLMo Hybrid: AI2's Open Transformer-RNN Model Trained in 6 Days

YouTube

OLMo Hybrid: AI2's Open Transformer-RNN Model Trained in 6 Days

YouTube

AI2's OLMo Hybrid Trained in 6 Days on 512 GPUs... #Shorts

YouTube

AI2's OLMo Hybrid Trained in 6 Days on 512 GPUs... #Shorts

Comments 0

No comments yet

Be the first to share your thoughts and start the conversation!

Sign in to Comment

Join the conversation

Sign in to leave a comment and share your thoughts.

Olmo Hybrid