Sobre Soup CLI

Ajuste fino 8B LLM para GPU de laptop

Resumo da IA

LoRA mantém o modelo base congelado: leitura, escrita. Soup mantém a RAM do sistema transmitindo GPU uma camada de decodificador por vez. O pico de VRAM passa a ser uma camada em vez do modelo inteiro. Medido RTX 3050 Laptop 4 GB: Llama-3.1-8B treina 119,6 tok/s 3,32 pico. Um YAML, um comando. SFT, DPO, GRPO, KTO, mais avaliação, exportação de gating. Apache-2.0. Cada número publicado, incluindo os medidos descartados.

Descricao Detalhada

The model does not exist in https://api.airforce
discord.gg/airforce

Principais Recursos

The model does not exist in https://api.airforce
discord.gg/airforce

Videos

2
0810 | Argos AI Agent, Soup CLI Fine-Tuning, Grok Imagine 2.0 & DuckDisk
YouTube

0810 | Argos AI Agent, Soup CLI Fine-Tuning, Grok Imagine 2.0 & DuckDisk

Soup CLI: Fine-tune LLMs Locally
YouTube

Soup CLI: Fine-tune LLMs Locally

Comentarios 0

Nenhum comentário ainda

Seja o primeiro a compartilhar seus pensamentos e iniciar a conversa!

Participe da conversa

Entre para deixar um comentário e compartilhar seus pensamentos.

0.0
0 reviews
Carregando...
Loading rating distribution...
Carregando...

Loading reviews...