nramosdev · Blog
DeciLM-7B: la arquitectura de atención que se diseñó a sí misma (NAS y GQA variable)
TL;DR
DeciLM-7B: la arquitectura de atención que se diseñó a sí misma (NAS y GQA variable)
¿Y si un modelo de 7 mil millones de parámetros hubiera usado IA para diseñar su propia atención y redujera el consumo de memoria hasta 15 veces? En este vídeo desgranamos DeciLM-7B, el modelo de Deci AI que en 2023 demostró cómo la Neural Architecture Search (NAS) y su motor AutoNAC pueden diseñar una arquitectura de atención más eficiente que los transformers estándar.
Capítulos del vídeo
- 00:00 — DeciLM-7B: el modelo que reinventó la atención
- 00:42 — La arquitectura bajo el microscopio: 32 capas y GQA variable
- 01:27 — La mecánica: atención multi-cabeza frente a GQA
- 02:11 — El secreto: Neural Architecture Search (AutoNAC)
- 02:57 — Números reales y rendimiento
- 03:43 — La historia: de startup israelí a NVIDIA
- 04:28 — Las limitaciones honestas
- 05:09 — El legado y despedida
El contexto
Analizamos su innovación clave: la atención agrupada por consultas (GQA) variable por capa, con un reparto de 4, 2 y 1 cabezas clave-valor según la importancia de cada capa. El resultado son solo 67 cabezas KV en todo el modelo frente a las 1024 de la atención multi-cabeza clásica, recortando el KV-cache un 15,3 veces.
Análisis
Vemos sus números reales de rendimiento (hasta 4559 tokens por segundo con el motor Infery-LLM), la historia de la startup israelí que NVIDIA compró por unos 300 millones de dólares en 2024, y también sus limitaciones honestas: es un modelo solo en inglés, con benchmarks de 2023 ya superados, y con la magia de AutoNAC totalmente propietaria.
DATOS CLAVE
- 7.04 mil millones de parámetros, licencia Apache 2.0, 8192 tokens de contexto
- Lanzado por Deci AI el 12 de diciembre de 2023
- Mejor modelo base 7B del Open LLM Leaderboard en su momento (media 61.55)
- GQA variable: 7 capas con 4 cabezas KV, 14 con 2, 11 con 1 → 67 cabezas totales
- KV-cache 15.3x menor que la atención multi-cabeza (1024 cabezas)
- Hasta 4559 tokens/s con Infery-LLM en A100 (vs 1174 de PyTorch naive)
- 4.4x el rendimiento de Mistral-7B con vLLM
- Deci: fundada en 2019 en Israel, $55.1M recaudados, comprada por NVIDIA en 2024 (~$300M)
Puntos clave
- Ver datos y cifras en el vídeo: https://www.youtube.com/watch?v=ci5qg8S6uBs
- Investigación previa documentada en el pipeline de vídeo (research.md del proyecto)
- Fuentes primarias listadas a continuación
Fuentes
- Model card DeciLM-7B
- Config DeciLM-7B (variable GQA)
- Anuncio de lanzamiento (PRWeb)
- Deci adquirida por NVIDIA (Square Peg)
Conclusión
Un análisis más en el canal. Suscríbete para no perderte los próximos.
Artículo generado automáticamente desde el vídeo publicado en nramosdev. Cada número citado proviene de la investigación verificada del pipeline.