nramosdev · Blog
Entrena embeddings multi-vector (ColBERT) con Sentence Transformers
TL;DR
Entrena embeddings multi-vector (ColBERT) con Sentence Transformers
¿Tu buscador de documentos no encuentra nada? El problema no es tu modelo: es que comprime todo el texto en un solo vector. Hoy te enseño a entrenar y afinar modelos de embeddings multi-vector (estilo ColBERT) con Sentence Transformers, y a crear el tuyo para tu dominio en horas, en una sola GPU de consumo.
Capítulos del vídeo
- 00:00 — El problema: un solo vector
- 00:14 — Qué es un modelo multi-vector
- 00:30 — Por qué afinar para tu dominio
- 00:45 — El caso real: MIRIAD médico
- 01:01 — Los seis componentes del entrenamiento
- 01:16 — El punto de partida importa
- 01:32 — El conjunto de datos
- 01:49 — La función de pérdida
- 02:04 — El truco del escala
- 02:20 — La receta completa
- 02:37 — Los resultados
- 02:55 — El tamaño del índice
El contexto
DATOS CLAVE
Análisis
-
Un modelo multi-vector guarda UN VECTOR POR TOKEN y puntúa con el operador MaxSim
-
Los checkpoints SIN supervisar se adaptan mejor a un dominio nuevo que los ya afinados
-
Receta: checkpoint pre-supervisado + 1M pares de tu dominio + negativos en lote + longitud completa
Puntos clave
- Ver datos y cifras en el vídeo: https://www.youtube.com/watch?v=ZNDQ6LKMC1U
- Investigación previa documentada en el pipeline de vídeo (research.md del proyecto)
- Fuentes primarias listadas a continuación
Fuentes
Conclusión
- 14.5 horas en una RTX 3090 (pico 17.5 GB VRAM) para superar a todo modelo de propósito general
Artículo generado automáticamente desde el vídeo publicado en nramosdev. Cada número citado proviene de la investigación verificada del pipeline.