nramosdev · Blog
NVIDIA Omniverse NuRec: entrena la percepción de tu coche autónomo antes de que exista
TL;DR
NVIDIA Omniverse NuRec: entrena la percepción de tu coche autónomo antes de que exista
¿Y si pudieras entrenar la percepción de un coche autónomo antes de que el coche exista? NVIDIA acaba de abrir la puerta con Omniverse NuRec. En este vídeo te explico cómo reconstruye escenas de conducción reales con gaussian splatting en 3D, renderiza nuevas vistas de cámara para la configuración de tu coche objetivo y genera datos sintéticos para entrenar tu modelo de percepción sin recopilar ni etiquetar datos de cada plataforma. Con el dataset Physical AI de NuRec en Hugging Face, más de 1.500 escenas reconstruidas, y el flujo completo empaquetado como agent skills.
Capítulos del vídeo
- 00:00 — El problema: cada coche ve el mundo distinto
- 00:07 — El coste de los datos reales por plataforma
- 00:18 — La solución: Omniverse NuRec
- 00:29 — Cómo funciona: gaussian splatting 3D
- 00:38 — Novel view synthesis: cambia cámara, calibración y lente
- 00:48 — El dataset Physical AI NuRec en Hugging Face
- 00:57 — El flujo en 4 pasos: rig, render, Harmonizer, entrenamiento
- 01:07 — Harmonizer: refina los fotogramas
- 01:15 — Los resultados del programa interno de NVIDIA
- 01:23 — Agent skills: nurec-skills automatiza el flujo
- 01:31 — Reconstruye tus propias grabaciones
- 01:39 — El formato NCore
El contexto
DATOS CLAVE
Análisis
-
NuRec reconstruye escenas reales con 3D Gaussian Splatting
-
Dataset Physical AI NuRec: +1.500 escenas reconstruidas, ~20s cada una, 6 cámaras
-
Flujo: escena + rig objetivo → render → Harmonizer → entrenamiento
Puntos clave
- Ver datos y cifras en el vídeo: https://www.youtube.com/watch?v=V_wdx0_77j4
- Investigación previa documentada en el pipeline de vídeo (research.md del proyecto)
- Fuentes primarias listadas a continuación
Fuentes
- NVIDIA Developer Blog
- Physical AI NuRec Dataset (Hugging Face)
- NVIDIA/nurec-skills (GitHub)
- NVIDIA Harmonizer (GitHub)
- Documentación NuRec
Conclusión
- Harmonizer: postprocesado temporalmente consistente
Artículo generado automáticamente desde el vídeo publicado en nramosdev. Cada número citado proviene de la investigación verificada del pipeline.