y 
Seguimiento de cámara con precisión centimétrica para captura 3D a gran escala (dispersión gaussiana).
Resumen
Este proyecto de cliente proviene de Arionix, fundada por Alexandre Cavaleri. Aryonix desarrolla un motor de renderizado en tiempo real capaz de crear entornos 3D cinematográficos, fotorrealistas e inmersivos a partir de fotografías. Aryonix colaboró con Alas de descenso, un proyecto dedicado a explorar, mapear y filmar rutas de descenso para patines en línea, longboards y otros deportes de gravedad. El proyecto utiliza una técnica llamada dispersión gaussiana.
En los deportes de descenso, es fundamental que la reconstrucción digital se asemeje a la realidad. El recorrido debe tener la posición, la escala y la pendiente correctas para que los ciclistas puedan evaluar con precisión su dificultad, seguridad y la experiencia general de la conducción.
El principal desafío al reconstruir rutas exteriores tan largas es calcular las posiciones de la cámara: herramientas como COLMAP se desvían y acumulan errores con la distancia, tienen dificultades con patrones repetitivos naturales y vistas sin rasgos distintivos (hileras de vides, superficie de la carretera, cielo) y, sin un GPS previo, el resultado no está vinculado a coordenadas, escala o pendiente del mundo real.
Para superar estas limitaciones, Aryonix utilizó Brújula GNSS – Kit de inicio RTK para proporcionar posiciones y orientación de la cámara con precisión centimétrica durante la grabación.
El aparejo
Para solucionar esto, utilizamos un kit básico de brújula GNSS para proporcionar posiciones y rumbos de la cámara con precisión centimétrica como datos previos de la cámara para COLMAP.
- Brújula GNSS – Kit de inicio RTK: Kit GNSS/RTK con placa basada en UM982 y dos antenas helicoidales de alta calidad.
- Cámara de cine Blackmagic URSA Mini Pro 4.6K G2, grabando en formato RAW.
- El adaptador Hosa MIT-129 XLR convierte la señal PPS de la placa a niveles de audio compatibles con la cámara y protege la placa de la alimentación fantasma de la cámara.
- El teléfono ejecuta SW Maps, registra datos RTK y alimenta la placa.
Sincronización de vídeo con RTK
Conocer la posición de la cámara solo es útil si cada fotograma de vídeo se puede correlacionar con la medición RTK correcta.
El receptor GNSS emite una señal PPS (pulso por segundo). Se trata de un pulso eléctrico de alta precisión que se genera exactamente una vez por segundo GPS. En lugar de depender del reloj interno de la cámara, esta señal PPS se grabó directamente en un canal de audio de la cámara a través de su entrada XLR.
Dado que el audio se muestrea a 48 kHz, cada pulso PPS se puede detectar con una precisión inferior al milisegundo. En comparación, un solo fotograma de vídeo grabado a 24 fps dura aproximadamente 42 milisegundos. Esto permite que cada fotograma tenga una marca de tiempo mucho más precisa que si se utilizara la información de temporización de la propia cámara.
Registrar un pulso PPS cada segundo también permite detectar y corregir continuamente cualquier desfase horario en la cámara durante toda la grabación. La señal PPS marca el inicio de cada segundo GPS, mientras que el registro RTK grabado por el teléfono proporciona las marcas de tiempo GNSS correspondientes. Basta con iniciar ambas grabaciones aproximadamente al mismo tiempo para sincronizar automáticamente los pulsos PPS con los datos RTK.
Si esto te parece complejo, consulta nuestra publicación. Entendiendo el GPS Timepulse o PPS.
Capturando la escena
El equipo recorrió a pie una ruta de 800 metros a través de los viñedos de Lavaux en Suiza, grabando vídeo de forma continua.
En lugar de simplemente caminar en línea recta, la cámara se movió en espiral para observar la escena desde múltiples ángulos. Esto mejora la calidad de la reconstrucción 3D y evita las sombras proyectadas por el operador.
En ocasiones, se capturaron pequeños desvíos antes de regresar a la ruta principal, lo que añadió puntos de vista adicionales que mejoraron la precisión de la reconstrucción.
Los objetos en movimiento, como peatones y vehículos, se capturaron directamente desviando brevemente la cámara, lo que redujo la cantidad de retoques necesarios posteriormente.
Resultados
Tras sincronizar las mediciones RTK con los fotogramas de vídeo, las posiciones de las cámaras se introdujeron en el proceso de reconstrucción como información previa de las mismas. En lugar de estimar la posición de cada cámara a partir únicamente de las imágenes, el software parte de mediciones RTK con precisión centimétrica.
La representación 3D resultante se renderiza en tiempo real utilizando el motor Aryonix, conservando la posición, orientación, escala e inclinación correctas del recorrido en el mundo real.
Aunque aquí se demuestra con la técnica de dispersión gaussiana, el mismo flujo de trabajo se aplica a cualquier método de reconstrucción que se base en imágenes 2D y poses de cámara: los datos previos de la cámara sincronizada se pueden introducir en herramientas como COLMAP para entrenar dispersiones gaussianas, NeRF o reconstrucciones fotogramétricas tradicionales.
Al proporcionar posiciones de cámara precisas durante toda la grabación, el sistema RTK GNSS transforma un flujo de trabajo que normalmente sufriría de deriva acumulada en un método fiable para reconstruir entornos exteriores extensos. El resultado es una escena 3D fotorrealista que también puede utilizarse para mediciones de ruta precisas, incluyendo pendientes que suelen ser más detalladas que las disponibles en los modelos digitales de elevación existentes.
Productos relacionados
Asistente RTK
Encuentra los mejores productos para tu aplicación con tan solo unas preguntas.