CIENCIA

Actualización del proyecto exclusivo de DS9: en qué he estado trabajando

Actualización (9/9/2020): Este artículo ha sido reemplazado por los resultados analizados en “Lo que ningún fan ha visto antes”. Ese es el último artículo actual de mi Espacio profundo nueve serie y el mejor escaparate para mi trabajo actualizado.

Mi entendimiento de Espacio profundo nueve ha evolucionado a lo largo de los meses que he trabajado en el programa. Algunos de los artículos que he escrito contienen errores fácticos sobre cómo se masterizaron los DVD de DS9. Si hay una discrepancia entre dos artículos, puede asumir que el último artículo es más preciso que el anterior. Si tiene preguntas, no dude en escribirme. Este artículo y el otro Espacio profundo nueve Los artículos que he publicado forman una especie de diario del desarrollador sobre cómo progresó mi trabajo en el programa. Son:

Si quieres leer las entradas más importantes, lee “Mejorando Star Trek”, “El sacrificio de los ángeles” y “Lo que ningún fan ha visto antes”.

Historia original a continuación:

Han pasado varios meses desde que escribí una actualización sobre mis esfuerzos continuos para restaurar Deep Space Nine. Me tomé un descanso del proyecto durante gran parte de junio debido a una mudanza y una lesión asociada, pero volví a hacerlo en julio y he estado trabajando de manera constante desde entonces. La mayoría de mi tiempo se ha centrado en comprender cómo cambiar el episodio a varias velocidades de cuadro alternativas afectaría la suavidad del movimiento y la calidad de la imagen.

En el pasado, escribí actualizaciones cuando alcancé hitos específicos que me había fijado o descubría algo que pensaba que era interesante. Esto es más un informe de progreso. Entonces, para comenzar, un poco de recapitulación: soy toda una vida Espacio profundo nueve fan que comenzó este proyecto en enero y lo ha seguido desde entonces. He estado aprendiendo sobre el procesamiento y la codificación de video desde cero mientras trabajaba y, según todos con los que he hablado, no elegí un proyecto para principiantes.

Espacio profundo nueve es un programa VFR (velocidad de fotogramas variable), lo que significa que el DVD alterna entre la reproducción a 23,976 fps y 29,97 fps en varios puntos del episodio. Este es un formato común para la ciencia ficción de finales de los noventa. Los programas codificados de esta manera incluyen Babilonia 5, Stargate SG-1, Buffy la caza vampiros, Star Trek: la próxima generación (Solo DVD) y Star Trek: Voyager.

El episodio de Espacio profundo nueve Elegí tratar como mi vehículo de prueba, “El sacrificio de los ángeles”, es aproximadamente un 14 por ciento de imágenes de 29.97 fps y ~ 86 por ciento de imágenes de 23.976 fps. El problema es que aplicaciones como AviSynth no pueden editar vídeo VFR y deben convertirlo a CFR (velocidad de fotogramas constante). Aplicaciones como DaVinci Studio Resolve pueden técnicamente “manejar” archivos VFR, ya que los ingiere correctamente, pero la salida resultante se detiene periódicamente de una manera para la que no pude encontrar una solución limpia. Por ahora, a menos que me dé cuenta de eso, procesar el programa requiere que se convierta a CFR como paso inicial.

Si codifica un programa VFR a 23,976 CFR, el contenido de 29,97 fps se reducirá a 23,976 fps y es posible que la reproducción no sea perfectamente fluida. En algunos casos, no verá ningún tartamudeo porque no hay suficiente movimiento en la pantalla para que la reducción del cuadro sea visible. Hay un bloque de varios minutos de contenido de 29,97 fps en “Sacrifice of Angels” cuando Dukat, Dumar, Weyoun y la mujer Changeling están hablando en Ops. Si bien hay algunas señales reveladoras, solo las ve realmente cuando Dukat camina alrededor de la mesa, y esto es tanto después del posprocesamiento como de alta calidad.

La razón por la que la mano y el cuerpo de Dukat se vuelven borrosos mientras se mueve es que, si vas fotograma a fotograma, lo que está haciendo se ve así:

Aumenté un poco el brillo aquí para que la sombra sea más fácil de ver. La mayor parte del cuadro parece normal, pero puedes ver dónde va a estar la mano de Dukat en el siguiente cuadro. El error es visible pero pequeño y se limita a una parte de la pantalla.

El hecho de que gran parte de Star Trek de la era TNG sea conversación hace que los cambios en la velocidad de fotogramas sean mucho más fáciles de manejar, pero aún se nota mucho cuando sucede. Mi objetivo ha sido encontrar un método automatizado de procesamiento de DS9 que normalmente produciría un mejor movimiento durante las secciones de contenido de 29,97 fps. Pasé los últimos meses jugando con varios métodos para convertir la velocidad de fotogramas del programa para ver cómo se verían las opciones.

Sensibilidad de la fuente

La propiedad conmutativa de las matemáticas establece que cuando multiplicas dos números, no importa en qué orden escribas los números. 1 * 2 * 3 * 4 = 24. También lo hace 4 * 3 * 2 * 1. El procesamiento de video es no conmutativo. El orden en el que aplica los filtros cambia el resultado final. Los flujos de trabajo de procesamiento de video deben duplicarse exactamente para garantizar resultados precisos, hasta y potencialmente incluyendo el uso exacto de la misma aplicación y versiones de filtro.

Hay algunas razones por las que he estado explorando los resultados de Handbrake y MakeMKV en lugar de usar DVD Decrypter para crear una copia VOB de los datos del DVD en formato 59.94 entrelazado.

En primer lugar, todavía tengo que descubrir cómo lograr que la calidad de salida de video se vea tan buena como lo que logré con HB / MMKV sin crear guiones para cada episodio. De hecho, tampoco he descubierto completamente el guión del episodio. Esto es lo que obtengo por tomar mi último curso de programación alrededor de “Lo quiero de esa manera”.

Si bien somos honestos, lo quiero de esta manera, pero no obtenemos todo lo que queremos, ¿ViacomCBS? Imagen del documental “What We Left Behind” DS9, que muestra lo desafiante remasterizado se parecería.

Lo mejor de mí. Spoiler: El profesional es mejor.

En segundo lugar, Handbrake ofreció algunas opciones realmente simples para agrupar y probar una amplia gama de ajustes preestablecidos de codificación de archivos. A mediados de julio, grabé “Sacrifice of Angels” más de 250 veces por separado en Handbrake para examinar el impacto de varias configuraciones de control de calidad, indicadores H.264, velocidades de fotogramas y opciones de desentrelazado. En tercer lugar, finalmente descubrí cómo entregarle a StaxRip un conjunto de indicadores que sincronizarían la reproducción de audio / video de un archivo VFR MakeMKV, y quería experimentar con él. Finalmente, parte de aprender algo es descubrir qué no que hacer. Cometo muchos errores y algunos de ellos a propósito, solo para ver cómo varias ideas cambian el resultado final.

He pasado mucho tiempo durante los últimos dos meses jugando con varios métodos para cambiar las velocidades de cuadro. AviSynth tiene una serie de filtros para cambiar la velocidad de fotogramas y los diferentes filtros de fuente producen salidas sutilmente diferentes. He experimentado con varios métodos de interpolación de hasta 119,88 fps antes de volver a recortar, ya sea a una velocidad de fotogramas de compromiso como 59,97 o de nuevo a 23,976. He realizado muchas pruebas combinando un pase a través de Davinci Studio Resolve a través de un procesamiento posterior con AviSynth, o antes de AviSynth, o después. He experimentado con varios niveles de calidad H.264 y ajustes preestablecidos específicos para ver el impacto que tendrían en las áreas de movimiento problemático en el programa. Para ser honesto, desarrollé una estrategia para qué Quería codificar y permití que la codificación se adelantara a mis evaluaciones reales. Todavía estoy evaluando lo que he creado. Si alguno de estos métodos hubiera arrojado un único ganador claro, lo habría dicho, pero ciertamente he visto algunas diferencias intrigantes entre los datos. Incluso he jugado con algunos de los métodos de interpolación basados ​​en IA para ver cómo se comparan.

Aparte de esto, he experimentado con el desentrelazado basado en 59,97 archivos VOB. Incluso con la ayuda de scripts de parte de la comunidad de Doom 9, no he encontrado una solución única, amplia, de disparar y olvidar que me brinde una calidad de imagen tan clara como la que obtuve de MakeMKV y Handbrake. Parte de la razón por la que elegí ceñirme a estas fuentes al evaluar el movimiento es que sabía que ya había logrado algo razonablemente cercano a lo que consideraría calidad final. Quería mantener ese conjunto de variables constante y experimentar con los métodos con los que ya había trabajado, especialmente cuando tenía problemas para lograr la misma calidad de imagen. Todavía espero encontrar uno, pero por eso elegí concentrar mi tiempo en lo que hice.

Los pros y los contras de 119,88 fps

Una forma de resolver el problema de reproducción de 23,976 fps y 29,97 fps es cambiar el contenido hasta 119,88 fps. El problema con 119.88, bueno, uno de ellos, porque no solo hay un El problema es que, por definición, ha quintuplicado su carga de trabajo. Si se necesitan 15 horas de reloj de pared de tiempo de procesamiento combinado de CPU y GPU para mejorar un episodio de 23.976 DS9, tomará ~ 75 horas para 119.88.

Eso no es genial. Y para colmo de males, necesita una pantalla de 120 Hz para ver la salida sin perder la mitad de los fotogramas.

Todavía estoy jugando con 119.88, porque hasta ahora he obtenido los mejores resultados generales en esos parches problemáticos a esta velocidad de cuadros, pero es difícil imaginar intentar hacer el espectáculo de esta manera. Ampere tendría que ser más de 2 veces más rápido que la GTX 1080 Ti para que los tiempos de procesamiento de la GPU sean casi razonables.

Alternativamente, se puede intentar una velocidad de fotogramas entre 23,976 y 119,88, y también he estado experimentando allí. Todas estas velocidades de fotogramas requieren que la parte de película o video del material cambie la velocidad de reproducción en un multiplicador no entero, lo que significa que siempre hay algún grado de detección alguna cosa. Lo que varía es qué es ese algo y con qué frecuencia aparece. También probé los resultados si primero mejora la escala del video, luego procesalo. Los resultados finales son bastante buenos, pero la penalización del tiempo de reloj para procesar clips de 2560 × 1920 frente a los de 720 × 480 es mayor de lo que sugeriría el aumento de resolución por sí solo.

¿A dónde va esto?

Mi plan es ensamblar un conjunto de opciones que hagan algunas compensaciones razonables en cuanto a suavidad de movimiento versus tiempo de procesamiento versus velocidad de cuadros, con al menos dos y posiblemente tres objetivos. También he estado experimentando con enmascaramiento y suavizado últimamente, incluido el uso de una versión de un episodio con menos problemas de aliasing como guía externa de antialiasing para una versión del mismo episodio optimizada para un movimiento más suave. ¡Y funciona!

… Ish.

Una de las cosas que he aprendido es que, al buscar la línea que mejor se ajuste a un programa de televisión, puede tener mucha suerte de encontrar un método único que funcione para un episodio. Pedir un método que funcione bien globalmente para 176 episodios es pedir mucho.

La mayoría de las veces, lo que obtienes es … más o menos, y algunas cosas son muchísimo más ‘más hermosas’ que otras. El concepto de clip externo es interesante, pero después de jugar un rato con él, tengo mis dudas sobre si puede funcionar. Hay escenas que se transforman tan perfectamente como podría pedir, y escenas que, eh, no.

Así es como se ve “No”.

Supongo que una pregunta pertinente para todos ustedes sería: ¿Cuánto de lo que no funciona tienen curiosidad por ver en primer lugar? No he publicado ni hablado mucho sobre experimentos fallidos hasta la fecha, y la razón por la que esta historia no tiene más videos es que no estoy seguro de lo que la gente encontraría interesante en primer lugar. No parece tan interesante hablar de lo que no funciona. Si encuentra este tipo de trabajo en progreso más interesante, o si lo encontraría más interesante si le diera más para ver, dígalo.

Publicaciones relacionadas

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Botón volver arriba
Cerrar
Cerrar