Durante los últimos tres meses, he estado trabajando en lo que denominé el Proyecto de Nueve Escalas del Espacio Profundo (DS9UP). El objetivo de DS9UP es crear una nueva versión mejorada del programa mediante la aplicación de técnicas de procesamiento modernas a la fuente de DVD original antes de usar un software basado en inteligencia artificial para crear una versión de mayor resolución del programa. Me ha hecho pensar en escalar y escalar en general. El aumento de escala no es una característica de la que hablamos mucho, pero la forma en que su televisor lo maneja (o, alternativamente, cómo usa la capacidad en una PC) puede tener un impacto significativo en cómo experimenta el contenido.

La palabra “exclusivo” significa genéricamente “mejorar el valor o la calidad de algo”. En el espacio de video y PC, casi siempre es una referencia para aumentar la resolución efectiva de un contenido. Por lo general, existe una diferencia comprendida entre la ampliación y la resolución nativa. Si eleva un video de 1080p a 4K, significa que está tomando una entrada de 1080p y está utilizando una combinación de hardware y software para crear una imagen más grande. Esta imagen mejorada no será idéntica a una señal 4K nativa, pero debería ofrecer una mejor imagen que la que estaba disponible anteriormente en su televisor de 720p o 1080p.

Palabra clave: “debería”. La calidad escalar de video en televisores puede variar ampliamente entre diferentes familias de productos. En algunos casos, podría ser mejor usar una GPU para conducir una imagen que confiar en la capacidad de reescalado nativa del televisor, mientras que otros televisores tienen excelentes escaladores. Los fabricantes rara vez revelan sus opciones de hardware de escalamiento, pero los televisores de gama alta deberían tener capacidades mejoradas de escalamiento. Si tiene un reproductor de Blu-ray UHD emparejado con un televisor de 1080p o 4K más antiguo o de menor calidad, incluso podría obtener mejores resultados al ejecutar todas las señales de video a través del reproductor de Blu-ray en lugar del televisor. En términos generales, un buen escalador de TV se considera tan bueno o mejor que una GPU.

Cómo se hace la salchicha escalar

La función más básica de un escalador de video es tomar cualquier imagen que reciba (480i, 720p, 1080p) y extenderla por toda la pantalla. Sin esta funcionalidad, una señal de 1080p ocuparía solo una fracción de la pantalla de un televisor 4K. Este cambio de tamaño simple generalmente se realiza tomando cada píxel individual de 1080p y creando cuatro píxeles (recuerde, 4K es cuatro veces los píxeles de 1080p).

Pero muchos televisores y reproductores de Blu-ray hacen más que simplemente realizar un mapeo simple de 1: 4. También usan técnicas de procesamiento de video para extrapolar qué detalles deben estar presentes en la escena. Qué tan bien funciona esto depende del tipo de contenido

Imagen de DisplayNinja

En la imagen de arriba, puede ver cómo el 4K mejorado está mucho más matizado que el simple mapeo 1: 4 en la segunda cuadrícula desde la izquierda. Si tiene problemas para ver la diferencia entre la escala de 1080p y la 4K nativa, mire los bloques del lado izquierdo en la primera fila y los bloques del lado derecho en la última fila. La imagen nativa de 4K se resuelve en colores claramente diferentes que la imagen de 1080p en R1C2 (es decir, primera fila, segunda columna), R1C3 y R8C8. A medida que la cantidad de potencia disponible en los televisores ha mejorado, la calidad y la sofisticación de sus escaladores integrados también han crecido. Algunos televisores modernos tienen algoritmos de nitidez sofisticados para revertir el desenfoque creado por los algoritmos de escalamiento e interpolación lo suficientemente buenos como para casi igualar la precisión de una señal 4K nativa.

¿Cómo se ve todo esto con contenido real? Un artículo de Rtings 2017 puede ayudar a responder esa pregunta. La primera imagen a continuación es de un conjunto de 4K que muestra 1080p en 4K escalado, mientras que la segunda es 1080p nativa.

Imagen de Rtings

Si tiene problemas para ver la diferencia entre las dos imágenes, ábralas en una pestaña nueva y enfoque sus ojos cerca del centro de la imagen. ¿Ves la casa con un techo marrón cerca del centro de la imagen, con tres ventanas orientadas aproximadamente al sur-suroeste y una cuarta al este? (Todas las señales direccionales basadas en el norte están “arriba”, no la dirección de la luz solar). Mire ese punto específico en ambas imágenes y los techos de los edificios inmediatamente adyacentes. La diferencia debería llamarte la atención. En este caso, incluso usando televisores que datan de 2015, la escala de 1080p a 4K es mejor que la imagen de 4K.

Imagen de Rtings

Si tiene un televisor antiguo o un modelo 4K económico, existe un método obvio para mejorar la ampliación de su televisor: comprar un televisor mejor. Desafortunadamente, es imposible predecir qué tan bien funcionará esto sin saber exactamente lo que posee ahora y lo que planea comprar para reemplazarlo. Cuanto más antiguo sea su televisor actual, mayores serán las posibilidades de que un nuevo conjunto ofrezca actualizaciones en todos los aspectos, pero muchas de esas mejoras pueden no tener nada que ver con la forma en que su escalador maneja

Si no está satisfecho con su televisor actual, no puede reemplazarlo en este momento y posee un reproductor de Blu-ray o UHD de alta gama, también puede intentar ejecutar contenido a través de su escalador en lugar de confiar en el televisor para manejarlo En algunos casos, un reproductor de Blu-ray UHD de alta gama puede ofrecer una mejor experiencia que un televisor 4K de nivel de entrada de hace unos años. Si todavía está usando un reproductor de DVD para alimentar una imagen a un panel mediocre de 1080p o 4K cuando / si reproduce DVD, y en su lugar puede cambiar a un reproductor de Blu-ray / UHD Blu-ray de alta gama, yo ‘ lo probaré Puede o no ayudar, pero definitivamente no dolerá. Lo que está tratando de hacer aquí es enrutar la señal a través de la escala ascendente que le dará la mejor calidad.

¿Todavía necesita una imagen de mayor calidad? Estás de suerte.

Procesamiento de IA en tiempo real

No he probado el Nvidia Shield más reciente, pero hay una demostración con la que puedes jugar en Nvidia.com para aplicar el efecto que ofrece la TV. Aquí hay una captura de pantalla del efecto. He colocado el control deslizante sobre el ojo del lagarto porque es el lugar más fácil para ver el impacto del escalador:

Izquierda: escala regular
Derecha: Escudo de Nvidia

¿Todavía no está claro? Aquí hay una versión ampliada de la misma captura de pantalla.

La imagen de la izquierda es una escala ascendente tradicional, la imagen de la derecha es el Escudo de Nvidia cuando se le pide que amplíe el contenido de 720p o 1080p a 4K (el contenido por debajo de 720p no es compatible para la ampliación de escala, al menos no todavía). El componente AI de la escala ascendente obviamente mejora la calidad general de la imagen. En mi experiencia con aplicaciones como TVEAI, esta es una representación justa de las mejoras que se pueden lograr.

Las revisiones de terceros del Escudo están de acuerdo. Slashgear escribe que cuando funciona, el efecto es “bastante sorprendente”. Hasta donde sé, el Shield es actualmente el único decodificador o caja 2D que ofrece este tipo de funcionalidad.

Mejora de video a través de software de terceros

Finalmente, existe la opción de usar un escalador de terceros, como Topaz Video Enhance AI. Hice un uso extensivo de TVEAI como parte del Proyecto de espacio profundo de nueve estrellas, y puedo confirmar que la aplicación es capaz de producir resultados sorprendentes. Sin embargo, una limitación importante de TVEAI es que actualmente solo admite plataformas Intel y Nvidia para el procesamiento acelerado por GPU. El procesamiento de la CPU está disponible, pero probablemente sea demasiado lento para ser tan útil.

Gracias a la mejora de escala basada en la inteligencia artificial, las habilidades históricas de ciencia ficción como la función “Mejorar” ahora son una realidad. Es una verdad evidente en la codificación de video que ninguna aplicación en la Tierra puede volver a poner los datos donde nunca existió, y eso sigue siendo cierto hoy en día. La razón por la que ahora podemos “mejorar” las imágenes para mejorar su claridad es que las aplicaciones basadas en IA son capaces de analizar un campo de video y estimar qué detalle existiría si la imagen ya tuviera una calidad superior.

Una de las formas típicas de entrenar una aplicación de mejora de video como TVEAI es proporcionar a la red neuronal la misma imagen o video en alta y baja calidad. La red neuronal se encarga de encontrar una manera de hacer que la fuente de baja calidad se parezca tanto a la fuente de alta calidad como sea posible. En lugar de tratar de enseñarle a una computadora cómo se ven las líneas y curvas proporcionando ejemplos minuciosos, hemos desarrollado la capacidad de hacer que la computadora haga el trabajo de enseñar por sí misma. Es por eso que “Mejorar” ha pasado de ser una broma completa a una realidad plausible en cuestión de pocos años.

Es posible que deba hacer zoom para ver diferencias sutiles, pero esta no es una comparación exclusiva. Es una comparación de realizar mi trabajo exclusivo en aplicaciones y pasos separados (lado izquierdo) versus ingerir toda la carga de trabajo de video en Topaz Video Enhance AI usando el sistema de archivos virtual AVFS y realizar toda la operación de una vez. Si estás pensando “Guau, esa es una pequeña diferencia, ¿a quién le importaría?” bueno, puede que tengas razón, pero no estaba bromeando cuando dije que iba a usar la fuente de mayor calidad posible.

Las aplicaciones como Topaz Video Enhance AI pueden costar varios cientos de dólares y no se ejecutan en tiempo real: el RTX 2080 parece capaz de 90-110 fotogramas por minuto al escalar videos de 640 × 480 a 2560 × 1920. Sin embargo, el resultado del uso de estas aplicaciones es una imagen mucho mejor de la que verá en cualquier otra fuente.

Fuente de DVD a la izquierda, exclusivo a la derecha.

Sospecho que veremos que el procesamiento y la ampliación de video de IA se vuelven más importantes con el tiempo a medida que Intel, Nvidia y AMD presentan sus procesadores gráficos de próxima generación. Hay una gran cantidad de contenido antiguo huérfano en una fuente de mala calidad, y la construcción de procesadores de IA especializados para solucionarlo probablemente consumirá algo de silicio para todas las partes interesadas en los próximos años.

Finalmente, he incrustado la versión actual de los créditos iniciales de DS9UP para el programa a continuación. Este es un nuevo video que no apareció en un artículo anterior de DS9UP. No hay audio en este clip y deberá elevar la resolución a 4K, pero he creado este archivo basado en la fuente del DVD con modificaciones en AviSynth, DaVinci Resolve y Topaz Video Enhance AI.

Compare eso con los créditos reales extraídos del DVD y verdaderamente cargados en YouTube:

Así es como se ven los créditos si los ve en los DVD de origen. Las mejoras de esta versión a la mía no son pequeñas.

Los escaladores superiores son increíbles y solo mejoran. Eso es cierto sin importar cómo consumas contenido o qué tecnología utilizas para hacerlo. Dependiendo de los programas que le gusten y de cuánto tiempo desee dedicar al proyecto, se pueden obtener mejoras tremendas … o simplemente puede esperar unos años y comprar un televisor mejor. Puede leer más sobre DS9UP en los enlaces a continuación.

Ahora lee: