Traducción del inglés desde el Blog Amped, Procesamiento forense de imagen y video
En la reciente actualización Amped FIVE (7620), hubo una serie de mejoras relacionadas con la Relación de Aspecto de una imagen digital y los píxeles que componen esa imagen. En esta serie de publicaciones, me esforzaré por simplificar este tema con la ayuda de los nuevos filtros y funciones de Amped FIVE .
Al desarrollar Amped FIVE, se otorga una gran importancia a la flexibilidad del usuario. ¿Puede este hacer cosas simples rápidamente? ¿Puede utilizar filtros y algoritmos avanzados? ¿Puede un usuario crecer con el software para realizar análisis de nivel superior y técnicas de mejora a medida que aumenta su nivel de habilidad?
Como resultado, hay muy pocos lugares donde un usuario no puede realizar una determinada técnica o aplicar un parámetro específico. Depende del usuario, en función de su evaluación de imagen y la tarea requerida, establecer un proceso y luego completar ese proceso utilizando el software.
Durante la implementación del filtro de Relación de Aspecto, este espíritu de flexibilidad para el usuario se consideró y mantuvo.
Tú decides qué 'Relación de Aspecto de salida' aplicar. Tú decides cómo re-escalar y qué método de interpolación usar. Depende del usuario utilizar toda la información presentada y realizar un proceso basado en esa información.
Por lo tanto, es importante comprender las complejidades de la Relación de Aspecto y por qué el filtro funciona de la manera en que lo hace.
He estado mirando esto por algún tiempo. Presenté algunas investigaciones iniciales dentro de la capacitación de Amped FIVE en la Conferencia LEVA en Clearwater, Florida, en noviembre de 2015. Fue interesante comparar la diferencia entre la reducción y ampliación del video analógico de NTSC a una Relación de Aspecto 4:3. Pero, ¿por qué tenemos que hacerlo en primer lugar?
Todo se reduce a la digitalización de la señal de video analógica proveniente de un dispositivo fuente: la cámara. Sí, todavía estamos atrapados en un mundo analógico. Pasarán años antes de que todo comience como un píxel cuadrado dentro de una cámara digital.
En este momento estás mirando un monitor, presentando píxeles, y son cuadrados. Cuando observas una señal de video analógica digitalizada dentro de una computadora, ves esa imagen construida con píxeles cuadrados.
Sin embargo, la señal original no comenzó como píxeles. Era una señal de líneas. Durante la conversión de analógico a digital (A > D), cada línea se muestrea a una frecuencia establecida.
En PAL hay 576 líneas visibles activas, en NTSC tienes 486 líneas visibles activas.
Para realizar el proceso de muestreo, es necesario leer cada línea a una velocidad determinada. Esta es la frecuencia de muestreo.
Como cada línea completa tiene una duración, es posible identificar que cada muestra tiene una forma visual ... ¡y esta forma no es cuadrada!
Pero espera, ¡cada píxel es cuadrado! Si, eso es correcto; cada muestra se exprime en un píxel cuadrado.
En el ejemplo anterior (solo para fines demostrativos), tenemos 5 líneas de muestras que son un poco más anchas que su altura. Esto es solo una explicación ya que, si recuerdas, la señal no se separa hasta que se haya producido el muestreo y la digitalización.
Para el almacenamiento, cada muestra se asigna a un píxel. El resultado es que nuestra representación digital es incorrecta. Su Relación de Aspecto, la correlación entre ancho y alto, es incorrecta.
Dentro del proceso de digitalización, debe especificarse la forma en que debe aparecer cada píxel, para replicar lo que se grabó originalmente, ... Esto es el PAR, la Relación de Aspecto de píxeles (Pixel Aspect Ratio).
Con equipos CCTV (Circuito Cerrado de TV), capturando con una cámara analógica y digitalizando luego en un DVR (Digital Video Recording), esto rara vez se informa correctamente, si es que se informa.
Entonces, ¿los píxeles se estiran a la Relación de Aspecto correcta? ...... ¡No exactamente, no se puede cambiar la forma de un píxel! Sin embargo, lo que puede hacerse es eliminar, duplicar o interpolar píxeles para tener en cuenta esta corrección y lograr la Relación de Aspecto de pantalla DAR (Display Aspect Ratio) deseada.
En la Cadena 1, tenemos tres píxeles de color. Así es como se han almacenado. Sin embargo, ahora sabemos que necesitamos ajustar la imagen para que se presente correctamente.
En la cadena 2, hemos interpolado los tres valores para agregar un nuevo píxel de ancho. Nuestros tres píxeles de color ahora ocupan un píxel adicional. Si se tratara de una forma, como un círculo que ocupa muchos píxeles, este en la cadena 1 se aplastaría. Después de la interpolación, nuestro círculo volvería a ser un círculo.
Pero mira lo que pasó. El píxel verde ahora se ha dividido en dos, y su color es mitad rojo o mitad azul.
Es vital recordar que esta transformación de píxeles se completa solo para lograr la Relación de Aspecto de pantalla DAR deseada. Ajustar una imagen para lograr esto siempre eliminará píxeles, o agregará nuevos píxeles, dependiendo de su método de escala. No hay forma de evitar esto. La decisión de agregar o eliminar se reducirá al tipo de señal de origen y al propósito de su análisis.
Identificar que el video proviene de una fuente analógica generalmente indica las dimensiones de los píxeles almacenados, como 704x480 (NTSC) o 720x288 (PAL - Campo único). El entrelazado también puede estar presente.
Hay muchos números y matemáticas involucrados en el proceso A > D (Análogo a Digital).
El estándar internacional para la digitalización de señales de video analógico, ITU-601, detalla la frecuencia de muestreo SF (Sample Frequency) para píxeles cuadrados y la frecuencia de muestreo de la señal analógica (descrita como píxeles no cuadrados).
Este cuadro muestra información importante:
El PAR se calcula dividiendo el SF de píxeles cuadrados por el SF de píxeles no cuadrados.
El DAR se calcula utilizando el SAR multiplicado por el PAR (DAR = SAR x PAR.
De esto se puede identificar que:
El PAR para NTSC es 12.273 MHz / 13.5 MHz = 0.9091
El PAR para PAL es 14.75 MHz / 13.5 MHz = 1.0925
El resultado es que para replicar el muestreo original, el ancho debe aumentarse para PAL y disminuirse para NTSC ... ¡pero hablaré más sobre esto más adelante, ya que esta decisión se basará en tus requerimientos!
¡Algún ojo de águila entre ustedes habrá descubierto que ninguno de los dos genera una imagen con una Relación de Aspecto de pantalla DAR de 4:3 (1.333)! ¿Qué ha pasado allí?
Todo esto se reduce a la flexibilidad en las fluctuaciones de señal, el procesamiento y la presentación ... también tiene que ocurrir un pequeño redondeo para adaptarse al mundo digital y el modo cómo una computadora se ocupa de las matemáticas.
La Relación de Aspecto 4:3 ha sido la 'forma' de las imágenes en movimiento desde los primeros días del cine. Las decisiones de usar esta relación se redujeron a una serie de factores que incluyen el tamaño físico y el costo de fabricación de las tiras de película, hasta un compromiso entre una imagen de forma vertical y horizontal.
Un punto importante a tener en cuenta es que la señal que se procesa no tiene un DAR de 4:3 o 1.333. Esta es la señal procesada, no el área visible. Se decidió que el 'área visible' debería ser 4:3 y es este área la que se convierte en nuestra copia digitalizada.
Ahora, después de todo esta presentación, ¿cómo debemos lidiar con el problema?
Al realizar cualquier análisis, es vital que los supuestos y las conjeturas no interfieran con los cálculos. Si lo hacen, podrían afectar más detalles que se informan como hechos. Por lo tanto, el desafío al que nos enfrentamos como Analistas Forenses de Imagen y Video es que tenemos muchas variables desconocidas. Como analistas, debemos establecer estas variables desconocidas y ser transparentes en nuestra toma de decisiones.
Si estuviéramos tratando con una señal analógica conocida, de una cámara conocida, y luego estuviéramos muestreando y cuantificando esta señal en un formato digital con un dispositivo documentado, entonces podríamos definir exactamente qué se requiere para presentar la imagen como fue capturada originalmente. Sin embargo, como sabemos, rara vez es el caso.
Tenemos cámaras desconocidas, con sensores desconocidos. Luego tenemos métodos de muestreo desconocidos, donde la consideración principal es la reducción del tamaño de los datos físicos en lugar de retener la fuente original. ¿El muestreo ya ha tenido en cuenta la transformación de señal a píxel?
Vinculado a estas incógnitas tenemos los diferentes informes de ciertas piezas clave de información. Algunos se nombran de manera diferente; algunos se leen desde la secuencia (bitstream) y otros se leen desde el contenedor (container).
¡Todo puede ser bastante confuso!
¿Bill Murray parece un poco aplastado ...? ¡Creo que alguien se equivocó en su Relación de Aspecto!
Para establecer un campo uniforme en Amped, hemos tenido que establecer algunas reglas básicas cuando se trata del mundo extraño y maravilloso de la Relación de Aspecto.
Terminología
Nota: verás a continuación que (desafortunadamente) hay cierta ambigüedad en el SAR (Storage Aspect Ratio). SAR es utilizado de manera diferente por diferentes personas y paquetes de software, pero normalmente estos usan el mismo acrónimo para dos conceptos diferentes que son la Relación de Aspecto de Almacenamiento y la Relación de Aspecto de Muestreo.
(SAR) Relación de Aspecto de Almacenamiento
Si una imagen se almacena con 200 píxeles de ancho y 100 píxeles de alto, su Relación de Aspecto de almacenamiento es 2:1
Si una imagen se almacena con 704 píxeles de ancho, y 480 píxeles de altura, su Relación de Aspecto de almacenamiento es 22:15, o 1.466 en decimales.
Si una imagen se almacena con 640 píxeles de ancho y 480 píxeles de alto, su Relación de Aspecto de almacenamiento es 4:3, o 1.333 en decimales.
(SAR) Relación de Aspecto de Muestreo
Este método de ajuste de la Relación de Aspecto se desarrolló para el contenedor MPEG4, y la información se almacena como metadato en cada fotograma. Se coloca en los metadatos en el momento de la codificación. El propósito de este valor es garantizar que un decodificador ajuste el video para tener en cuenta cómo se ha registrado.
Si una imagen se almacena con una Relación de Aspecto de Muestreo de 10:11, y tiene 704 píxeles de ancho y 480 píxeles de altura, entonces se puede producir una Relación de Aspecto de pantalla. ¿Cómo?
Ancho x 10 / alto x 11 = 1.333, o 4:3
¿Qué tal una resolución PAL estándar de 720x576. Si tuviera un SAR de 16:15, ¿cómo debería mostrarse según los datos?
720x16 = 11520, 576x15 = 8640
11520/8640 = 1.333 o 4:3
Cualquier reproductor que pueda leer el SAR mostrará la imagen a 768×576 o 720×540. Ambos son 4:3, dependerá del decodificador decidir el método de interpolación (de mayor o menor tamaño).
(DAR) Relación de Aspecto de Pantalla
El decodificador puede calcular automáticamente la Relación de Aspecto de Pantalla, utilizando la Relación de Aspecto de Muestreo (mencionada anteriormente), la Relación de Aspecto de Píxeles (mencionada a continuación), o el valor se puede colocar dentro del contenedor como una instrucción para el decodificador.
En el caso de un DVD NTSC estándar, las dimensiones en píxeles están restringidas por este formato a SD, 720x480 píxeles. Para ayudar con el material de pantalla panorámica (widescreen), el formato permite un indicador de Relación de Aspecto de Pantalla de 16:9. Como resultado, el decodificador interpolará los píxeles almacenados para garantizar que el ancho y la altura correspondan a este Aspecto más amplio.
(PAR) Relación de Aspecto de Píxeles
Como sabemos, un píxel es un cuadrado, por lo que tendrá una Relación de 1:1. Pero también sabemos que los píxeles tienen que ajustarse para tener en cuenta cómo se ha creado la imagen cuando proviene de una señal analógica o está dentro de un formato de salida analógica.
Un video grabado en tu teléfono inteligente tendrá un PAR 1:1
Una animación por computadora, creada para un DVD de video PAL, utilizando el formato Mpeg2, tendrá un PAR de 109/100 o 1.09. Esto se calcularía utilizando las dimensiones de imagen de 720x576, donde el DAR deseado es 4:3.
… y finalmente, si las normas especificadas por la UIT se han utilizado en la digitalización de una señal de video analógica NTSC, el PAR utilizada en la digitalización es 10:11.
Ahora que hemos establecido lo que significan ciertos términos, permítanme agregar el último:
Relación de Aspecto de Salida
Para evitar confusiones y malas interpretaciones, el filtro de corrección de Relación de Aspecto en Amped FIVE tiene un parámetro llamado Relación de Aspecto de Salida .
Esto se puede ingresar como una fracción, como 4/3, o como un decimal como 1.3333
No hay otra figura para entrar.
Sin SAR o PAR ... ¿Por qué?
Es imposible identificar exactamente cómo se debe ajustar una imagen, simplemente jugando con los números. Es fácil entender que cualquier cosa que comience como una fuente analógica generalmente debe mostrarse en 4:3, pero la forma en que se creó es una matriz de variables desconocidas. Tampoco podemos revertir el proceso.
No podemos suponer que un dispositivo ha seguido las especificaciones de ITU-601. No podemos retroceder en el tiempo y capturar el evento utilizando un dispositivo estándar. Cualquier ajuste que hagamos; lo hacemos con los píxeles que tenemos ahora. Si se requieren mediciones precisas, análisis de velocidad o movimiento, entonces se requiere una evaluación completa del equipo, y es posible que sea necesario realizar ajustes manualmente.
La Relación de Aspecto de Salida está diseñada para permitir el ajuste automático de la escala de una imagen, para presentar una imagen con una Relación de Aspecto más cercana a la escena original que la capturada digitalmente, teniendo en cuenta la Relación de Aspecto de pantalla prevista.
Entonces, si la fuente de datos digitales es 704x480, y está entrelazada, se originó a partir de una cámara y señal analógica. Como tal, esto debería tener una Relación de Aspecto de salida de 4:3.
Si elige ajustar la Relación de Aspecto, su método de interpolación y qué eje retener (altura / ancho) dependerá de tí.
Es hora de tomar un descanso y considerar algunos de los temas discutidos. En nuestra próxima publicación, 'Uso del Filtro de Relación de Aspecto', veremos cómo se muestra toda la información de la Relación de Aspecto, la configuración del filtro, los métodos de interpolación y algunos ejemplos prácticos de su uso.
La parte divertida será ver cómo lograr la Relación de Aspecto final 4:3. ¡Es esta etapa la que produce algunos resultados interesantes!
Esta entrada fue publicada en FIVE, Cómo hacer , Nuevas características por David Spreadborough .
Comments