Traducción del inglés desde el Blog Amped, Procesamiento forense de imagen y video
https://blog.ampedsoftware.com/2016/03/17/aspect-ratio-understanding-the-information-and-using-the-filter
Nuestra publicación inicial sobre el tema de la corrección de la Relación de Aspecto detalla las complejidades que rodean el mostrar una imagen y la importancia de comprender cómo se han creado nuestros datos digitales. Esta publicación incluirá la información reportada por Amped FIVE y cómo usar esa información para hacer los ajustes necesarios.
¡Hagamos un resumen!
(SAR) Relación de Aspecto de Almacenamiento: Relación ancho por alto del video digital codificado (calculado simplemente división del ancho por la altura del fotograma real almacenado).
(SAR) Relación de Aspecto de Muestreo: Relación ancho por alto de los píxeles con respecto a la fuente original. (Información, si está disponible, que se almacena dentro de las transmisiones Mpeg4).
(DAR) Relación de Aspecto de Pantalla: Relación ancho por alto de los datos tal como se supone que se mostrarán (información, si está disponible, que se almacena dentro del archivo o se calcula utilizando otros valores).
(PAR) Relación de Aspecto de Píxeles: Relación de ancho por alto de los píxeles con respecto a la fuente original (como Relación de Aspecto de Muestreo, pero calculada dividiendo DAR por Relación de Aspecto de Almacenamiento).
Es lamentable que tengamos que presentar dos definiciones diferentes para el mismo acrónimo "SAR". Diferentes estándares y piezas de software usan el mismo acrónimo, a menudo sin decir explícitamente si se trata de una Relación de Aspecto de Almacenamiento o una Relación de Aspecto de Muestreo.
¿Cómo se muestran y calculan estos valores en Amped FIVE?
Primero, tenemos la herramienta de información rápida:
Esto informa que nuestro ancho y alto de píxeles almacenados es 720x576.
La relación de aspecto de estas mediciones es de 5:4.
Este valor se indica en SAR Relación de Aspecto de Almacenamiento. Observa cómo el cálculo decimal también está presente. Este valor se obtiene dividiendo el ancho por la altura.
El siguiente valor es SAR Relación de Aspecto de Muestreo. Este valor se lee de los datos dentro de la secuencia. Establece que cada píxel tiene un tamaño de muestra de 16:15. Debemos recordar esto ya que necesitaremos esta información en breve.
El DAR Relación de Aspecto de Salida se presenta a continuación. Este cuadro de diálogo Información de Archivo lee puramente la información del archivo y no realiza ningún cálculo automático. Como resultado, la Relación de Aspecto de la pantalla se calcula de la misma manera que la Relación de Aspecto de Almacenamiento. Sin embargo, es importante recordar que si el contenedor tiene instrucciones para cambiar la relación de aspecto de la pantalla, esto se leerá aquí.
Por último, el PAR Relación de Aspecto de Píxeles. De nuevo, este es un valor calculado, utilizando la Relación de Aspecto de Almacenamiento y la Relación de Aspecto de Pantalla.
El primer problema identificado en esta información es la Relación de Aspecto de Muestra de 16:15. Para aquellas personas que han olvidado las matemáticas de la publicación inicial, esto informa al decodificador de archivos mpeg4 que:
El ancho debe multiplicarse por 16 (720 x 16 = 11520)
La altura debe multiplicarse por 15 (576 x 15 = 8640)
Los resultados deben dividirse (11520/8640)
El resultado final será la Relación de Aspecto de Visualización prevista (1.3333)
Por lo tanto, la Relación de Aspecto de Pantalla correcta para presentar el video según lo previsto es 1.333 o 4:3.
¿Por qué FIVE no hace los cálculos por mí?
Esta herramienta de información rápida de archivos solo lee la información. Depende de usted y de mí identificar la información importante y luego usarla para ayudar en el análisis.
Como resultado de ver esta información, lo siguiente que debo hacer es analizar más los datos.
Es hora de echar un vistazo a la herramienta principal de información de archivos. Recuerda; está en la cima ...
Es aquí donde encontramos algo diferente, y puede confirmar nuestros cálculos. Podría, por supuesto, hacerlo al revés, y verificar aquí primero ... y luego hacer los cálculos para validar lo que la herramienta le está diciendo.
La primera página es un resumen de la información. Puedo ver de inmediato que el DAR se calcula a partir de la relación de aspecto de la muestra y se presenta correctamente como 4:3.
También puedes ver la salida de Información de Medios asociada, etc., desde FFprobe.
Veamos ahora la información visual y usemos los datos aprendidos para corregir nuestro video para su presentación. Para ayudar en este ejemplo, he colocado una esfera en la vista de la cámara.
Puedo ver varios problemas.
Hay bordes negros a lo largo de los bordes verticales; no son iguales y uno es ligeramente más ancho que el otro.
El video está entrelazado.
El video parece 'aplastado'.
Hay cierta distorsión causada por la configuración óptica de las cámaras.
Siguiendo el modelo de generación de imágenes, puedo corregirlos en orden ...
En el filtro de Relación de Aspecto, simplemente he elegido 4:3 con interpolación bicúbica.
Cuando ahora agrego una cuadrícula ( Presentación> Agregar cuadrícula ) puedo evaluar la forma de la esfera. También podría usar la herramienta Regla para medir el ancho y la altura.
Ahora puedo ver que mi esfera, todavía no es exactamente una esfera, todavía está ligeramente aplastada verticalmente; ¿Dónde está el problema?
Puede recordar de la primera publicación de introducción a la Relación de aspecto; Expliqué que, como analistas, no tenemos conocimiento sobre qué se está muestreando exactamente o cómo se están creando los píxeles. ¿Podrían las franjas negras ser una pista? Tampoco podemos suponer que la exportación se haya creado correctamente.
Al medir el borde negro, he establecido que hay 4 píxeles a la izquierda y 10 píxeles a la derecha.
Ahora tengo que considerar qué forma de compresión se ha utilizado. Sé por la información del archivo que es H264. Como resultado de esto, necesito evaluar si parte del color que se ve en la imagen por los bordes es el resultado de la Interpolación.
La forma más fácil de lograr esto es mediante la utilización del nuevo filtro de macrobloques para visualizar los bloques reales.
Ahora puedo ver que el primer bloque horizontal tiene interpolación entre el negro, a lo largo del borde, y la imagen completa. También tiene 4 píxeles de color que se han agregado a través de este proceso. ¿Debería recortarse la imagen centralmente, lo que da como resultado una resolución horizontal de 704 píxeles? Esto eliminaría 8 píxeles de cualquier lado.
Después de agregar este recorte (crop), resultó en un nuevo tamaño de 704 x 576; Puedo completar la cadena de filtro nuevamente. La imagen resultante tiene un tamaño de píxel de 768 x 576, el mismo que el primer intento, pero usando la cuadrícula, ahora puedo ver que mi esfera está mucho más cerca de lo que debería ser.
A partir de esto, he establecido que la Relación de Aspecto se relaciona con el área visible y no con el relleno que se agregó a los bordes.
Bueno, entonces, ¿cómo verificaríamos esto? Esta vez, en lugar de usar el área visible, necesitamos usar todos los píxeles. Entonces, en lugar de usar un DAR de 1.333 (4:3), usamos el DAR calculado a partir de la frecuencia de muestreo. Aquí está la tabla nuevamente de la publicación original:
A partir de esto, puedo ver que debo ingresar un DAR de 295:216, o 1.36574.
El resultado es una imagen con las dimensiones de 786x576. ¿Por qué? Bueno, esta vez, necesitamos recortar después del filtro de Relación de Aspecto a 768x576 centralmente.
Echemos un vistazo a las dos cadenas de filtro: (¡El tamaño en los nombres de la cadena de filtro es para ayudarme, y no es el tamaño del resultado final!)
Aquí está el primero:
Después de cargar el video, lo recorté de inmediato y luego completé los otros filtros. Aquí, mi relación de aspecto se estableció en 1.333.
En la siguiente prueba, cargué el video y usé la relación de aspecto de 1.365
Como resultado, tuve que recortar al final.
Ambas imágenes son ahora de 768x576 y ambas esferas se ven visualmente iguales. Ahora puedo evaluar las diferencias con el filtro Mezclador.
Las diferencias se ven en blanco.
¿Puedes ver las diferencias? No hay mucho! Simplemente mirando las imágenes, están más allá del reconocimiento de nuestro sistema visual.
Matemáticamente, puedo ver el valor de la diferencia en la pestaña Similitud (Similarity).
La suma de la diferencia absoluta (SAD) es 0.2791.
Antes de continuar, vale la pena reiterar que tiene que haber una razón para corregir la Relación de Aspecto en primer lugar. Quizás deseas identificar un vehículo, y si no se corrigió la forma, podrías recibir sugerencias incorrectas. No quieres que una limusina parezca un mini (exagerando un poco, ¡pero sabés a lo que me refiero!)
Entonces, los dos métodos anteriores han dado como resultado imágenes muy similares.
Por último, ¿cuál tiene la menor diferencia con la imagen original? Habrá mucho en ambos, ya que los hemos redimensionado, pero de diferentes maneras ... y es aquí donde se requieren más estudios y pruebas.
En mis pruebas anteriores sobre el cambio de tamaño para la Relación de Aspecto, examiné las diferencias entre el uso del eje horizontal y vertical. ¿Deberíamos reducir el ancho de todo el material de archivo NTSC? ¿Hay circunstancias en las que es aceptable aumentar la altura, ya que no descartaremos datos que pueden ser importantes si la reducimos? ¿Qué método de interpolación es mejor?
En Amped FIVE, te brindamos las herramientas y los filtros para realizar estas pruebas y presentarlas dentro de un flujo de trabajo científico. ¿Por qué elegiste una ruta específica? Con FIVE, no solo puedes explicar, sino presentar físicamente la evidencia para mostrar por qué.
El filtro de Relación de Aspecto es extremadamente flexible. Permitiendo la entrada manual de fracciones y decimales, seleccionando qué eje retener y luego eligiendo su método de Interpolación.
Las selecciones se reducirán al archivo de video que se está examinando y al propósito del examen.
Nota final!
Las discusiones en comunidad, los estudios y los exámenes de temas como la corrección de la Relación de Aspecto son un elemento importante de nuestra ciencia.
Estudiamos los datos digitales para interpretar y presentar una imagen, o una secuencia de imágenes, a través de la investigación y el análisis. Como profesionales de la ciencia, aprendemos como grupo y, como tal, nos aseguramos de que la relevancia e integridad del Video Análisis Forense o FVA (Forensic Video Analysis) se mantengan dentro del entorno legal.
Los fabricantes de sistemas de videovigilancia utilizan tantos métodos diferentes y desconocidos, que intentar establecer que todos elijan uno en particular sería muy difícil hasta que se completen más estudios.
¿Y qué de los sistemas que originalmente capturaban a 704x240, pero exportaban desde el DVR a 720×480? El DVR interpola en ambos sentidos: ¿qué se debe elegir entonces?
Como siempre es el caso con el Video Análisis Forense o FVA (Forensic Video Analysis) , y es una de las razones por las que el Análisis Forense Multimedia puede ser desafiante, porque no hay un conjunto inicial de datos . Las variables son enormes y las incógnitas muchas.
Todo se reduce al análisis de casos, pruebas, y tener presente sobre todo que si no es necesario, ¡no lo hagas!
Esta entrada fue publicada en FIVE, Cómo hacer , Nuevas características el 17 de Marzo de 2016 por David Spreadborough.