Traducción del inglés desde forensicphotoshop.blogspot.com aquí:
Publicado originalmente por Jim Hoerricks el Jueves, 23 de enero de 2020
A principios de 2017, escribí un artículo para Axon en apoyo de su asociación ahora disuelta con mi antiguo empleador sobre Super Resolution. Parece que Super Resolution está de vuelta en las noticias. Al actualizar esa publicación, revisemos lo que está sucediendo con la tecnología y los pocos problemas que puede causar si no comprendes lo que está sucediendo.
Los representantes de los proveedores observan que la Superresolución funciona en el nivel de "subpíxel" y los ojos de la gente ruedan. Si el píxel es la unidad de medida más pequeña, un único elemento de imagen , ¿cómo puede haber un "subpíxel"? Esa es una muy buena pregunta. Echemos un vistazo a la respuesta.
Del informe en FIVE: El filtro de Super Resolución de Amped SRL aplica un registro de subpíxeles a todos los cuadros de un video, luego combina los cuadros con corrección de movimiento, junto con un filtro de borrado. Si se establece una Selección, el área seleccionada se optimizará.
Okay. ¿Qué es el registro de subpíxeles?
Primero, veamos cómo los autores de Super-resolución sin estimación explícita de movimiento de subpíxeles establecen la premisa: "Los coeficientes de esta serie se estiman resolviendo un problema de mínimos cuadrados ponderados locales, donde los pesos son una función de la orientación tridimensional del espacio-tiempo en el vecindario. Como este marco se basa fundamentalmente en la comparación de píxeles vecinos tanto en el espacio como en el tiempo, contiene implícitamente información sobre el movimiento local de los píxeles a lo largo del tiempo, por lo que hace innecesario un cálculo explícito de movimientos de tamaño modesto. El enfoque propuesto no solo amplía significativamente la aplicabilidad de los métodos de súper resolución a una amplia variedad de secuencias de video que contienen movimientos complejos, sino que también produce un rendimiento general mejorado". Eso es todo un bocado.
Aquí está el desglose.
Lo primero que debemos entender es lo de píxeles vecinos. El vecindario de un píxel es la colección de píxeles que lo rodean. Los píxeles conectados son vecinos a cada píxel cuando toca una de sus esquinas.
A continuación, debemos entender qué significa el registro o registración. El registro de imágenes es el proceso de alinear dos o más imágenes de la misma escena. Este proceso implica designar una imagen como referencia (también llamada imagen de referencia o imagen fija) y aplicar transformaciones geométricas a las otras imágenes para que se alineen con la de referencia .
Vamos a armarlo todo. Un píxel estático (P) en una sola imagen es fácil de entender. Pero, ¿qué pasa con el video? Ese píxel representa algún lugar en el espacio-tiempo 4D. Esa orientación de espacio-tiempo 4D cambiará a medida que avance el tiempo. Queremos alinear (registrar) ese píxel en los múltiples cuadros. Por lo tanto, Super Resolution rastrea información implícita sobre el movimiento del píxel en el espacio-tiempo 4D y corrige ese movimiento. El resultado del proceso es una sola imagen de mayor resolución.
Las implicaciones prácticas son las siguientes:
El promedio de cuadros funciona bien cuando el objeto de interés no se mueve. Los cuadros se promedian y se eliminan las cosas que son diferentes entre los cuadros y quedan las cosas que son iguales.
Para ayudar con un ejercicio de Promedio de cuadros, podemos utilizar un proceso de registro en perspectiva para alinear el elemento de interés, por ejemplo, una placa de matrícula, entre cuadros. Esto funciona bien cuando el elemento se ha movido a una ubicación completamente nueva, como en el video de baja velocidad de cuadros.
Pero, cuando el movimiento es sutil, la súper resolución es una mejor opción.
Aquí hay un ejemplo. El servicio del parque estaba investigando un incidente de vandalismo y caza furtiva. Hay un video que creen que fue tomado en el área del incidente. Dentro del video, hay un letrero en el fondo que contiene información de ubicación (texto) que está borrosa por el movimiento de la cámara de mano temblorosa. Hay suficiente movimiento para eliminar Promedio de Fotogramas (Frame Average) como una opción de procesamiento. No hay suficiente movimiento para usar una función de registro en perspectiva para alinear el signo correctamente. La súper resolución es la mejor opción para corregir el desenfoque de movimiento y registrar los píxeles que forman el texto de la señal.
En este caso, la súper resolución fue de hecho la mejor opción. La información en el cartel fue aclarada y así se determinó la ubicación.
Y ahora las posibles trampas ...
Nuevos píxeles y vecindades de píxeles se crean en este proceso.
Se crea una nueva evidencia (demostrativa) en este proceso.
Cada vez que realizas un registro en perspectiva, su transformación geométrica necesariamente crea nuevos píxeles y píxeles vecinos. En FIVE, durante el proceso de uso de los filtros, la creación es "virtual" ya que todo sucede en la CPU y la RAM. Estos nuevos píxeles y píxeles vecinos en realidad solo se crean cuando guardas los resultados de tu procesamiento como un nuevo archivo.
Esa nueva evidencia que has creado, los resultados guardados, es una demostración que acabas de producir. Debes explicar su relación con los archivos de evidencia reales y de donde surgió. De hecho, acabas de agregar un nuevo archivo al caso. Este hecho debe ser revelado en su informe.
Con los informes en FIVE, existe una clara explicación en español sobre el proceso que se realiza, desde los numerosos documentos académicos desde donde Amped SRL obtiene sus filtros. Claro, cuando se te pregunte sobre el proceso realizado, es probable que puedas leer la descripción del informe. Pero, ¿qué pasa si en el Trier of Fact (testimonio pericial en el tribunal) se quiere saber más? ¿Qué tan seguro estás de que puedes explicar la súper resolución?
Considera el uso principal de la súper resolución: la mejora de la matrícula. Su archivo derivado es demostrativo en apoyo de la teoría del caso de un lado. Su derivada es ilustrativa de su opinión. ¿Usaste la herramienta correctamente? ¿Son precisos los resultados? ¿Ver para creer? Dadas las resoluciones ultra bajas que usualmente enfrentamos, un ligero cambio en los píxeles puede marcar una gran diferencia al representar caracteres alfanuméricos. Esta es una de las razones por las que a Amped SRL le gusta usar placas europeas en sus clases y relaciones públicas: son fáciles de arreglar. No es así en los Estados Unidos.
Un ejemplo como el presentado aquí antes, muestra el valor de la independencia. El representante de un fabricante realmente solo puede mostrarte las características. Te mostraré no solo cómo funciona una herramienta, sino cómo usarla en diferentes contextos, por qué a veces es inapropiado usarla; y cómo enmarcar su uso durante el testimonio. Si está interesado en sumergirse profundamente en la disciplina del Video Análisis Forense, lo invito a un próximo curso. Ve nuestras ofertas en nuestro sitio web.
Que tengan un gran día mis amigos.