Clasificación de imágenes: ¿cómo reconocer el contenido de una imagen?

Esta semana introduciremos Bag of Words como método de representación básico que utilizaremos mayoritariamente a lo largo de todo el curso. Explicaremos todos los detalles necesarios para construir la representación BoW de una imagen, incluyendo la construcción del vocabulario utilizando K-Means y cómo agregar la información de las características locales en la representación final en forma de histograma. En la segunda parte de la semana explicaremos Support Vector Machines (SVM) como método de clasificación, tanto los conceptos fundamentales como su formulación matemática y los detalles para entrenar y utilizar un clasificador basado en SVM. Finalmente, completaremos la explicación de la evaluación del rendimiento que introducimos en la primera semana.

En esta semana completaremos la explicación de métodos de extracción de características que iniciamos en la primera semana ofreciendo alternativas a la utilización de SIFT. En concreto veremos SURF como un nuevo método de detección y extracción más eficiente computacionalmente que SIFT. Para aumentar la capacidad descriptiva de las características analizaremos otras estrategias para la detección de características locales e introduciremos descriptores que nos permitan tener en cuenta la información del color en la imagen. Veremos también como podemos también mejorar la eficiencia computacional reduciendo la dimensión de los descriptores de carácterísticas locales.

En esta semana veremos cómo podemos combinar diferentes descriptores que aportan diferente tipo de información en el esquema de representación BoW. Explicaremos los diferentes niveles a los que se puede hacer esta combinación: a nivel de descriptores locales (early fusion), a nivel de construcción del vocabulario (intemediate fusion) o a nivel de clasificador (late fusion)

En esta semana abordaremos cómo podemos incorporar información espacial de los objetos de la imagen en la representación BoW. Para ello introduciremos el concepto de pirámide espacial y cómo se utiliza para modificar la representación básica del BoW de forma que tengamos en cuenta la localización en la imagen de cada característica local. Veremos también cómo podemos comparar imágenes que utilizan la pirámide espacial. Finalmente explicaremos una forma de aprender la configuración óptima de una pirámide espacial.

En esta última semana veremos algunas técnicas avanzadas que pueden ser extensiones o alternativas al BoW cuando nos enfrentamos a problemas de clasificación complejos por el tipo o el número de imágenes. En primer lugar veremos los GMM como un método alternativo para construir el vocabulario que nos servirá también para explicar Fisher Vector como otra posibilidad de agregar todas las características locales en una representación de toda la imagen. En el mismo sentido explicaremos también VLAD. Finalizaremos el curso con una breve introducción a las redes neuronales convolucionales (CNNs) que se están constituyendo como un esquema alternativo para la clasificación de imágenes, especialmente en problemas con muchas clases e imágenes.