[MÚSICA] [MÚSICA] Hola. Esta semana, estamos tratando las técnicas o metodologías que utilizamos en modelización un poco más avanzada en el mundo de Big Data. En este vídeo vamos a tratar el tema de la post calibración. you comentamos brevemente que en esta etapa de modelos algo más avanzados en que la capacidad explicativa pierde relevancia como objetivo y nos centramos en las capacidades predictivas, la etapa de validación nos permite a tasa mediana cerrar esa medición de la incertidumbre, así que lo vamos a comentar de algún modo simultáneamente. Igualmente, en esta etapa de post calibración, una vez tenemos el modelo, una vez hemos analizado esta incertidumbre, nos queda siempre la etapa de mejorar el modelo. En cuanto a medir la incertidumbre en esa etapa de validación, pues, recordemos brevemente que habíamos comentado que en función de si el problema es de regresión o clasificación, las medidas que utilizamos para poder valorar exactamente o cuantificar cuál es esa relación entre los valores que hemos observado, reales, y los valores que hemos predicho con el modelo, existen diferentes medidas, por ejemplo, el error promedio cuadrático o, por ejemplo, en el caso de clasificación, pues, diferentes medidas como la matriz de confusión o prevalencia, u otros estadísticos que nos permiten cuantificar esta relación, siempre esta relación entre el valor observado y el valor predicho. Ahora, lo que vamos a hacer es centrarnos en el error cuadrático medio, puesto que resulta un poco más fácil de entender y tiene una finalidad más didáctica, pero siempre tened en mente de que este valor deberemos tomarlo, debemos tomar la decisión en cuanto hagamos el diseño, puesto que va muy relacionado a cuál es el objetivo de nuestro análisis. En cuanto a la relación de validación del modelo, you habíamos visto diferentes técnicas, pero aquí hay que entrar en énfasis que cuando estamos en estos escenarios de datos masivos, diferentes técnicas de validación no son permisibles ni son viables por la cantidad de información que manejamos, así que simplificamos esta metodología por una técnica, por ejemplo, clásica, que es Training-Test. Training-Test, mantenemos la terminología en inglés, pero no dejamos de tener en mente que al final es una manera de simplificar a lo que vamos, entrenamiento y testeo. Lo que haremos es entrenar nuestros modelos y testearlos de algún modo. Ahora veremos brevemente cómo resolvemos esto a través de unos ejemplos, pero tener en mente que esta es la principal técnica de validación, y que si nuestro modelo es explicativo, deberíamos recurrir a otras técnicas más complejas. También tener en mente que al final, esta técnica de Training-Test que la veremos a continuación muy brevemente con un ejemplo, no deja de ser una parte solo de los diferentes métodos que existen. La mayoría de los métodos se pueden englobar en un enfoque de la validación cruzada, técnicas que son conocidas desde hace muchos años desde el punto de vista estadístico, y también entrar en énfasis que cuando nuestro problema vaya más allá de modelizar y de vamos a hacer lo que llamamos selección de modelo, entonces lo que ahora vamos a ver como Training-Test, se convertiría en la técnica Training-Test-Validación. Pues, bien, veamos, siguiendo en el ejemplo este tan sencillo que hemos estado viendo con pocos datos, veamos estos tres modelos que habíamos introducido anteriormente ¿como podríamos realmente hacer un tipo de valoración? Tenemos, por un lado recordemos haber ajustado con una recta, es decir, la F, la función, esta función general que nos viene a representar el modelo, sería una recta. En el segundo caso, sería una expresión de un polinomio de grado tres. Y, en el último caso, simplemente es juntar los puntos. De entrar en relevada importancia de cuando estamos hablando del error promedio, el promedio del error cuadrático, pues, estamos pensando en cuál es el promedio de estas instancias de cada uno de los puntos al modelo. Así que, por ejemplo, en el primer caso podéis ver como cada uno de los puntos como se aleja en distancia vertical de la recta, y esto, estas líneas serían la suma de ellas, el promedio de estas líneas la que nos daría una idea de cuál es el error. Bien, aquí podemos verlo exactamente numéricamente. No hace falta entrar en detalle en cada uno de los números de esta tabla, solo fijaros que las dos primeras columnas corresponden a los datos. X son las observaciones, la covariable, el fixture que tenemos que utilizar en el modelo, y la variable de respuesta que queremos modelizar, así que los valores reales, los observados, son esta segunda columna. Hay tres bloques que corresponden a los tres modelos que acabamos de ver, entonces, fijémonos que para cada uno de los bloques, para cada uno de los modelos, tenemos una primera columna que hace referencia al valor predicho con el modelo, que en el primer caso correspondería a hacer la aproximación lineal del valor Y a través de la variable X, en el segundo bloque corresponde al modelo dos, que corresponde a hacer esta aproximación de los valores predichos a través de la función cúbica, y en el último caso, que sería el modelo tres, correspondería, fijaros, muy importante, el valor de Y, el valor predicho corresponde exactamente al valor observado puesto que hemos hecho una interpolación con rectas. En cada uno de estos casos, en la segunda columna, para cada bloque, en la segunda columna tenemos los residuos. Los residuos nos marcan simplemente la diferencia entre lo que hemos observado y lo que hemos predicho. Entonces, fijémonos que en el primer y segundo modelo toma ciertos valores en función de cuál era esa distancia vertical que separaba el punto de la recta o de la curva, en cambio en el tercer caso son ceros, porque el ajuste es exacto. Así que ahora, haciendo el promedio de estos errores al cuadrado, es decir, tomando estos residuos al cuadrado, y simplemente tomando el promedio, la media, tenemos estos tres valores para cada uno de los modelos que están marcados en amarillo. Entonces, observemos como el primer modelo nos da un resultado de cinco, en el segundo caso tenemos un valor más pequeño, en cambio, en el último tenemos exactamente cero. Es evidente, you teníamos intuición de que en el segundo caso, con la curva, estaba ajustando algo mejor, así que el mean score de error es menor. Lo que es también natural es que el último modelo que ajustábamos con la recta cada uno de los puntos, el error es cero, porque realmente hemos ajustado perfectamente. Bueno, uno you pide intuitivamente de que esto probablemente va a tener un sobreajuste, en esta idea de que si estamos ajustando tan bien lo que observamos, probablemente cuando llegue alguien de fuera, cuando llegue un dato nuevo, no va a ser capaz ni un modelo de predecirlo. En este caso, en lugar de, lo que haríamos como técnica de validación más estándar es la que hemos comentado de Training-Test. En este caso, vamos a tomar cuatro casos. Teníamos doce casos en total, y lo que vamos a hacer es utilizar estos que están marcados con naranja para que sean justamente el conjunto que voy a extraer de la tabla total a fin de entrenar mi modelo con los ocho casos restantes y testear el modelo con estos cuatro casos que voy a eliminar, de color naranja. Fijémonos, gráficamente correspondería a este caso. La idea es, si fijamos en el primer gráfico que hay una recta, tenemos una recta que está ajustada a través de ocho puntos, solo se ha utilizado la información de ocho puntos, y esta es la recta resultante, y los puntos que he extraído, que están marcados en rojo, quedan fuera, y no han sido utilizados para hacer el entrenamiento, para calcular el modelo, es decir, el modelo ha sido ajustado solo con ocho puntos, y estos cuatro puntos van a ser los que me van a llevar a la información del error. El segundo caso, podéis observar, y en el tercer caso, por ejemplo, you os queda muy claro quizá es más claro todavía, que el modelo que estoy ajustando corresponde solo a los ocho puntos, entonces estoy juntando poligonales de los ocho puntos, y los otros cuatro puntos que he extraído, simplemente quedan fuera. Bueno, pues, con este nuevo escenario, vamos a ver cómo lo hacemos, cuando es el método de Training-Test. Pues, fijaros, ahora, separando la tabla en dos bloques, uno sería la Training y la otra sería la Test. La tabla Training se usa solamente para calibrar el modelo, así que la tabla Training nos da unos valores predichos para cada bloque, si os fijáis, pero que no voy a utilizar para poder valorar realmente cuál ha sido el ajuste, para hacer una valoración del ajuste, para realmente cuantificar la diferencia entre lo que he observado y lo que he predicho, solo voy a utilizar los casos test. Los casos tests, que corresponden a los cuatro últimos casos, remarcamos que no han sido utilizados para calibrar el modelo, y en este caso, para cada uno de ellos, fijaros cómo van variando los residuos, así que de algún modo podéis ver como este nuevo método Training-Test nos está recogiendo la capacidad de realmente predecir cuando llegan casos nuevos, en este caso, es muy importante remarcar que el peor de ellos acaba siendo justamente el de juntar los puntos por poligonales por rectas, porque al final esta poligonal pierde todo el efecto de predecir y acaba siendo el peor modelo, si os fijáis. Volvamos a los métodos post-calibración. Una vez hemos hecho este método, hemos ejemplizado un poco este método de validación de Training-Test, y nos vamos al tema de ajuste a mejoras del modelo. En cuanto a mejoras del modelo, you vimos previamente, con modelos más sencillos que había como tres etapas o tres maneras de mejorar los modelos. Una se basaba en modificar la información que utilizábamos para el modelo, otras eran cambiar las técnicas de calibración y también utilizar técnicas de penalización. Esto era, en general, las técnicas que vimos que eran más clásicas desde el punto de vista estadístico. Es importante remarcar que todas ellas, de algún modo, forman parte de lo que en machine learning llamamos tuning, métodos de tuneado, pero es más importante entrar en énfasis de que en el mundo del machine learning, cuando tenemos familias de modelos realmente complejos, como por ejemplo, unos árboles de regresión o unos random forest, llevan incorporados unos extra parámetros que les podemos llevar metaparámetros, que también dan lugar a hacer tuning, también pueden ser tuneados, es decir, la diferente complejidad de cada una de las técnicas de modelización que aparecen, llevan incorporados una serie de metaparámetros que también pueden ser modificados y, por tanto, también pueden dar lugar a mejoras del modelo. La verdad es que este es un apartado que resulta realmente complejo, y esperemos que en los próximos vídeos, cuando vayáis viendo ejemplos, os vayan surgiendo realmente una visión más clara de los resultados. [MÚSICA] [MÚSICA]
