[MÚSICA] Bienvenidos a un nuevo video en nuestro curso de minería de datos. En este video veremos cómo evaluar nuestros modelos de clasificación. Lo que principalmente nos motiva en este video es entender cómo deberíamos diseñar un proceso de evaluación del rendimiento de nuestros modelos de clasificación, de tal forma de tener indicadores que reflejen aproximadamente cuán bien funcionará nuestro modelo una vez que sea puesto en producción. Recordemos que hasta ahora hemos visto dos modelos de clasificación, el modelo de vecinos cercanos y el de árboles de decisión. Supongamos que tenemos you entrenado un árbol de decisión que clasifica clientes entre las clases ocasional y frecuente. El principal objetivo es que nuestro modelo clasifique bien a clientes que verá en el futuro, es decir, clientes que nuestro modelo no vio durante el proceso de entrenamiento. La principal razón de esto, es que para los clientes en casos futuros, no conocemos su clase, por lo tanto, nos interesa que el modelo sea capaz de predecir la clase con la mayor exactitud posible, you que nuestra organización tomaría decisiones importantes, dependiendo de la clase de cada uno de esos clientes. Supongamos que nuestro modelo genera una clasificación para un cliente nuevo. En este ejemplo, nuestro modelo nos dice que el cliente pertenece a la clase ocasional. ¿Cómo podemos saber si el modelo dijo lo correcto o si cometió un error? Lamentablemente, no lo podemos saber, you que no conocemos la clase real a la cual pertenece este cliente. Afortunadamente, tenemos una salida. Lo que se hace es simular casos futuros, dejando afuera algunos de nuestros datos de entrenamiento. Por ejemplo, si en este caso dejamos afuera a nuestra cliente que aparece al lado derecho de la lista de clientes y entrenamos a nuestro árbol de decisión solo con los clientes que aparecen al lado izquierdo, luego, podemos pedir al modelo que clasifique a esta cliente que dejamos afuera. El modelo nunca vio a esta cliente, you que la sacamos del conjunto de entrenamiento. Además, para esta cliente nosotros sí sabemos su clase, por lo tanto, sí podemos comparar la predicción del clasificador con la clase real. La idea, entonces, es dividir nuestro conjunto de datos de entrenamiento en dos partes, una con los datos que usaremos para entrenar el modelo, llamado set de entrenamiento, y otra con los datos que solo usaremos para evaluar el modelo, llamado set de testeo. Típicamente, esta división de nuestra base de datos asigna un 20 o 30% a la parte del set de testeo y un 80 o 70% para el set de entrenamiento, respectivamente. Hay varias formas de generar esta división, principalmente tienen que ver con tratar de probar distintas separaciones para asegurarnos de que la selección de datos para testeo esté lo menos sesgada posible. Más adelante, veremos en detalle en qué consisten estas técnicas para dividir los datos, las más conocidas son Hold Out, Random Sub-Sampling y Cross Validation o Validación Cruzada. Una vez que logramos separar, entonces, nuestros datos en un set de entrenamiento y uno de test, entrenamos nuestro clasificador solamente usando nuestro set de entrenamiento. Luego, usamos el modelo entrenado para generar una clasificación para todos los datos que están solo en el set de test. Finalmente, comparamos las clases reales de los datos del set de test con las clases que nuestro clasificador generó, y las comparamos directamente. Al realizar esta comparación entre las clases reales y las clases que predice el modelo, tenemos que entregar indicadores que reflejen cuán parecidas fueron las predicciones con la clase real. Estos indicadores también los veremos más adelante, los más típicos son Accuracy, Recall y Precisión. En resumen, entonces, para evaluar nuestro modelo de clasificación, primero debemos dividir nuestros datos en un conjunto de entrenamiento y uno de testeo. Luego, debemos entrenar nuestro modelo solo con los datos de entrenamiento. El siguiente paso es pedir a nuestro modelo que clasifique los datos del set de test y, finalmente, comparamos directamente la clasificación con el valor de la clase real de esos datos, generando así los indicadores de rendimiento. En este video vimos el esquema general para evaluar el rendimiento de un clasificador. No debemos olvidar que el rendimiento que estamos estimando corresponde al rendimiento que nuestro modelo tendría en casos futuros, casos que no ha visto durante el set de entrenamiento. [AUDIO_EN_BLANCO]
