Curso de machine learning con R #10: Validación del modelo

Saber si un modelo funciona bien es más difícil de lo que parece. Un modelo puede tener un error bajísimo sobre los datos con los que se entrenó y ser completamente inútil sobre datos nuevos. Esta clase explica por qué ocurre eso y cómo evitarlo.

El concepto central es el overfitting: cuando un modelo aprende los datos de entrenamiento demasiado bien, incluido su ruido y sus particularidades, pierde capacidad de generalizar. Su opuesto, el underfitting, ocurre cuando el modelo es tan simple que ni siquiera captura los patrones reales. Entre ambos extremos hay un equilibrio que se aprende a encontrar.

La herramienta principal para lograrlo es la validación cruzada. En lugar de evaluar el modelo una sola vez sobre un conjunto de test fijo, se evalúa múltiples veces sobre distintas particiones de los datos y se promedia el resultado. Esto da una estimación mucho más fiable del rendimiento real y reduce la influencia del azar en la evaluación.

La clase también muestra cómo usar esa validación cruzada para buscar los mejores hiperparámetros de forma automática —lo que se conoce como grid search— y cómo comparar distintos modelos de manera justa, sobre las mismas particiones y con la misma métrica.

Se termina aprendiendo a guardar un modelo entrenado en disco y a cargarlo en otra sesión para hacer predicciones, que es el paso previo a cualquier puesta en producción.