Curso de machine learning con R #08: XGBoost

XGBoost es el algoritmo que más aparece en competiciones de ML con datos tabulares, y hay una razón para eso: en muchos problemas reales supera a Random Forest con el mismo dataset. Esta clase explica por qué y cómo se usa.

La diferencia fundamental con Random Forest está en cómo se construyen los árboles. Mientras que Random Forest los entrena en paralelo de forma independiente, XGBoost los construye en secuencia: cada árbol nuevo se centra en corregir los errores que cometió el anterior. Ese proceso, que se llama boosting, es lo que le da su nombre y buena parte de su potencia.

Se trabaja sobre el mismo problema de clasificación de las clases anteriores, lo que permite comparar los resultados directamente y ver si el salto en complejidad se traduce en una mejora real. Parte de esa comparación se hace visualmente, con curvas de aprendizaje que muestran cómo evoluciona el error del modelo a medida que se añaden más árboles, una herramienta muy útil para detectar overfitting antes de que sea un problema.

XGBoost tiene más hiperparámetros que los algoritmos anteriores. La clase dedica tiempo a los más importantes —la tasa de aprendizaje, la profundidad de los árboles y el número de rondas— y muestra cómo encontrar la combinación óptima de forma sistemática.