Validación Cruzada YO SOY EL PAN DE VIDA, EL QUE A MI VIENE, NUNCA TENDRÁ HAMBRE; Y EL QUE EN MI CREE, NO TENDRÁ SED JAMÁS. JESUCRISTO
¿Qué tan bien trabaja h ? 2
Nos gustaría saber que tan bien nuestra h se desempeñará con
nuevos datos (los cuales tengan el mismo origen que los datos de entrenamiento) El desempeño de la hipótesis con el conjunto de entrenamiento no es
indicativo de su desempeño con datos nuevos.
Inteligencia Artificial 2010
¿Qué tan bien trabaja? 3
Nos gustaría saber que tan bien nuestra h se desempeñará con
nuevos datos (los cuales tengan el mismo origen que los datos de entrenamiento) El desempeño de la hipótesis con el conjunto de entrenamiento no es
indicativo de su desempeño con datos nuevos. Reserve algunos datos para ser el conjunto de validación;
Inteligencia Artificial 2010
¿Qué tan bien trabaja? 4 Nos gustaría saber que tan bien nuestra h se desempeñará con nuevos datos
(los cuales tengan el mismo origen que los datos de entrenamiento) El desempeño de la hipótesis con el conjunto de entrenamiento no es indicativo
de su desempeño con datos nuevos. Reserve algunos datos para ser el conjunto de validación; su
desempeño con h es un estimador razonable de su desempeño con nuevos datos. D:
•
conjunto de validación
Inteligencia Artificial 2010
Validación cruzada 5
Para evaluar el desempeño de un algoritmo como un todo
( en vez de una hipótesis particular): Divida los datos en K subconjuntos Realizar K veces Entrene con k – 1 subconjuntos Evalúe con el subconjunto apartado Regrese el promedio de puntaje al realizar las k evaluaciones.
Inteligencia Artificial 2010
Validación cruzada 6 Para evaluar el desempeño de un algoritmo como un todo ( en vez de una
hipótesis particular): Divida los datos en K subconjuntos Realizar K veces Entrene con k – 1 subconjuntos (etapa de aprendizaje) Evalúe con el subconjunto apartado
Regrese el promedio de puntaje al realizar las k evaluaciones .
Entrenamiento
h1
Entrenamiento
hk
conjunto de validación Inteligencia Artificial 2010
Validación cruzada 7 Para evaluar el desempeño de un algoritmo como un todo ( en vez de una
hipótesis particular): Divida los datos en K subconjuntos Realizar K veces Entrene con k – 1 subconjuntos Evalúe con el subconjunto apartado
Regrese el promedio de puntaje al realizar las k evaluaciones . Entrenamiento
h1
conjunto de entrenamiento
conjunto de validación Entrenamiento
hk
Evaluación 1
Evaluación k
Inteligencia Artificial 2010
Validación cruzada 8
Para evaluar el desempeño de un algoritmo como un todo ( en vez de
una hipótesis particular): Divida los datos en K subconjuntos Realizar K veces
Entrene con k – 1 subconjuntos Evalúe con el subconjunto apartado
Regrese el promedio de puntaje al realizar las k evaluaciones.
Método útil para decidir que clase de algoritmo usar sobre un conjunto de datos particular.(no para evaluar la calidad de una hipótesis particular)
Inteligencia Artificial 2010
Curva de aprendizaje 1000 dimensiones en las entradas; funci贸n= 0.6 0.5 % de error en el conjunto de evaluaci贸n
0.4 0.3 0.2 0.1 0 0
20
40
60
80
100
Numero de ejemplos de entrenamiento
9 Inteligencia Artificial2010
Curva de aprendizaje 1000 dimensiones en las entradas; funci贸n= ( 6 disyunciones con cuatro conjuntos cada uno) 0.6 0.5 % de error en el conjunto de evaluaci贸n
0.4 0.3 0.2 0.1 0 0
100
200
300
400
500
Numero de ejemplos de entrenamiento
10 Inteligencia Artificial 2010
Dominios 11
Votación en el congreso:dados los registros de las
votaciones de los congresistas, predecir el partido Filtrar spam: codificar cada mensaje como un vector de atributos, uno por palabra; un atributo esta on si esa palabra ocurre en mensaje; predecir si o no es spam. Mercadeo: predecir si una persona comprará un producto basado en compras previas; codifique las compras habituales con una característica para todos los productos, haga 1 si previamente lo ha comprado. Hélice genética:
Inteligencia Artificial 2010
12
Tomado del Instituto Tecnológico de Massachusetts www.owc.mit.edu 6.034 Artificial Intelligence 2004 Archivo ch4-learnintro
Inteligencia Artificial 2010
Entrega 2da de Aprendizaje de máquinas 13
Seleccione uno de los algoritmos presentados y Codifíquelo en algún lenguaje de programación. Se evaluará para esta entrega: • • • •
Incorporación de los procedimientos principales del algoritmo Flexibilidad para el cambio de datos (numero y contenidos ) Criterios de parada para el árbol de decisión Corrección de Laplace para NB
Inteligencia Artificial 2010