Aprendizaje con atributos no booleanos “Porque del corazĂłn salen los malos pensamientos, los homicidios, los adulterios, las fornicaciones, los hurtos, los falsos testimonio, las blasfemiasâ€?
Jesucristo
Recordando el รกrbol de decisiรณn โ ข Use todos los datos para construir un รกrbol de preguntas con respuestas en las hojas ninguna
precipita lluvia
Ropa? formal maneja
casual
nieva
camina
maneja
compras?
si si maneja
Temp > 90?
Fin de semana?
si camina
camina
maneja
Atributos numéricos • Evaluación en los nodos puede ser de la forma xj > constante
• Divida el espacio en rectángulos alineados al eje (El conjunto de rectángulos y sus valores de salida constituyen nuestra hipótesis)
Atributos numéricos • Evaluación en los nodos puede ser de la forma xj > constante • Divida el espacio en rectángulos
F1 >2
no 1
f2 si 1
2
f1
Atributos numéricos • Evaluación en los nodos puede ser de la forma xj > constante • Divida el espacio en rectángulos alineados al eje f2 F1 > 2
no 1
si
F2>4
4
1
no
1
1 22
f1
Atributos numéricos • Evaluación en los nodos puede ser de la forma xj > constante • Divida el espacio en rectángulos alineados al eje f2 F1 > 2
no 1
si 4
F2>4
no
si
1
0
0 1 1 2
f1
La hipótesis sin alineamiento al eje puede ser más pequeña pero difícil de encontrar
Considerando particiones โ ข Considere una separaciรณn entre cada punto en cada dimensiรณn 8 7 6 5 L 4 3 2 1 0
Si No
0
0.5
1 R
1.5
2
Considerando particiones • Considere una separación entre cada punto en cada dimensión 8 7 6 5 L 4 3 2 1 0
Si No
0
9 divisiones
0.5
1 R
1.5
Tendría que ser m-1
2
Considerando particiones โ ข Considere una separaciรณn entre cada punto en cada dimensiรณn 8 7 6 5 L 4 3 2 1 0
Si No
0
6 divisiones
0.5
1 R
1.5
2
Considerando particiones • Escoger el separador que minimiza el promedio de entropĂa de cada nodo hijo 8 7 6 5 L 4 3 2 1 0
Si No
0
0.5
1 R
1.5
2
Ejemplo de la bancarrota L<y
NI
PI
ND
PD
AE
6.5
7
6
0
1
0.93
5.0
7
4
0
3
0.74
3.5
6
3
1
4
0.85
2.5
5
2
2
5
0.86
1.5
4
0
3
7
0.63
0.5
1
0
6
7
0.93
# de pos a der
# de neg a der
# de post a izq
# de neg a izq
8 7 6 5 L 4 3 2 1 0
Si No
0
0.5
1 R
1.5
2
AE
1.00
1.00
0.98
0.98
0.94
0.98
0.92
0.98
0.92
R< x
0.25
0.40
0.60
0.85
1.05
1.15
1.35
1.60
1.80
Ejemplo de la bancarrota L<y
N L
P L
N R
P R
AE
6.5
7
6
0
1
0.93
5.0
7
4
0
3
0.74
3.5
6
3
1
4
0.85
2.5
5
2
2
5
0.86
1.5
4
0
3
7
0.63
0.5
1
0
6
7
0.93
8 7 6 5 L 4 3 2 1 0
Si No
0
0.5
1 R
1.5
2
AE
1.00
1.00
0.98
0.98
0.94
0.98
0.92
0.98
0.92
R< x
0.25
0.40
0.60
0.85
1.05
1.15
1.35
1.60
1.80
Ejemplo de la bancarrota L<y
N L
P L
N R
P R
AE
6.5
7
6
0
1
0.93
5.0
7
4
0
3
0.74
3.5
6
3
1
4
0.85
2.5
5
2
2
5
0.86
1.5
4
0
3
7
0.63
0.5
1
0
6
7
0.93
no
0
L >1.5 si
8 7 6 5 L 4 3 2 1 0
??
Si No
0
0.5
1 R
1.5
2
AE
1.00
1.00
0.98
0.98
0.94
0.98
0.92
0.98
0.92
R< x
0.25
0.40
0.60
0.85
1.05
1.15
1.35
1.60
1.80
Ejemplo de la bancarrota L<y
NL
PL
NR
PR
AE
6.5
6
3
0
1
0.83
5.0
4
3
0
3
0.69
3.5
3
2
4
1
0.85
2.5
2
1
5
2
no
0
L >1.5 si
8 7 0.88 6 5 L 4 3 2 1 0
??
Si No
0
0.5
1 R
1.5
2
AE
0.85
0.88
0.79
0.60
0.69
0.76
0.83
R< x
0.25
0.40
0.60
0.90
1.30
1.60
1.80
Ejemplo de la bancarrota L<y
NL
PL
NR
PR
AE
6.5
6
3
0
1
0.83
5.0
4
3
0
3
0.69
3.5
3
2
4
1
0.85
2.5
2
1
5
2
no
0
L >1.5 si R >0.9
no
??
si
1
8 7 0.88 6 5 L 4 3 2 1 0
Si No
0
0.5
1 R
1.5
2
AE
0.85
0.88
0.79
0.60
0.69
0.76
0.83
R< x
0.25
0.40
0.60
0.90
1.30
1.60
1.80
Ejemplo de la bancarrota L<y 6.5 5.0 3.5 2.5
NL 3 3 2 1
no
PL 2 0 0 0
NR 0 0 1 2
PR 1 3 3 3
L >1.5 si R >0.9
0 ??
1
AE 0.81 0.00 0.54 0.81
8 7 6 5 L 4 3 2 1 0
Si No
0
0.5
1 R
1.5
AE
1.00
0.92
1.00
R< x
0.25
0.40
0.60
2
Ejemplo de la bancarrota L<y 6.5 5.0 3.5 2.5
NL 3 3 2 1
PL 2 0 0 0
NR 0 0 1 2
PR 1 3 3 3
L >1.5
no
si R >0.9
0
L>5.0
0
1 1
AE 0.81 0.00 0.54 0.81
8 7 6 5 L 4 3 2 1 0
Si No
0
0.5
1 R
1.5
AE
1.00
0.92
1.00
R< x
0.25
0.40
0.60
2
Ejemplo de la bancarrota
8 7 6 5 L 4 3 2 1 0
L >1.5
no
si R >0.9
0
L>5.0
0
1 1
Si No
0
0.5
1 R
1.5
2
Enfermedades cardíacas • El desempeño del árbol de decisión(.77) no es tan bueno como el vecino más cercano (.81) 1
Precisión
0.8 0.6 0.4 0.2 0 0
10
20
30
Tamaño de hoja mínima
40
Enfermedades card铆acas Thal= 1
no
si
Thal= 1 : examen normal de la evaluaci贸n del thallum
Enfermedades cardĂacas Thal= 1
si
no Ca =0
no
si
Thal= 1 ; examen para evaluar la presencia de un stress llamado thallum Ca= 0; no hay arterias bloqueadas
Enfermedades cardĂacas Thal= 1
si
no Ca =0
no
si
1 Tiene enfermedad cardiaca
Thal= 1 ; examen normal del ejercicio thallum sintigrafy Ca= 0; ninguna arteria fue coloreadas por fluroscopio
Enfermedades cardĂacas Thal= 1
si
no Ca =0
no
si exang
1 0
1
Thal= 1 : examen normal del ejercicio thallum sintigrafy Ca= 0 : arterias no coloreadas por fluroscopio Exang : ejercicio de angina inducido
Enfermedades cardĂacas Thal= 1
no
Ca = 0
Ca =0
no
si
si
no
si
exang
1 0
1
Thal= 1 : examen normal del ejercicio thallum sintigrafy Ca= 0 : arterias no coloreadas por fluroscopio Exang : ejercicio de angina inducido
Enfermedades cardĂacas Thal= 1
no
Ca = 0
Ca =0
no
si
si
Dolorpecho
exang
1 0
si
no
1
0
1
Thal= 1 : examen normal del ejercicio thallum sintigrafy Ca= 0 : arterias no coloreadas por fluroscopio Exang : ejercicio de angina inducido
Enfermedades cardĂacas Thal= 1
no
Ca = 0
Ca =0
no
si
si
Dolorpecho
exang
1 0
si
no
1
0
Edad < 57.5
1
Thal= 1 : examen normal del ejercicio thallum sintigrafy Ca= 0 : arterias no coloreadas por fluroscopio Exang : ejercicio de angina inducido
0
Enfermedades cardĂacas Thal= 1
no
Ca = 0
Ca =0
no
si
si
Dolorpecho
exang
1 0
si
no
1
0
Edad < 57.5
1
Thal= 1 : examen normal del ejercicio thallum sintigrafy Ca= 0 : arterias no coloreadas por fluroscopio Exang : ejercicio de angina inducido Oldpk: atributo del cardiograma
0
Oldpk<3.2
0
1
Auto que hace 22 MPG? Desplazamiento> 189. 5
si
no
0
Peso >2224.5 si 1
A単o > 78.5 si
Peso >2775
1
0
1
Regresión • La salida es un valor numérico continuo • Promediando pesos localmente (vecino + cercano) • Árboles de regresión (árboles de decisión)
Promediando localmente â&#x20AC;˘ Recordando todos los datos
y
x
Promediando localmente â&#x20AC;˘Recordando todos los datos â&#x20AC;˘Cuando alguien hace una pregunta, â&#x20AC;˘Encontrar los k puntos de datos viejos
y
x
Promediando localmente •Recordando todos los datos •Cuando alguien hace una pregunta, •Encontrar los k puntos de datos viejos •Regrese el promedio de las respuestas asociadas con ellos y = 1/K (Σ yk ) k
y
x
Kernel Epanechnikov • D es la distancia Euclidiana K(x, xk) = max 3 1 - D(x, xk)2 4 λ2 • X=<5,5>
• λ=4
,0
Promediando localmente los pesos
Promediando localmente los pesos â&#x20AC;˘ Encuentre todos los puntos dentro de la distancia Îť de la meta al punto â&#x20AC;˘ Promedie las salidas, usando como peso la distancia que se encuentran de la meta
Árboles de regresión • Como árboles de decisión pero con valores reales en las hojas.
Árboles de regresión • Como los árboles de decisión, pero con salida real valuada en las hojas. X>2
-1.9
4
si
no
3.2
2.4
Y<4
3.2 no
si
-1.9
2.4
2
Valores en las hojas • Asigne un nodo hoja al promedio de los valores “y” de los puntos datos que caen ahí
Valores en las hojas • Asigne un nodo hoja el promedio de los valores “y” de los puntos datos que caen aquí • Nos gustaría tener grupos de puntos en una hoja que tiene similares valores “y”(porque entonces el promedio es una buena representación)
Varianza • Medida de cuan extendidos están los números de un conjunto
Varianza • Medida de la cantidad de números de un conjunto es extendido • El promedio de m valores, z1 hasta zm : 1 µ= m
m
z ∑ k− 1
k
Varianza • Medida de la cantidad de números de un conjunto es extendido • El promedio de m valores, z1 hasta zm : 1 µ= m
m
z ∑ k− 1
k
• Varianza: promedio de las distancias al cuadrado entre los valores individuales z’s y la media. m 1 2 2 σ = ( zk − µ ) ∑ m −1 k −1
DĂŠjenos separar D: -2, 9, 12, -4 0, 11, 10, -1 (valores y)
Ď&#x192; 2 =40.5
Déjenos separar D: -2, 9, 12, -4 0, 11, 10, -1
σ 2 =40.5 f3 0 -2, 1, -4, 0, -1
σ2 =3.7
1
f2 0
9, 12, 11, 10
-2, 9, 1, 12, -4
σ2 =1.67
σ2 =48.7
1 0, 11, 10, -1
σ2 =40.67
Déjenos separar D: -2, 9, 12, -4 0, 11, 10, -1
σ 2 =40.5 f3 0 -2, 1, -4, 0, -1
σ2 =3.7
1
f2
1
0
9, 12, 11, 10
-2, 9, 1, 12, -4
σ2 =1.67
σ2 =48.7
0, 11, 10, -1
σ2 =40.67
AV(j)=pj σ2 (D+j )+ (1 + pj ) σ2 (D-j ) % de D con fj
Subconjunto de D con fj =1
Déjenos separar D: -2, 9, 12, -4 0, 11, 10, -1
σ 2 =40.5 f3 0 -2, 1, -4, 0, -1
σ2 =3.7
1
f2 0
9, 12, 11, 10
-2, 9, 1, 12, -4
σ2 =1.67
σ2 =48.7
AV=(5/8)*3.7+(4/9)*1.67 =2.8
1 0, 11, 10, -1
σ2 =40.67
AV= (5/9)*48.7+(4/9)*40.67 =45.13
Deteniéndose • Deténgase cuando la varianza en una hoja sea suficientemente pequeño • O cuando tenga menos que umbral hoja-min en una hoja
Deteniendo • Detenga cuando la varianza en una hoja sea suficientemente pequeño • O cuando tenga mucho menos que umbral hoja-min en una hoja
• Haga “y” una hoja teniendo el promedio de los valores “y” de los elementos. f3 -2, 1 -4, 0, -1
0 -1.2
9, 12, 11, 10
1 10.5
โ ข Tomado del Instituto Tecnolรณgico de Massachusetts www.owc.mit.edu 6.034 Artificial Intelligence 2004 Archivo: ch6-mach1.pdf
Ejercicios •Usando este conjunto de datos, muestre el árbol de decisión que seria construido con ellos. Asuma que las evaluaciones en el árbol son de la forma f ≤ c. Para cada evaluación muestre el valor aproximado del promedio de desorden para cada pregunta. Para ayudarle a calcular esto, use la tabla de valores de –(x/y)*log(x/y).
• • •
1 2 3 4 5 6 7 8 9 10 11 12 13
f