En inteligencia artificial, a menudo queremos modelar las relaciones entre varios eventos no deterministas. Si el clima predice un 40% de probabilidad de lluvia, ¿debo llevar mi paraguas? ¿Cuántas bolas de helado debo tomar si cuantas más bolas tenga, es más probable que se me caiga todo? Si hubo un accidente hace 15 minutos en la autopista de camino al estadio para ver el partido de la Selección, ¿debo irme ahora o en 30 minutos? Todas estas preguntas (y muchas más) pueden responderse con inferencia probabilística .
Simplificando el Mundo Inferencia Probabilística
La semana pasada, modelamos el mundo como si existiera en un estado específico que siempre se conoce. Durante esta semana, utilizaremos un nuevo modelo en el que cada posible estado del mundo tiene su propia probabilidad. Por ejemplo, podríamos construir un modelo meteorológico, donde el estado consiste en la estación, la temperatura y el clima. Nuestro modelo podría decir que P(invierno, 35°, nublado) = 0,023. Este número representa la probabilidad del resultado específico de que sea invierno, 35° y el cielo este nublado. Más precisamente, nuestro modelo es una distribución conjunta , es decir, una tabla de probabilidades que captura la probabilidad de cada posible resultado , también conocida como asignación de variables (PDF). Como ejemplo, considere la siguiente tabla:
• ¿Cuál es la distribución de probabilidad para el clima y la estación en la que sabemos hace frío? P(S,W|T = frío)
Este modelo nos permite responder preguntas que pueden ser de nuestro interés, por ejemplo:
• ¿Cuál es la distribución de probabilidad del clima, dado que sabemos que es invierno? P(W|S = invierno)
• ¿Cuál es la probabilidad de que haga sol? P(W = sol)
• ¿Cuál es la probabilidad de que sea invierno, dado que sabemos que llueve y hace frío? P(S = invierno|T = frío, W = lluvia)
Temporada(S) Temperatura(T) Clima(W) Probabilidad verano caliente sol 0.30 verano caliente lluvia 0.05 verano frío sol 0.10 verano frío lluvia 0.05 invierno caliente sol 0.10 invierno caliente lluvia 0.05 invierno frío sol 0.15 invierno frío lluvia 0.20
3. Normalice la tabla para que sea una distribución de probabilidad (es decir, los valores sumen 1)
todas las filas consistentes con las variables de evidencia observadas.
2. Variables de evidencia ei, que son variables observadas cuyos valores se conocen y aparecen del lado derecho de la condicional (|) en la distribución de probabilidad deseada.
Inferencia por enumeración Dada una PDF conjunta, podemos calcular trivialmente cualquier distribución de probabilidad deseada P(Q1 ...Qk|e1 ... ek) usando un procedimiento simple e intuitivo conocido como inferencia por enumeración , para el cual definimos tres tipos de variables que trataremos:
1. V ariables de consulta Qi, que son desconocidas y aparecen en el lado izquierdo del condicional (|) en la distribución de probabilidad deseada.
3. Variables ocultas , que son valores presentes en la distribución conjunta general pero no en la distribución deseada. En Inferencia por Enumeración, seguimos el siguiente algoritmo:1.Recopile
2. Sumar (marginar) todas las variables ocultas.
Por ejemplo, si quisiéramos calcular P(W|S = invierno) usando la distribución conjunta anterior, seleccionaríamos las cuatro filas donde S es invierno, luego sumaríamos sobre T y normalizaríamos.
Esto produce la siguiente tabla de probabilidad: W S Suma Normalizarsin Probabili dad sol Invierno 0.10+0.15=0.25 0.25/(0.25+0.25)=0.5 lluvia invierno 0.05+0.20=0.25 0.25/(0.25+0.25)=0.5
Por lo tanto, P(W=sol|S=invierno)=0.5 y P(W=lluvia|S=invierno)=0 5, y aprendemos que en invierno hay un 50% de probabilidad de sol y un 50% de probabilidad de lluvia. Siempre que tengamos la tabla PDF conjunta, se puede usar la inferencia por enumeración (IBE) para calcular cualquier distribución de probabilidad, incluso para múltiples variables de consulta Q1...Qk. Representación de Redes Bayesianas
Si bien la inferencia por enumeración puede calcular probabilidades para cualquier consulta que deseemos, representar una distribución conjunta completa en la memoria de una computadora no es práctica para problemas reales, si cada una de las n variables que deseamos representar puede tomar d valores posibles (tiene un dominio de tamaño d),
Definimos formalmente una Red Bayesiana en que consiste de:
• Una distribución condicional para cada nodo P(X|A1...An), donde Ai es el i ésimo padre de X, almacenado como un tab la de probabilidad condicional o CPT. Cada CPT tiene n+2 columnas: una para los valores de cada uno de los n variables padre A1...An, una para los valores de X y otra para la probabilidad condicional de X dada sus padres. La estructura del gráfico de la Red Bayesiana codifica relaciones de independencia condicional entre diferentes nodos.
entonces nuestra distribución conjunta la mesa tendrá dn entradas, ¡exponencial en el número de variables y bastante poco práctico para almacenar!
Las redes bayesianas evitan este problema aprovechando la idea de probabilidad condicional. En lugar de almacenar información en una tabla gigante, las probabilidades se distribuyen a través de una serie de tablas de probabilidad condicional más pequeñas junto con un gráfico acíclico dirigido (DAG) que captura las relaciones entre variables. Las tablas de probabilidad locales y el DAG juntos codifican suficiente información para calcular cualquier distribución de probabilidad que podríamos haber calculado dada toda la distribución conjunta grande.
• Un gráfico acíclico dirigido de nodos, uno por variable X.
• E: Ocurre un terremoto.
Estas independencias condicionales nos permiten almacenar varias tablas pequeñas en lugar de una grande. Es importante recordar que los bordes entre los nodos de la red bayesiana no significan que haya específicamente una relación causal entre esos nodos, o que las variables son necesariamente dependientes unas de otras. Eso solo significa que puede haber algunarelación entre los nodos.
• B: Ocurre un robo.
Como ejemplo de una Red Bayesiana, considere un modelo donde tenemos cinco variables aleatorias binarias descritas:
• A: La alarma suena.
• J: Juan llama a emergencia.
• M: María llama a emergencia. Suponga que la alarma puede sonar si ocurre un robo o un terremoto, y que María y Juan llamarán a emergencia si oyen la alarma. Podemos representar estas dependencias con el gráfico que se muestra a continuación.
En esta Red de Bayes almacenaríamos las tablas de probabilidad P(B), P(E), P(A|B, E), P(J|A) y P(M|A). Dados todos los CPT para un gráfico, podemos calcular la probabilidad de una asignación dada usando la siguiente regla: � (�! , �" , … , �# ) = / � (�$ |������ (�$ )) # $ %! Para el modelo de alarma anterior, podemos calcular la probabilidad de una probabilidad conjunta de la siguiente manera: � ( � , � , +� , +�, �) = � ( � ) · � ( � ) · � (+� | � , � ) · � (+�| + � ) · � (−�| + � ). Como verificación de la realidad, es importante internalizar que las Redes de Bayes son solo un tipo de modelo. Los modelos intentan capturar la forma en que funciona el mundo, pero A B MEJ
debido a que siempre son una simplificación, siempre están equivocados. Sin embargo, con buenas opciones de modelado, aún pueden ser aproximaciones lo suficientemente buenas como para ser útiles para resolver problemas reales en el mundo real. En general, es posible que un buen modelo no tenga en cuenta todas las variables o incluso todas las interacciones entre variables. Pero al hacer suposiciones de modelado en la estructura del gráfico, podemos producir técnicas de inferencia increíblemente eficientes que a menudo son más útiles en la práctica que los procedimientos simples como la inferencia por enumeración. Estructura de las Redes Bayesianas En esta clase, nos referiremos a dos reglas para las independencias de las redes bayesianas que se pueden inferir observando la estructura gráfica de la Red Bayesiana: • Cada nodo es condicionalmente independiente de todos sus nodos antecesores (no descendientes) en el gráfico, dado todos sus padres.
• Cada nodo es condicionalmente independiente de todas las demás variables dada su manta de Markov. La manta de Markov de una variable que consta de padres, hijos y otros padres de los hijos. Usando estas herramientas, podemos volver a la afirmación de la sección anterior: que podemos obtener la distribución
conjunta de todas las variables uniendo los CPTs de la Red Bayesiana. � (�! , �" , … , �# ) = / � (�$ |������ (�$ )) # $ %! Esta relación entre la distribución conjunta y los CPT de las redes Bayes funciona debido a las relaciones de independencia condicional dadas por el gráfico. Probaremos esto usando un ejemplo.Repasemos el ejemplo anterior. Tenemos los CPTs P(B), P(E), P(A|B, E), P(J|A) y P(M|A) , y el siguiente gráfico:Para esta red de Bayes, estamos tratando de probar la siguiente relación: P(B, E, A, J, M) = P(B)P(E)P(A|B, E)P(J|A)P(M|A)(1) Podemos expandir la distribución conjunta de otra manera: usando la regla de la cadena. Si ampliamos la distribución A B MEJ
conjunta con ordenación topológica (padres antes que hijos), obtenemos la siguiente ecuación: P(B, E, A, J, M) = P(B)P(E|B)P(A|B, E)P(J|B, E, A)P(M|B, E, A, J) (2) Note que en la Ecuación (1) cada variable está representada en un CPT P(var|Padres(var), mientras que en la Ecuación (2), cada variable se representa en un CPT P(var|Padres(var), Ancestros(var)). Confiamos en la primera relación de independencia condicional anterior, que cada nodo es condicionalmente independiente de todos sus nodos antepasados en el gráfico, dados todos sus padres 1 Por lo tanto, en una red de Bayes, P(var|Padres(var), Ancestros(var)) = P(var|Padres(var)), entonces la Ecuación (1) y La ecuación (2) son iguales. Las independencias condicionales en una Red Bayesiana permiten múltiples tablas de probabilidad condicionales más pequeñas para representar toda la distribución de probabilidad conjunta. Inferencia exacta en redes bayesianas La inferencia es el problema de encontrar el valor de alguna distribución de probabilidad P(Q1...Qk|e1...ek), como se detalla en la 1 En otra parte, la suposición puede definirse como "un nodo es condicionalmente independiente de sus no descendientes dados sus padres". Siempre queremos hacer la suposición mínima posible y probar lo que necesitamos, así que usaremos la suposición de los antepasados.
Un enfoque alternativo es eliminar las variables ocultas una por una. Para eliminar una variable X, hacemos lo siguiente:
2. Sume X. Un factor se define simplemente como una probabilidad no normalizada . En todos los puntos durante la eliminación de variables, cada factor será proporcional a la probabilidad a la que corresponde, pero la distribución subyacente para cada factor no necesariamente sumará 1 como debería hacerlo una distribución de probabilidad. El pseudocódigo para la eliminación de variables es: function Eliminacion(X, e , bn ) returns una distribucion en X inputs: X, variable consulta e , valores observados para variables E bn , una red Bayesiana especificando una distribucion conjunta P(X1,…,Xn) factores← [] for each var in Ordenar(bn.Var)do factores← [Hacer Factor(var , e )|factores ]
sección de Inferencia Probabilística al comienzo de la clase. Dada una Red de Bayes, podemos resolver esto ingenuamente formando el PDF conjunto y usando Inferencia por Enumeración. Esto requiere la creación de una iteración sobre una tabla exponencialmente grande. Eliminación de Variables
1. Unir (multiplicar juntos) todos los factores que involucran a X.
i f var es una variable oculta then factores← Suma(var , factores ) return Normalizar(Produto Punto(factores)) Hagamos estas ideas más concretas con un ejemplo. Supongamos que tenemos un modelo como el que se muestra a continuación, donde T, C, S y E pueden tomar valores binarios. Aquí, T representa la posibilidad de que un aventurero tome un tesoro, C representa la probabilidad de que una jaula caiga sobre el aventurero dado que toma el tesoro, S representa la posibilidad de que se liberen serpientes si un aventurero toma el tesoro, y E representa la posibilidad de que el aventurero escape dada la información sobre el estado de la jaula y las serpientes.Eneste caso, tenemos los factores P(T), P(C|T), P(S|T) y P(E|C, S). Supongamos que queremos calcularP(T| + e). El enfoque de inferencia por enumeración sería formar la PDF conjunta de 16 filas P(T, C, S, E) , seleccionar solo las filas correspondientes a +e , y luego sumar C y S para finalmente normalizar.
T S E C
• Une los factores restantes, lo que da f( (+e, T) = f' (+e|T) · P(T).
• Une todos los factores que involucran a S , formando f& (+e, S|T) = P(S|T) · f" (+e|T, S).
Si bien este proceso es más complicado desde un punto de vista conceptual, el tamaño máximo de cualquier factor generado es solo 8 filas en lugar de 16 como sería si formáramos el PDF conjunto completo. Una forma alternativa de ver el problema es observar que el cálculo de P(T| + e) puede hacerse a través de la inferencia por enumeración de la siguiente manera:
α M M � (�)� (� |�)� (� |�)� (+� |� , �) *)
El enfoque alternativo es eliminar C, luego S, una variable a la vez. Procederíamos de la siguiente manera: • Unir (multiplicar) todos los factores que involucran a C , formando f! (C, +e|T, S) = P(C|T) · P(+e|C, S).
• Sumar S, dando f' (+e|T).
• Sumar C a partir de este nuevo factor, dejándonos con un nuevo factor f" (+e|T, S).
Una vez que tenemos f( (+e, T) , podemos calcular fácilmente P(T| + e) mediante la normalización.
αP(T) M � (�|� ) M � (� |� )� (+� |� , �)
*) ¡Podemos ver que las ecuaciones son equivalentes, excepto que en la eliminación de variables hemos movido términos que son irrelevantes para las sumas fuera de cada suma!
Como nota final sobre la eliminación de variables, es importante observar que solo mejora la inferencia por enumeración si somos capaces de limitar el tamaño del factor más grande a un valor razonable.
Ejercicio: Redes Bayesianas Supongamos que un paciente puede tener un síntoma (S) que puede ser causado por dos enfermedades diferentes (A y B). Se sabe que la variación del gen G juega un papel importante en la manifestación de la enfermedad A. La Red de Bayes y las tablas de probabilidad condicional correspondientes para esta situación se muestran a continuación. Para cada pregunta, puede dejar su respuesta como una expresión aritmética.
o por eliminación de Variables de la siguiente manera:
(a) Calcule la siguiente entrada de la distribución conjunta: P(+g, +a, +b, +s) = P(+g)P(+a| + g)P(+b)P(+s| + b, +a) = (0.1)(1.0)(0.4)(1.0) = 0.04
(c) ¿Cuál es la probabilidad de que un paciente tenga la enfermedad A dado que tiene la enfermedad B? P(+a| + b) = P(+a) = 0.19 La primera igualdad se cumple ya que A ⊥⊥ B, lo que se puede inferir del gráfico de la red de Bayes.
(b) ¿Cuál es la probabilidad de que un paciente tenga la enfermedad A? P(+a) = P(+a| + g)P(+g) + P(+a| g)P( g) = (1.0)(0.1) + (0.1)(0.9) = 0.19
(d) ¿Cuál es la probabilidad de que un paciente tenga la enfermedad A dado que tiene el síntoma S y la enfermedad B? P(+a| + s, +b) = P(+a, +b, +s) P(+a, +b, +s) + P( a, +b, +s) = P(+a)P(+b)P(+s| + a, +b) P(+a)P(+b)P(+s| + a, +b) + P( a)P(+b)P(+s| a, +b) = (0.19)(0.4)(1.0) (0.19)(0.4)(1.0) + (0.81)(0.4)(0.8) = 0.076 0.076 + 0.2592 ≈ 0.2267 (e) ¿Cuál es la probabilidad de que un paciente tenga la enfermedad portadora de la variación genética G dado que tiene la enfermedad A? P(+g| + a) = P(+g)P(+a| + g) P(+g)P(+a| + g) + P( g)P(+a| g) = (0.1)(1.0) (0.1)(1.0) + (0.9)(0.1) = 0.1 0.1 + 0.09 = 0.5263 Ejercicio: Eliminación de Variables Usando la Red Bayesiana que se muestra a continuación, queremos calcular P(Y| + z) . Todas las variables tienen
Al eliminar X generamos un nuevo factor f1 de la siguiente manera, �! (+� |� ) = M � (� |�)� (+�|� ) + lo que nos deja con los factores: P(T), P(U|T), P(V |T), P(W|T), P(Y |V, W), f" (+z|T) (a) Al eliminar T generamos un nuevo factor f" de la siguiente manera, lo que nos deja con los factores: f" (U, V, W, +z) = M P(t)P(U|t)P(V |t)P(W|t)�! (+z|t) , P(Y |V, W), f" (U, V, W, +z)
dominios binarios . Nosotros ejecutamos la eliminación de variables, con el siguiente orden de eliminación de variables: X, T, U, V,DespuésW. de insertar evidencia, tenemos los siguientes factores para comenzar: P(T), P(U|T), P(V |T), P(W|T), P(X|T), P(Y |V, W), P(+z|X)
(b) Al eliminar U generamos un nuevo factor f& de la siguiente manera, lo que nos deja con los factores: f& (V, W, +z) = M �" (u, V, W, +z)P(Y |V, W), f& (V, W, +z)
(c) Al eliminar V generamos un nuevo factor f' de la siguiente manera, lo que nos deja con los factores: f' (W, Y, +z) = M �& (v, W, +z)P(Y|v, W) . f' (W, Y, +z)
(d) Al eliminar W generamos un nuevo factor f( de la siguiente manera, lo que nos deja con los factores: f( (Y, +z) = M �' (w, Y, +z) / f( (Y, +z) (e) ¿Cómo obtendría P(Y | + z) a partir de los factores anteriores? Simplemente vuelva a normalizar f5(Y, +z) para obtener P(Y | + z). Concretamente,
Tenga en cuenta que U podría haberse eliminado del gráfico original, porque ∑ P(U|t) = 1- Podemos ver esto en el gráfico: podemos eliminar cualquier nodo hoja que no sea una variable de consulta o una variable de evidencia.
P(y|+z) = �( (�, +�) ∑ �( (� 0 , +�)10 (f) ¿Cuál es el tamaño del factor más grande que se genera durante el proceso anterior? f" (U, V, W, +z) . Este contiene 3 variables no condicionadas, por lo que tendrá 23 = 8 entradas (U, V, W son variables binarias, y solo necesitamos almacenar las entradas para +z para cada configuración posible de estas variables).
(g) ¿Existe un mejor orden de eliminación (uno que genera factores más pequeños y más grandes)?
Sí. Una de esas ordenaciones es X, U, T, V, W . Todos los factores generados con esta ordenación contienen como máximo 2 variables no condicionadas, por lo que las tablas tendrán como máximo 22 = 4 entradas (ya que todas las variables son binarias).
• Eliminación de
Conclusión Para resumir, las redes bayesianas son una poderosa representación de distribuciones de probabilidad conjunta. Su estructura topológica codifica la independencia y las relaciones de independencia condicional, y podemos usarla para modelar distribuciones arbitrarias para realizar inferencia y muestreo.
Los algoritmos de inferencia exactos cubiertos fueron: enumeración Variables
En esta clase, cubrimos dos enfoques de la inferencia probabilística: la inferencia exacta y la inferencia probabilística (muestreo). En la inferencia exacta, se nos garantiza la probabilidad correcta exacta, pero la cantidad de cálculo computacional puede ser prohibitiva.
• Inferencia por
