ejercicio 5.11 (colas)

174 days ago by roschaefer

Sea X una cadena de Markov con espacio de estado {a,b,c} y probabilidades de transicion dada por: 
       
P<-matrix(c(0.3,0.7, 0.0,0.0 ,0.6, 0.4,0.4, 0.1, 0.5),ncol=3,byrow=TRUE) dimnames(P)<-list(c("a","b","c"),c("a","b","c")) P 
        
    a   b   c
a 0.3 0.7 0.0
b 0.0 0.6 0.4
c 0.4 0.1 0.5
    a   b   c
a 0.3 0.7 0.0
b 0.0 0.6 0.4
c 0.4 0.1 0.5
Sean las probabilidades iniciales dadas por (0.1,0.3,0.6) y una funcion de beneficio dada por (10,20,30). (Eso quiere decir, que cada visita al estado A produce un beneficio de 10 dolares.) Encontrar: a.-Pr{X2 = b|X1 = c} 
       
probabilidad de pasar del estado c al estado b en un paso. esta probabilidad viene dada en la matriz p por el elemento: 
       
a<- P[3,2] cat("Pr{X2 = b|X1 = c}=",a,"\n") 
        
Pr{X2 = b|X1 = c}= 0.1 
Pr{X2 = b|X1 = c}= 0.1
b.- Pr{X3 = b|X1 = c} probabilidad de pasar del estado c al estado b en dos paso. esta probabilidad viene dada en la matriz p*p por el elemento: 
       
P.<-P%*%P dimnames(P.)<-list(c("a","b","c"),c("a","b","c")) P. cat("\n","Pr{X3 = b|X1 = c}=",P.[3,2],"\n") 
        
     a    b    c
a 0.09 0.63 0.28
b 0.16 0.40 0.44
c 0.32 0.39 0.29

 Pr{X3 = b|X1 = c}= 0.39 
     a    b    c
a 0.09 0.63 0.28
b 0.16 0.40 0.44
c 0.32 0.39 0.29

 Pr{X3 = b|X1 = c}= 0.39
cat("\n","Pr{X3 = b|X1 = c,X0 = c} = Pr{X3 = b|X1 = c}=",P.[3,2],"\n") 
        
 Pr{X3 = b|X1 = c,X0 = c} = Pr{X3 = b|X1 = c}= 0.39 
 Pr{X3 = b|X1 = c,X0 = c} = Pr{X3 = b|X1 = c}= 0.39
d.-Pr{X2 = b} tomamos las probabilidades iniciales dadas por (0.1,0.3,0.6) y lo multiplicamos por P2 (p*p) y al obtener el vector, el segundo elemento sera la probabilidad de que en 2 pasos se encuentre en b. 
       
Mu<-c(0.1,0.3,0.6) d<-Mu%*%P. d cat("\n","Pr{X2 = b}=",d[1,2],"\n") 
        
      [,1]  [,2]  [,3]
[1,] 0.249 0.417 0.334

 Pr{X2 = b}= 0.417 
      [,1]  [,2]  [,3]
[1,] 0.249 0.417 0.334

 Pr{X2 = b}= 0.417
e.-Pr{X1 = b,X2 = c|X0 = c} por porpiedades de Markov Pr{X1 = b,X2 = c|X0 = c} = Pr{X2 = c|X1 = b} * Pr{X1 = b|X0 = c} por lo tanto tenemos que: 
       
e<-P[3,2]*P[2,3] cat("\n","Pr{X2 = c|X1 = b} * Pr{X1 = b|X0 = c} = ",e,"\n") 
        
 Pr{X2 = c|X1 = b} * Pr{X1 = b|X0 = c} =  0.04 
 Pr{X2 = c|X1 = b} * Pr{X1 = b|X0 = c} =  0.04
f.- E[ f(X2)|X1 = c] tomamos la matriz P y la multiplicamos por la funcion de beneficio dada por (10,20,30) y al obtener el vector, encontraremos el tercer elemento como dicha esperanza. 
       
FB<-c(10,20,30) f<-P%*%FB f cat("\n","E[ f(X2)|X1 = c] = ",f[3,1],"\n") 
        
  [,1]
a   17
b   24
c   21

 E[ f(X2)|X1 = c] =  21 
  [,1]
a   17
b   24
c   21

 E[ f(X2)|X1 = c] =  21
g.- lim n→∞ Pr{Xn = a|X0 = a} para poder calcular esta probabilidad para luego encontrar el limite es necesario obtener la matriz de probabilidades de estado estable, de la siguiente manera: en primer lugar modificamos la matriz P para luego poder obtener la matriz Pi. modificaremos la matriz P restandole la matriz Identidad y luego cambiando una de las filas de la matriz obtenida por un vector de unos (1), luego resolveremos el sistema de ecuaciones para obtener la matriz de probabilidades de estado estable. 
       
m<- t(P) - diag(nrow(P)) m m[nrow(P),]<- rep(1,nrow(P)) m s<-c(0,0,1) Pi<-solve(m,s) Pi Pn<-matrix(c(Pi,Pi,Pi),3,byrow=TRUE) Pn cat("\n","lim n→∞ Pr{Xn = a|X0 = a} = ",Pn[1,1],"\n") 
        
     a    b    c
a -0.7  0.0  0.4
b  0.7 -0.4  0.1
c  0.0  0.4 -0.5

     a    b   c
a -0.7  0.0 0.4
b  0.7 -0.4 0.1
c  1.0  1.0 1.0


[1] 0.2025316 0.4430380 0.3544304

          [,1]     [,2]      [,3]
[1,] 0.2025316 0.443038 0.3544304
[2,] 0.2025316 0.443038 0.3544304
[3,] 0.2025316 0.443038 0.3544304

 lim n→∞ Pr{Xn = a|X0 = a} =  0.2025316 
     a    b    c
a -0.7  0.0  0.4
b  0.7 -0.4  0.1
c  0.0  0.4 -0.5

     a    b   c
a -0.7  0.0 0.4
b  0.7 -0.4 0.1
c  1.0  1.0 1.0


[1] 0.2025316 0.4430380 0.3544304

          [,1]     [,2]      [,3]
[1,] 0.2025316 0.443038 0.3544304
[2,] 0.2025316 0.443038 0.3544304
[3,] 0.2025316 0.443038 0.3544304

 lim n→∞ Pr{Xn = a|X0 = a} =  0.2025316
h.- lim n→∞ Pr{Xn = b|X10 = c} utilizando la matriz de probabilidad de estado estable tenemos que: 
       
cat("\n","lim n→∞ Pr{Xn = b|X10 = c} = ",Pn[3,2],"\n") 
        
 lim n→∞ Pr{Xn = b|X10 = c} =  0.443038 
 lim n→∞ Pr{Xn = b|X10 = c} =  0.443038
i.- lim n→∞ E[ f(Xn)|X0 = c] en este caso tenemos la matriz de probabilidad de estado estable que multiplicaremos por la funcion beneficion dada anteriormente (10,20,30) 
       
i<-Pn%*%FB i cat("\n","lim n→∞ E[ f(Xn)|X0 = c] = ",i[3],"\n") 
        
         [,1]
[1,] 21.51899
[2,] 21.51899
[3,] 21.51899

 lim n→∞ E[ f(Xn)|X0 = c] =  21.51899 
         [,1]
[1,] 21.51899
[2,] 21.51899
[3,] 21.51899

 lim n→∞ E[ f(Xn)|X0 = c] =  21.51899
 
       
c.-Pr{X3 = b|X1 = c,X0 = c} probabilidad de estar en el estado b dado que en el estado incial estuvo en c y X1 tambien estuvo en c; por propiedades de las cadenas de Markov, es igual a la probabilidad de pasar del estado c al estado b en dos pasos. (obtenida en el problema anterior)