Algoritmo de iteración de políticas aproximado en modelos Markovianos y semi-markovianos bajo en criterio de costo descontado

Abstract

En este trabajo se estudian métodos de aproximación para el problema de control óptimo descontado en procesos de decisión markovianos y semi-markovianos con costos no-acotados, y espacios de estados y controles generales. La importancia de esta clase de procesos se debe a que una diversidad de problemas que aparecen en campos como economía, investigación de operaciones, finanzas, teoría de inventarios, teoría de colas y modelos de mantenimiento remplazo etc., se formulan como problemas de control óptimo ([14], [16], [20], [30], [32]). Actualmente se cuenta con una teoría general bien desarrollada para este tipo de problemas; no obstante, la implementación numérica de algoritmos para el cálculo de las soluciones óptimas tiene limitantes importantes. Por un lado, la mayor parte de la literatura se restringe a procesos con espacio de estados finitos, lo cual excluye muchos problemas importantes (e.g.,teoría de inventarios, sistemas de espera, control de pesquerías, problemas de remplazo entre otros). Por otra parte, la mayoría de los algoritmos propuestos son procedimientos heurísticos, es decir, no se tiene garantía de su convergencia o no proporcionan cotas para los errores de aproximación expresadas en términos de cantidades conocidas o que puedan ser calculadas. Esta situación claramente limita el campo de aplicación de los procesos de decisión markovianos y a su vez, plantea el reto de investigar y proponer algoritmos generales y esquemas de implementación numérica que permitan encontrar soluciones en problemas concretos con la precisión deseada.