Further Topics on Discrete-Time Markov Control Processes

این کتاب قسمت دوم یک مجموعه دو جلدی را ارائه می‌کند که به توضیح سیستماتیک برخی از پیشرفت‌های اخیر در نظریه فرآیندهای کنترل مارکوف زمان گسسته (MCPs) اختصاص دارد. همانطور که در بخش اول، که از این پس به عنوان "جلد I" نامیده می شود (به هرناندز-لرما و لاسر [1] مراجعه کنید)، علاقه عمدتاً به MCPهایی با فضاهای حالت بورل و کنترل، و احتمالاً هزینه های نامحدود محدود می شود. با این حال، ویژگی مهم جلد حاضر این است که اساساً مستقل است و می‌توان آن را مستقل از جلد اول خواند. دلیل این استقلال این است که اگرچه هر دو جلد با کلاس‌های مشابهی از MCPها سروکار دارند، مفروضات مربوط به مدل‌های کنترلی معمولا متفاوت هستند به عنوان مثال، جلد I فقط به توابع هزینه غیرمنفی در هر مرحله می پردازد، در حالی که در جلد کنونی به توابع هزینه اجازه می دهیم تا مقادیر مثبت یا منفی را بر حسب نیاز در برخی برنامه ها دریافت کنند. بنابراین، بسیاری از نتایج در حجم یون، مثلاً مشکلات هزینه با تخفیف یا متوسط، برای مدل‌هایی که در اینجا در نظر گرفته شده است، قابل اعمال نیستند. از سوی دیگر، اکنون مدل‌های کنترلی را در نظر می‌گیریم که معمولاً به کلاس‌های محدودتری از مجموعه‌های کنترل-محدودیت و/یا قوانین انتقال نیاز دارند. این از دست دادن کلیت، البته، عمدی است، زیرا به ما اجازه می دهد تا نتایج \"دقیق\" بیشتری بدست آوریم. به عنوان مثال، در یک زمینه بسیار کلی، در §4.

This book presents the second part of a two-volume series devoted to a sys­ tematic exposition of some recent developments in the theory of discrete­ time Markov control processes (MCPs). As in the first part, hereafter re­ ferred to as "Volume I" (see Hernandez-Lerma and Lasserre [1]), interest is mainly confined to MCPs with Borel state and control spaces, and possibly unbounded costs. However, an important feature of the present volume is that it is essentially self-contained and can be read independently of Volume I. The reason for this independence is that even though both volumes deal with similar classes of MCPs, the assumptions on the control models are usually different. For instance, Volume I deals only with nonnegative cost­ per-stage functions, whereas in the present volume we allow cost functions to take positive or negative values, as needed in some applications. Thus, many results in Volume Ion, say, discounted or average cost problems are not applicable to the models considered here. On the other hand, we now consider control models that typically re­ quire more restrictive classes of control-constraint sets and/or transition laws. This loss of generality is, of course, deliberate because it allows us to obtain more "precise" results. For example, in a very general context, in §4.