Markov Chains: Models, Algorithms and Applications

این نسخه جدید زنجیره‌های مارکوف: مدل‌ها، الگوریتم‌ها و برنامه‌ها به‌طور کامل به‌عنوان یک متن، با تمرین‌های پایان فصل، تمرکز جدید بر علم مدیریت، جدید، قالب‌بندی مجدد شده است. کاربردهای مدل‌ها و مثال‌های جدید با کاربرد در مدیریت ریسک مالی و مدل‌سازی داده‌های مالی.

این کتاب شامل هشت فصل است. فصل 1 مقدمه ای کوتاه بر نظریه کلاسیک در هر دو زنجیره مارکوف زمان گسسته و پیوسته ارائه می دهد. رابطه بین زنجیره های مارکوف حالت های محدود و نظریه ماتریس نیز برجسته خواهد شد. برخی از روش‌های تکراری کلاسیک برای حل سیستم‌های خطی برای یافتن توزیع ثابت یک زنجیره مارکوف معرفی خواهند شد. سپس این فصل نظریه‌ها و الگوریتم‌های اساسی مدل‌های مارکوف پنهان (HMM) و فرآیندهای تصمیم‌گیری مارکوف (MDP) را پوشش می‌دهد.

فصل 2 کاربردهای زنجیره‌های مارکوف زمان پیوسته برای مدل‌سازی سیستم‌های صف و زنجیره مارکوف زمان گسسته را مورد بحث قرار می‌دهد. برای محاسبه PageRank، رتبه بندی وب سایت ها در اینترنت. فصل 3 مدل‌های مارکوویی را برای ساخت و تولید مجدد سیستم‌ها مطالعه می‌کند و راه‌حل‌های شکل بسته و الگوریتم‌های عددی سریع را برای حل سیستم‌های گرفته شده ارائه می‌کند. در فصل 4، نویسندگان یک مدل مارکوف پنهان ساده (HMM) با الگوریتم‌های عددی سریع برای تخمین پارامترهای مدل ارائه می‌کنند. کاربرد HMM برای طبقه بندی مشتریان نیز ارائه شده است.

فصل 5 فرآیندهای تصمیم مارکوف را برای ارزش های طول عمر مشتری مورد بحث قرار می دهد. ارزش های طول عمر مشتری (CLV) یک مفهوم و کمیت مهم در مدیریت بازاریابی است. نویسندگان رویکردی مبتنی بر فرآیندهای تصمیم مارکوف برای محاسبه CLV با استفاده از داده‌های واقعی ارائه می‌کنند.

فصل 6 مدل‌های زنجیره مارکوف مرتبه بالاتر، به‌ویژه کلاسی از مدل‌های زنجیره مارکوف مرتبه بالاتر را در نظر می‌گیرد. روش های برآورد کارآمد برای پارامترهای مدل بر اساس برنامه ریزی خطی ارائه شده است. نتایج تحقیقات معاصر در مورد برنامه های کاربردی برای پیش بینی تقاضا، کنترل موجودی و اندازه گیری ریسک مالی نیز ارائه شده است. در فصل 7، کلاسی از مدل‌های چند متغیره مارکوف معرفی شده است. مجدداً روش‌های برآورد کارآمد مبتنی بر برنامه‌ریزی خطی ارائه شده‌اند. کاربردها برای پیش‌بینی تقاضا، سیاست کنترل موجودی و مدل‌سازی داده‌های رتبه‌بندی اعتباری مورد بحث قرار گرفته‌اند. در نهایت، فصل 8 مجدداً از مدل‌های پنهان مارکوف بازدید می‌کند و نویسندگان کلاس جدیدی از مدل‌های پنهان مارکوف را با الگوریتم‌های کارآمد برای تخمین پارامترهای مدل ارائه می‌کنند. کاربردهایی برای مدل‌سازی نرخ‌های بهره، رتبه‌بندی اعتباری و داده‌های پیش‌فرض مورد بحث قرار می‌گیرد.

این کتاب برای دانشجویان ارشد، دانشجویان کارشناسی ارشد، متخصصان، پزشکان و محققان در ریاضیات کاربردی، علوم محاسباتی، تحقیقات عملیاتی، علوم مدیریت است. و امور مالی که به فرمول بندی و محاسبه شبکه های صف، مدل های زنجیره مارکوف و موضوعات مرتبط علاقه مند هستند. انتظار می رود که خوانندگان دانش پایه ای در مورد نظریه احتمال، فرآیندهای مارکوف و نظریه ماتریس داشته باشند.

This new edition of Markov Chains: Models, Algorithms and Applications has been completely reformatted as a text, complete with end-of-chapter exercises, a new focus on management science, new applications of the models, and new examples with applications in financial risk management and modeling of financial data.

This book consists of eight chapters. Chapter 1 gives a brief introduction to the classical theory on both discrete and continuous time Markov chains. The relationship between Markov chains of finite states and matrix theory will also be highlighted. Some classical iterative methods for solving linear systems will be introduced for finding the stationary distribution of a Markov chain. The chapter then covers the basic theories and algorithms for hidden Markov models (HMMs) and Markov decision processes (MDPs).

Chapter 2 discusses the applications of continuous time Markov chains to model queueing systems and discrete time Markov chain for computing the PageRank, the ranking of websites on the Internet. Chapter 3 studies Markovian models for manufacturing and re-manufacturing systems and presents closed form solutions and fast numerical algorithms for solving the captured systems. In Chapter 4, the authors present a simple hidden Markov model (HMM) with fast numerical algorithms for estimating the model parameters. An application of the HMM for customer classification is also presented.

Chapter 5 discusses Markov decision processes for customer lifetime values. Customer Lifetime Values (CLV) is an important concept and quantity in marketing management. The authors present an approach based on Markov decision processes for the calculation of CLV using real data.

Chapter 6 considers higher-order Markov chain models, particularly a class of parsimonious higher-order Markov chain models. Efficient estimation methods for model parameters based on linear programming are presented. Contemporary research results on applications to demand predictions, inventory control and financial risk measurement are also presented. In Chapter 7, a class of parsimonious multivariate Markov models is introduced. Again, efficient estimation methods based on linear programming are presented. Applications to demand predictions, inventory control policy and modeling credit ratings data are discussed. Finally, Chapter 8 re-visits hidden Markov models, and the authors present a new class of hidden Markov models with efficient algorithms for estimating the model parameters. Applications to modeling interest rates, credit ratings and default data are discussed.

This book is aimed at senior undergraduate students, postgraduate students, professionals, practitioners, and researchers in applied mathematics, computational science, operational research, management science and finance, who are interested in the formulation and computation of queueing networks, Markov chain models and related topics. Readers are expected to have some basic knowledge of probability theory, Markov processes and matrix theory.