Markov Karar Sürci dinamik programlama ile çözülen bir karar verme yöntemidir. Bu güçlü matematiksel metot sürecin durumunun dinamik olarak değiştiği ve kararların sonucunun karar vericinin kontrolü dışındaki faktörlerden etkilendiği durumlarda en iyi çözümü bulmak için kullanılır. Bu ders üç kısımdan oluşmaktadır. İlk kısım yönetim ve mühendislik problemlerinin Markov Karar Süreçleri ile modellenmesi üzerinde durmaktadır. Envanter yönetimi, gelir yönetimi, sağlık sektörü kararları, üretim planlaması gibi konular Markov Karar Süreçleri ile modellenecektir. İkinci kısımda lineer programlama, değer tekrarlama ve ilke tekrarlama gibi çok kullanılan çözüm algoritmalarından bahsedilecektir. En son kısımda ise Markov Karar Süreçleri'nin uygulamaları, ve de bilimsel literatürdeki açık sorular tartışılacaktır.