[数学]动态规划应用.doc

天津工业大学毕业设计（论文）题目：动态规划在学生选课中的应用姓 名 学 院 专 业 指导教师 职 称 2011年 5月 28日摘 要本文主要介绍了动态规划（Dynamic Programming）的基本内容，详细介绍了动态规划过程中的阶段、状态变量、决策变量的定义及其选取与详细应用。本文建立了大学生选修课选课的动态规划模型，并且研究了动态规划在求解选课过程最优解的过程中的应用。本论文在阐述了多阶段动态规划模型的详细求解过程的基础上，主要解决了运用最优化方法中多阶段动态规划模型求解多阶段选课的问题。第二章是动态规划内容的详细介绍，第三章是多阶段选修课选课动态规划模型的建立与最优选课安排的得出过程。本论文对于过程最优解与全局最优解的关系做出了直观的描述。这有助于系统化人性化的选课系统的建立。关键词：动态规划；最优解；阶段；决策变量；状态变量。 ABSTRACTThis article mainly introduced the Dynamic Programming and introduced the process of dynamic planning stage or state variables, the definition and selection decision variables with detailed applications. This paper established the course of college students' elective dynamic programming model., and studied the dynamic programming in solving the optimal solution of course selection process in the process of application.This paper expounded the dynamic programming model in multi-stage detailed solving process, mainly solved the basis for the use of the optimization methods of dynamic programming model to solve multiple stage of course. The second chapter is dynamic programming content detailed introduction, and the third chapter is multi-stage elective courses of dynamic programming model is established and arrange the optimal selection is obtained.This paper describes process optimal solution and the global optimal solution relationship intuitively. It helps to establish systematic humanistic elective course system.Keywords: Dynamic planning; The optimal solution; Stage; The decision variables; Stage variables.目 录 第一章 前言1第二章 动态规划的基本概念和基本原理22.1 动态规划的基本概念22.1.1 阶段22.1.2 状态22.1.3 决策和策略32.1.4 状态转移方程32.1.5 指标函数42.2 动态规划的基本思想与基本原理42.2.1 动态规划方法的基本思想42.2.2动态规划算法的基本步骤52.2.3 动态规划的基本方程与基本原理62.2.4动态规划的适用条件6第三章 动态规划模型的建立与求解83.1 动态规划模型的建立83.2 状态变量、决策变量的选择93.3 求解动态规划的最优解93.4 得出最优解14第四章 问题与展望15参考文献17附录118附录227谢辞30 天津工业大学2007届本科生毕业设计（论文）第一章 前言动态规划(dynamic programming)是运筹学的一个分支，是求解决策过程(decision process)最优化的数学方法。20世纪50年代初美国数学家Bellman等人在研究多阶段决策过程(multistep decision process)的优化问题时，提出了著名的最优化原理(principle of optimality)，把多阶段过程转化为一系列单阶段问题，利用各阶段之间的关系，逐个求解，创立了解决这类过程优化问题的新方法动态规划。1957年出版了他的名著Dynamic Programming，这是该领域的第一本著作。动态规划问世以来，在经济管理、生产调度、工程技术和最优控制等方面得到了广泛的应用。例如最短路线、库存管理、资源分配、设备更新、排序、装载等问题，用动态规划方法比用其他方法求解更为方便。虽然动态规划主要用于求解以时间划分阶段的动态规划过程的优化问题，但是一些与时间无关的静态规划（如线性规划、非线性规划）只要认为的引入时间因素，把它视为多阶段决策过程，也可以用动态规划方法方便地求解。动态规划模型的分类：离散确定型；离散随机型；连续确定型；连续随机型。本文仅运用离散确定型动态规划模型，初步解决动态规划在学生选修课选课过程中的应用，并运用数学软件进行模拟分析。第二章 动态规划的基本概念和基本原理2.1 动态规划的基本概念是用动态规划方法解决多阶段决策问题，首先要将实际问题写成动态规划模型，此时我们要用到以下概念：1.阶段；2状态；3决策和策略；4状态转移；5指标函数；2.1.1 阶段将所给问题的过程，按照时间或空间特征分解成若干相互联系的阶段，以便按照次序去求每个阶段的解，常用字母k表示阶段变量。图2.1图2.1中，从A到F可以分成从A到B（B有两种选择B1，B2），从B到C（C有四种选择C1，C2，C3，C4），从C到D（D有三种选择D1，D2，D3），从D到E（E有两种选择E1，E2），再从E到F五个阶段。k=1，2，3，4，5。2.1.2 状态各阶段开始时的客观条件叫做状态。描述各阶段状态的变量成为状态变量，常用表示第k阶段的状态变量，状态变量sk的取值集合成为状态集合，用Sk表示。动态规划中的状态应居于如下性质：当某阶段状态给定以后，在这阶段以后过程的发展不受这段以前各段状态的影响。也就是说，当前的状态是过去历史的一个完整总结，过程的过去历史只能通过当前状态去影响它未来的发展，这称为无后效性。如果所选定的变量不具备无后效性，就不能作为状态变量来构造动态规划模型。在例1中第一阶段状态为A，第二阶段则有两个状态：B1，B2。状态变量st的集合S1=A，后面各段的状态集合分别是：S2=B1，B2S3=C1，C2 ,C3 ,C4S4=D1，D2 ,D3S5=E1，E2 当某段的初始状态已选定某个点时，从这个点以后的路径选择只与该点有关，不受以前的路径的影响，所以满足状态的无后效性。2.1.3 决策和策略当各段的状态去顶以后，就可以做出不同的决策（或选择），从而确定下一阶段的状态，这种决定称为决策。表示决策的变量，称为决策变量，产用uk(sk)表示第k阶段当状态为sk时的决策变量。在实际问题中，决策变量的取值往往限制在一定范围内，我们称此范围为允许决策集合，常用Dk(sk)表示第k阶段从状态sk出发的允许决策集合，显然有uk(sk)Dk(sk)。在例1中，从第二阶段的状态B1出发，可选择下一段的C1，C2，C3，即其允许决策集合为：D2(B1)=C1，C2，C3如我们选择C3，则可表为：U2(B1)=C3各段决策确定后，整个问题的决策序列就构成一个策略，用p1，n u1(s1)，u2(s2)，un(sn)表示。对每个实际问题，可供选择的策略有一定范围，称为允许策略集合，记作P1，n，使整个问题达到最优效果的策略就是最优策略。2.1.4 状态转移方程 动态规划中本阶段的状态往往是上一阶段状态和上一阶段的决策结果。如果给定了第k段的状态sk，本阶段决策为uk(sk)，则第k+1段的状态sk+1也就完全确定，它们的关系可用下式表示：sk+1=Tk(sk,uk)由于它表示了由k段到k+1段的状态转移规律，所以称为状态转移方程。例1中，状态转移方程为：Sk+1= uk(sk)2.1.5 指标函数用于衡量所选定策略优劣的淑玲指标称为指标函数。它分为阶段指标函数和过程指标函数两种。阶段指标函数是指第k段，从状态sk出发；采取决策uk时的效益，用d（sk,uk）表示。而一个n段决策过程，从1到n叫做问题的原过程，对于任意一个给定的k（1kn），从第k段到第n段的过程称为原过程的一个后部子过程。V1,n(s1,p1,n)表示初始状态为s1采用策略p1，n时原过程的指标函数值，而Vk,n(sk,pk,n)表示在第k段，状态为sk采用策略pk，n时，后部子过程的指标函数值。最优指标函数记为fk(sk)，它表示从第k段状态sk，采用最优策略p*k，n到过程中止是的最佳效益值。fk(sk)与Vk,n(sk,pk,n)间的关系为：fksk=Vk,nsk,pk,n*=optpk,nPk,nVk,n(sk,pk,n)上式中opt表示最优化，根据具体问题分别表示为max或min。在例1中，指标函数是距离。如第二阶段，状态为B1是d(B1,C2)表示由B1出发。采用决策到下一段C2点的两点间距离，V2,5(B1)表示从B1到F的距离，而f2(B1)则表示从B1到F的最短距离。本问题的总目标是求f1(A)，即从A到终点F的最短距离。2.2 动态规划的基本思想与基本原理2.2.1 动态规划方法的基本思想一般来说，只要问题可以划分成规模更小的子问题，并且原问题的最优解中包含了子问题的最优解（即满足最优子化原理），则可以考虑用动态规划解决【1】。动态规划的实质是分治思想和解决冗余，因此，动态规划是一种将问题实例分解为更小的、相似的子问题，并存储子问题的解而避免计算重复的子问题，以解决最优化问题的算法策略。由此可知，动态规划法与分治法和贪心法类似，它们都是将问题实例归纳为更小的、相似的子问题，并通过求解子问题产生一个全局最优解。其中贪心法的当前选择可能要依赖已经作出的所有选择，但不依赖于有待于做出的选择和子问题。因此贪心法自顶向下，一步一步地作出贪心选择；而分治法中的各个子问题是独立的 (即不包含公共的子问题)，因此一旦递归地求出各子问题的解后，便可自下而上地将子问题的解合并成问题的解。但不足的是，如果当前选择可能要依赖子问题的解时，则难以通过局部的贪心策略达到全局最优解；如果各子问题是不独立的，则分治法要做许多不必要的工作，重复地解公共的子问题。解决上述问题的办法是利用动态规划。该方法主要应用于最优化问题，这类问题会有多种可能的解，每个解都有一个值，而动态规划找出其中最优(最大或最小)值的解。若存在若干个取最优值的解的话，它只取其中的一个。在求解过程中，该方法也是通过求解局部子问题的解达到全局最优解，但与分治法和贪心法不同的是，动态规划允许这些子问题不独立，(亦即各子问题可包含公共的子子问题)也允许其通过自身子问题的解作出选择，该方法对每一个子问题只解一次，并将结果保存起来，避免每次碰到时都要重复计算。因此，动态规划法所针对的问题有一个显著的特征，即它所对应的子问题树中的子问题呈现大量的重复。动态规划法的关键就在于，对于重复出现的子问题，只在第一次遇到时加以求解，并把答案保存起来，让以后再遇到时直接引用，不必重新求解。2.2.2 动态规划算法的基本步骤设计一个标准的动态规划算法，通常可按以下几个步骤进行：1) 将多阶段决策过程划分阶段，恰当地选取状态变量、决策变量以及定义最优指标函数，从而把问题化成一族同类型的子问题，然后逐个求解。2) 求解时从边界条件开始，逆（或顺）过程行进方向，逐段递推寻优。在每一个子问题求解时，都要使用它前面已求出的子问题的最优结果，最后一个子问题的最优解，就是整个问题的最优解。3) 动态规划方法是既把当前一段与未来各段分开，又把当前效益和未来效益结合起来考虑的一种最优化方法，因此每段的最优策略选取是从全局考虑的，与该段的最优选择一般是不同的。【4】动态规划的主要难点在于理论上的设计，一旦设计完成，实现部分就会非常简单。2.2.3 动态规划的基本方程与基本原理动态规划的基本方程为：fksk=optukDk(sk)vksk,uk+fk+1sk+1 k=n,n-1,1fn+1sn+1=0 动态规划方法基于贝尔曼等人提出的最优化原理，它可表述为：一个过程的最优策略具有这样的性质：即无论初始状态及初始决策如何，对于先前决策所形成的状态而言，其以后的所有决策应构成最优策略【3】。2.2.4 动态规划的适用条件任何思想方法都有一定的局限性，超出了特定条件，它就失去了作用。同样，动态规划也并不是万能的。适用动态规划的问题必须满足最优化原理和无后效性。1.最优化原理（最优子结构性质）最优化原理可这样阐述：一个最优化策略具有这样的性质，不论过去状态和决策如何，对前面的决策所形成的状态而言，余下的诸决策必须构成最优策略。简而言之，一个最优化策略的子策略总是最优的。一个问题满足最优化原理又称其具有最优子结构性质。最优化原理是动态规划的基础，任何问题，如果失去了最优化原理的支持，就不可能用动态规划方法计算。动态规划的最优化理在其指标函数的可分离性和单调性中得到体现。根据最优化原理导出的动态规划基本方程是解决一切动态规划问题的基本方法。2.无后向性将各阶段按照一定的次序排列好之后，对于某个给定的阶段状态，它以前各阶段的状态无法直接影响它未来的决策，而只能通过当前的这个状态。换句话说，每个状态都是过去历史的一个完整总结。这就是无后向性，又称为无后效性。有些问题乍一看好像有后向性，但如果按照某种合理的方式重新划分阶段，就可以发现其本质上是无后向性的，所以关键是阶段的合理划分，这一点将在动态规划的技巧中详细阐述。3.子问题的重叠性动态规划可以将原来具有指数级复杂度的搜索算法改进成具有多项式时间的算法。其中的关键在于解决冗余，这是动态规划算法的根本目的。动态规划实质上是一种以空间换时间的技术，它在实现的过程中，不得不存储产生过程中的各种状态，所以它的空间复杂度要大于其它的算法。以Bitonic旅行路线问题为例，这个问题也可以用搜索算法来解决。动态规划的时间复杂度为O(n2)，搜索算法的时间复杂度为O(n!) ，但从空间复杂度来看，动态规划算法为O(n2)，而搜索算法为O(n)，搜索算法反而优于动态规划算法。选择动态规划算法是因为动态规划算法在空间上可以承受，而搜索算法在时间上却无法承受，所以我们舍空间而取时间。设原问题的规模为n，容易看出，当子问题树中的子问题总数是n的超多项式函数，而不同的子问题数只是n的多项式函数时，动态规划法显得特别有意义，此时动态规划法具有线性时间复杂性。所以，能够用动态规划解决的问题还有一个显著特征：子问题的重叠性。这个性质并不是动态规划适用的必要条件，但是如果该性质无法满足，动态规划算法同其他算法相比就不具备优势。第三章 动态规划模型的建立与求解3.1 动态规划模型的建立建立动态规划的模型，就是分析问题并建立问题的动态规划基本方程。成功地应用动态规划方法的关键，在于识别问题的多阶段特征，将问题分解成为可用递推关系式联系起来的若干子问题，而正确建立基本递推关系方程的关键又在于正确选择状态变量，保证各阶段的状态变量具有递推的状态转移关系sk+1=Tk(sk,uk)。本论文主要选取了某学生在大学四年期间所感兴趣的选修课，要求其每学期只能选择一门选修课，并且使其对所有选修课的满意程度达到最大。图3.1表3.1 平均喜好程度非常喜欢1喜欢0.7一般0.5不喜欢0.3完全不喜欢0.1且要求每一学年所修学分数达到8个学分图3.2图3.2为图3.1的关系图，其中Ai,Bi,Ci,Di,Ei,Fi,Gi,Hi（i=1,2,3,4）分别代表对应学期所选择的对应的选修课程，在课程名下方的红色数字代表所选修课程的对应学分数；在课程之后的数字为对下一门课程的平局喜好程度（见表3.1），数字顺序对应下一学期可选修课程的顺序，*代表在选择本门课程时，不可选修*位置所指示的课程。本文主要运用动态规划算法解决该选课问题的最优解，即最大喜好程度。3.2 状态变量、决策变量的选择阶段k：在这里，k取1,2,3,4,5,6,7,8状态变量sk：第k阶段可以选择的选修课决策变量xk：第k阶段可选的选修课的满意度3.3 求解动态规划的最优解这是一个八阶段的动态规划模型，在求解这个模型的最优解时，采用逆序递推方法求解，逐步求出各段各点到终点H的最短路线，最后求得O点到H点的最短路线。1. 第一步，从k=8开始，状态变量s8可取两种状态G1，G2，它们到H点的平均喜好程度分别为0.3,0.7，即：f8G1=0.3 f8G2=0.7由于G(G2)+G(H)=7<8，则只保留f8G1=0.3。2. 第二步，k=7，状态变量s7可取三种状态F1，F2，F3，它们到H点的平均喜好程度分别为：f7F1=0.1+0.3=0.4f7F2=0.5+0.3=0.8f7F3=0.5+0.3=0.83. 第三步，k=6，状态变量s6可取四个值E1，E2，E3，E4 。从E1到H有两条路线，需加以比较，取其中平均喜好程度最大的，即：f6E1=maxdE1,F1+f6F1dE1,F2+f6F2=max0.1+0.40.7+0.8=1.5这说明由E1到H的最大满意度为1.5，其路径为E1F2G1H，相应决策为u6*E1=F2。从E2到H有两条路线，需加以比较，取其中平均喜好程度最大的，即：f6E2=maxdE2,F1+f6F1dE2,F2+f6F2=max0.3+0.40.7+0.8=1.5由于G(E2)+G(F2)=7<8，不符合第三学年的学分要求，则舍去此解。从而有f6(E2)=0.7。这说明由E2到H的最大满意度为0.7，其路径为E2F1G1H，相应决策为u6*E2=F1。从E3到H有三条路线，需加以比较，取其中平均喜好程度最大的，即：f6E3=maxd(E3,F1)+f6(F1)d(E3,F2)+f6(F2)d(E3,F3)+f6(F3)=max0.3+0.41+0.80.7+0.8=1.8由于G(E3)+G(F2)=7<8，不符合第三学年的学分要求，则舍去此解。从而有f6(E3)=1.5。这说明由E3到H的最大满意度为1.5，其路径为E3F3G1H，相应决策为u6*E3=F3。从E4到H有两条路线，需加以比较，取其中平均喜好程度最大的，即：f6E4=maxdE4,F1+f6F1dE4,F2+f6F2=max0.3+0.30.5+0.5=1由于G(E4)+G(F1)=7<8，不符合第三学年的学分要求，则舍去此解。由于G(E4)+G(F2)=6<8，不符合第三学年的学分要求，则舍去此解。从而舍去此决策。4. 第四步，k=5，状态变量s5可取五个值D1，D2，D3，D4 ,D5。从D1到H有四条路线，需加以比较，取其中平均喜好程度最大的，即：f5D1=maxdD1,E1+f5E1dD1,E2+f5E2dD1,E3+f5E3dD1,E4+f5E4=max0.3+1.50.5+1.50.7+1.80.5+1=2.5这说明由D1到H的最大满意度为2.5，其路径为D1E3F3G1H，相应决策为u5*D1=E3。从D2到H有四条路线，需加以比较，取其中平均喜好程度最大的，即：f5D2=maxdD2,E1+f5E1dD2,E2+f5E2dD2,E3+f5E3dD2,E4+f5E4=max0.3+1.50.5+1.50.7+1.80.3+1=2.5这说明由D2到H的最大满意度为2.5，其路径为D2E3F3G1H，相应决策为u5*D2=E3。从D3到H有四条路线，需加以比较，取其中平均喜好程度最大的，即：f5D3=maxdD3,E1+f5E1dD3,E2+f5E2dD3,E3+f5E3dD3,E4+f5E4=max0.5+1.50.3+1.50.7+1.80.5+1=2.5这说明由D3到H的最大满意度为2.5，其路径为D3E3F3G1H，相应决策为u5*D3=E3。从D4到H有四条路线，需加以比较，取其中平均喜好程度最大的，即：f5D4=maxdD4,E1+f5E1dD4,E2+f5E2dD4,E3+f5E3dD4,E4+f5E4=max0.5+1.50.5+1.51+1.80.5+1=2.8这说明由D4到H的最大满意度为2.8，其路径为D4E3F3G1H，相应决策为u5*D4=E3。从D5到H有四条路线，需加以比较，取其中平均喜好程度最大的，即：f5D5=maxdD5,E1+f5E1dD5,E2+f5E2dD5,E3+f5E3dD5,E4+f5E4=max0.5+1.50.7+1.51+1.80.7+1=2.8这说明由D5到H的最大满意度为2.8，其路径为D5E3F3G1H，相应决策为u5*D5=E3。5. 第五步，k=4，状态变量s4可取四个值C1，C2，C3，C4 。从C1到H有五条路线，需加以比较，取其中平均喜好程度最大的，即：f4C1=maxdC1,D1+f4D1dC1,D2+f4D2dC1,D3+f4D3dC1,D4+f4D4dC1,D5+f4D5=max0.3+2.50.1+2.50.5+2.50.7+2.81+2.8=3.8由于G(C1)+G(D5)=7<8，不符合第二学年的学分要求，则舍去此解。从而有f4(C1)=3.5。这说明由C1到H的最大满意度为3.5，其路径为C1D4E3F3G1H，相应决策为u4*C1=D4。从C2到H有四条路线，需加以比较，取其中平均喜好程度最大的，即：f4C2=maxdC2,D2+f4D2dC2,D3+f4D3dC2,D4+f4D4dC2,D5+f4D5=max0.5+2.50.5+2.50.3+2.80.7+2.8=3.5由于G(C2)+G(D5)=7<8，不符合第二学年的学分要求，则舍去此解。这说明由C2到H的最大满意度为3.0，其路径为C2D4E3F3G1H，相应决策为u4*C2=D4。从C3到H有四条路线，需加以比较，取其中平均喜好程度最大的，即：f4C3=maxdC3,D2+f4D2dC3,D3+f4D3dC3,D4+f4D4dC3,D5+f4D5=max0.1+2.50.5+2.50.5+2.80.7+2.8=3.5这说明由C3到H的最大满意度为3.5，其路径为C3D5E3F3G1H，相应决策为u4*C3=D5。从C4到H有四条路线，需加以比较，取其中平均喜好程度最大的，即：f4C4=maxdC4,D2+f4D2dC4,D3+f4D3dC4,D4+f4D4dC4,D5+f4D5=max0.7+2.51+2.50.7+2.80.5+2.8=3.5由于G(C4)+G(D2)=6<8，不符合第二学年的学分要求，则舍去此解。由于G(C4)+G(D4)=7<8，不符合第二学年的学分要求，则舍去此解。由于G(C4)+G(D5)=6<8，不符合第二学年的学分要求，则舍去此解。这说明由C4到H的最大满意度为3.5，其路径为C4D3E3F3G1H，相应决策为u4*C4=D3。6. 第六步，k=3，状态变量s3可取三个值B1，B2，B3 。从B1到H有四条路线，需加以比较，取其中平均喜好程度最大的，即：f3B1=maxdB1,C1+f3C1dB1,C2+f3C2dB1,C3+f3C3dB1,C4+f3C4=max0.3+3.80.3+3.50.3+3.50.7+3.5=4.2这说明由B1到H的最大满意度为4.2，其路径为B1C4D3E3F3G1H，相应决策为u3*B1=C4。从B2到H有四条路线，需加以比较，取其中平均喜好程度最大的，即：f3B2=maxdB2,C1+f3C1dB2,C2+f3C2dB2,C3+f3C3dB2,C4+f3C4=max0.7+3.80.3+3.50.3+3.51+3.5=4.5这说明由B2到H的最大满意度为4.5，其路径为B2C4D3E3F3G1H，相应决策为u3*B2=C4。从B3到H有四条路线，需加以比较，取其中平均喜好程度最大的，即：f3B3=maxdB3,C1+f3C1dB3,C2+f3C2dB3,C3+f3C3dB3,C4+f3C4=max0.7+3.80.5+3.50.5+3.51+3.5=4.5这说明由B3到H的最大满意度为4.5，其路径为B3C4D3E3F3G1H，相应决策为u3*B3=C4。7. 第七步，k=2，状态变量s2可取三个值A1，A2，A3 。从A1到H有四条路线，需加以比较，取其中平均喜好程度最大的，即：f2A1=maxdA1,B1+f2B1dA1,B2+f2B2dA1,B3+f2B3=max0.3+4.20.5+4.21+4.5=5.5由于G(A1)+G(B3)=7<8，不符合第二学年的学分要求，则舍去此解。这说明由A1到H的最大满意度为4.7，其路径为A1B2C4D3E3F3G1H，相应决策为u2*A1=B2。从A2到H有四条路线，需加以比较，取其中平均喜好程度最大的，即：f2A2=maxdA2,B1+f2B1dA2,B2+f2B2dA2,B3+f2B3=max0.5+4.20.5+4.20.7+4.5=5.2由于G(A2)+G(B3)=6<8，不符合第二学年的学分要求，则舍去此解。由于G(A2)+G(B2)=7<8，不符合第二学年的学分要求，则舍去此解。这说明由A2到H的最大满意度为5.2，其路径为A2B1C4D3E3F3G1H，相应决策为u2*A2=B1。从A3到H有四条路线，需加以比较，取其中平均喜好程度最大的，即：f2A3=maxdA3,B1+f2B1dA3,B2+f2B2dA3,B3+f2B3=max1+4.20.7+4.20.5+4.5=5.2由于G(A3)+G(B3)=6<8，不符合第二学年的学分要求，则舍去此解。由于G(A3)+G(B2)=7<8，不符合第二学年的学分要求，则舍去此解。这说明由A3到H的最大满意度为5.2，其路径为A3B1C4D3E3F3G1H，相应决策为u2*A3=B1。8. 第八步，k=1，只有一个状态点O，则 f1O=maxdO,A1+f2A1dO,A2+f2A2dO,A3+f2A3=max0.5+5.50.5+5.51+5.2=6.2即从O到H的最大满意程度为6.2，本段决策为u1*O=A3。所以此动态规划的最优路线为：OA3B1C4D3E3F3G1H。3.4 得出最优解从而可以得出所可以选择的最优课程选择为：第一学年：Web应用程序设计，数据结构第二学年：朋辈心理学，数学建模第三学年：运筹学，最优化方法第四学年：XML应用程序设计，Java Web应用程序设计第四章 问题与展望4.1 结果分析本文运用动态规划原理解决了该大学生选修课的选择问题，为其四年的选修课找到了一个最优选择。同时也说明了动态规划在解决选课问题方面具有的可行性。在本论文中，创新的使用了平均喜好程度这一概念作为选修课选择的标准，既将对于某课程的喜好程度进行了量化，又成为解决选修课的选择的重要标准。4.2 本文的不足与尚可改进之处本文所建立的动态规划模型具有一定的局限性，只考虑了具体某一个同学的选课问题。而且在选课过程中，默认的认为一定能选到所要选择的课程，不考虑抽签过程。在本论文基础上，可以通过MATLAB编程实现最优解的求解过程，从而建立新型选课系统程序。4.3 MATLAB 简介与程序实现4.3.1 MATLAB软件简介MATLAB是由美国mathworks公司发布的主要面对科学计算、可视化以及交互式程序设计的高科技计算环境。它将数值分析、矩阵计算、科学数据可视化以及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境中，为科学研究、工程设计以及必须进行有效数值计算的众多科学领域提供了一种全面的解决方案，并在很大程度上摆脱了传统非交互式程序设计语言（如C、Fortran）的编辑模式，代表了当今国际科学计算软件的先进水平 【6】。MATLAB所具有的优点：1. 高效的数值计算及符号计算功能,能使用户从繁杂的数学运算分析中解脱出来；2. 具有完备的图形处理功能,实现计算结果和编程的可视化；3. 友好的用户界面及接近数学表达式的自然化语言,使学者易于学习和掌握；4. 功能丰富的应用工具箱(如信号处理工具箱、通信工具箱等) ,为用户提供了大量方便实用的处理工具【7】。4.3.2 动态规划的MATLAB程序本文中的动态规划模型可以用MATLAB程序编程实现，由于时间问题以及8阶段的动态规划模型程序过于复杂，所以在此仅附一个四阶段的动态规划模型的MATLAB实现程序见附录2。参考文献1 徐光辉. 运筹学基础手册.北京：科学出版社，1999 2 胡运权. 运筹学基础及应用（第4版）.北京：高等教育出版社，20043 郭耀煌. 运筹学原理与方法.程度：西南交通大学出版社，19944 弗雷德里克·S. 任建标译.数据、模型与决策.北京：中国财政经济出版社，20015 王日爽. 应用动态规划.北京：国防工业出版社,19876 刘则毅. 科学计算技术与MATLAB. 北京：科学出版社，2001.7 张志涌. 精通MATLAB 6. 5 版M . 北京:北京航空航天大学出版社,2003.8 Bellman R E. Dynamic Programming. Princeton University Press,19579 Peterman M L. Markov Decision Process-Stochastic DP. John WileySons,1994附录附录1：参考英文及译文：原文Dynamic Programming: From novice to advancedAn important part of given problems can be solved with the help of dynamic programming (DP for short). Being able to tackle problems of this type would greatly increase your skill. I will try to help you in understanding how to solve problems using DP. The article is based on examples, because a raw theory is very hard to understand. Note: If you're bored reading one section and you already know what's being discussed in it - skip it and go to the next one. Introduction (Beginner)What is a dynamic programming, how can it be described? A DP is an algorithmic technique which is usually based on a recurrent formula and one (or some) starting states. A sub-solution of the problem is constructed from previously found ones. DP solutions have a poly