摘要： 回报函数设计的好与坏对学习系统性能有着重要作用，按回报值在状态-动作空间中的分布情况，将回报函数的构建分为两种形式：密集函数和稀疏函数，分析了密集函数和稀疏函数的特点。提出启发式回报函数的基本设计思路，利用基于保守势函数差分形式的附加回报函数，给学习系统提供更多的启发式信息，并对算法的最优策略不变性和迭代收敛性进行了证明。启发式回报函数能够引导学习，加快学习进程，从而可以实现强化学习在实际大型复杂系统应用中的实时控制和调度。

关键词: 强化学习算法 启发式回报函数 收敛性 马尔可夫决策过程 机器学习 人工智能