一文带你理清DDPG算法（附代码及代码解释）

主要观点总结

本文主要介绍了深度确定性策略梯度算法（DDPG）的基本概念、与DQN的关系、网络结构、学习流程、智能体学习等方面内容。

关键观点总结

关键观点1: DDPG的基本概念

DDPG是一种连续控制型问题的算法，用于输出动作，弥补DQN不能处理连续控制性问题的缺点。

关键观点2: DDPG与DQN的关系

DDPG源于DQN，但不同于AC的critic预估V值，DDPG预估的是Q值。

关键观点3: DDPG的网络结构

包括Actor和Critic两个网络。Actor输出动作，Critic预估Q值。

关键观点4: DDPG的学习流程

包括数据抽样、Critic更新、Actor更新、滑动平均值更新等步骤。

关键观点5: 智能体学习中的探索与开发

通过正态分布抽样方式平衡探索与开发，动态控制VAR的大小可以调整智能体的开发行为。