# 交互工具 > 来源：https://dqn.cn/tools/ ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-10-31 ｜ 更新：2026-10-31 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）
这里的小工具全部在你的浏览器中运行，不需要安装任何软件，也不会上传你的数据。它们的目的是把教程中的公式“变成可以拖动的东西”：调一调 $\gamma$，看看价值函数怎么变；换一种探索策略，看看遗憾曲线怎么走。
交互工具插图：参数滑块与训练曲线
🗺️网格世界：价值 / 策略迭代编辑墙、终点、陷阱，调节 γ 和滑动概率，逐步观察价值迭代和策略迭代的收敛过程对应教程：贝尔曼方程 · 动态规划
🎰多臂老虎机模拟器对比 ε-贪心、UCB、Thompson 采样的平均奖励、累积遗憾和最优臂比例对应教程：多臂老虎机 · 什么是强化学习
🧮折扣回报与 GAE 计算器输入一条轨迹的奖励和价值估计，逐步计算回报 Gt、TD 误差 δt、GAE 优势和 λ-回报对应教程：MDP · Actor-Critic · PPO
📈训练曲线对比粘贴或上传多条训练曲线（CSV），平滑后放在一张图上比较对应教程：代码实战
**实现说明** 所有工具都是嵌入在 VitePress 页面中的 Vue 组件，算法部分是独立的纯 JavaScript 模块（位于仓库的 `docs/.vitepress/theme/lib/` 目录），没有使用任何第三方图表库。欢迎阅读源码，或者按 [贡献指南](https://dqn.cn/community/#贡献指南) 提交新的工具。 ## 计划中的工具 下面这些工具还在计划中，欢迎在 [社区](https://dqn.cn/community/) 告诉我们你最想要哪一个： - **Q-learning / SARSA 悬崖行走动画**：逐回合观察两种算法学到的路径差异； - **策略梯度可视化**：在二维动作空间中观察策略分布如何随梯度移动； - **PPO 裁剪目标可视化**：拖动优势 $\hat A$ 和概率比 $r_t(\theta)$，观察 $L^{CLIP}$ 的形状。