交互工具

这里的小工具全部在你的浏览器中运行，不需要安装任何软件，也不会上传你的数据。它们的目的是把教程中的公式“变成可以拖动的东西”：调一调 $\gamma$，看看价值函数怎么变；换一种探索策略，看看遗憾曲线怎么走。

工具	你可以做什么	对应教程
网格世界：价值 / 策略迭代	编辑墙、终点、陷阱，调节 $\gamma$ 和滑动概率，逐步观察价值迭代和策略迭代的收敛过程	贝尔曼方程、动态规划
多臂老虎机模拟器	对比 ε-贪心、UCB、Thompson 采样的平均奖励、累积遗憾和最优臂比例	什么是强化学习、Q-learning 与 SARSA
折扣回报与 GAE 计算器	输入一条轨迹的奖励和价值估计，逐步计算 $G_t$、TD 误差 ${\delta }_t$、GAE 优势和 λ-回报	MDP、Actor-Critic、PPO
训练曲线对比	粘贴或上传多条训练曲线（CSV），平滑后放在一张图上比较	代码实战

实现说明

所有工具都是嵌入在 VitePress 页面中的 Vue 组件，算法部分是独立的纯 JavaScript 模块（位于仓库的 docs/.vitepress/theme/lib/ 目录），没有使用任何第三方图表库。欢迎阅读源码，或者按 贡献指南 提交新的工具。

计划中的工具

下面这些工具还在计划中，欢迎在 社区 告诉我们你最想要哪一个：

• Q-learning / SARSA 悬崖行走动画：逐回合观察两种算法学到的路径差异；
• 策略梯度可视化：在二维动作空间中观察策略分布如何随梯度移动；
• PPO 裁剪目标可视化：拖动优势 $\hat{A}$ 和概率比 $r_t(\theta )$，观察 $L^{CLIP}$ 的形状。