diff --git a/docs/contests/RL9/pve/faq/README.md b/docs/contests/RL9/pve/faq/README.md index 5e8d990d..a29d78a5 100644 --- a/docs/contests/RL9/pve/faq/README.md +++ b/docs/contests/RL9/pve/faq/README.md @@ -36,7 +36,7 @@ > Q: 观测向量怎么理解？ > -> A: 32 维 float32，包含位置、HP、背包、现金、市场价格相位、最近资源点/市场/算力中心相对位置等。详见 [公开接口](../interface/gym.md)。 +> A: 58 维 float32，包含位置、HP、背包（按商品分）、现金、算力、市场 OU 价格、工厂库存、科技 one-hot、资源/算力中心相对位置等。详见 [公开接口](../interface/gym.md)。 > Q: 怎么写规则策略（不用 RL）？ > diff --git a/docs/contests/RL9/pve/game/actions.md b/docs/contests/RL9/pve/game/actions.md index cf99d55b..05845904 100644 --- a/docs/contests/RL9/pve/game/actions.md +++ b/docs/contests/RL9/pve/game/actions.md @@ -1,88 +1,64 @@ # 动作空间 -PVE 使用 **28 个离散动作**（`N_ACTIONS = 28`），分为基础操作、商品交易、生产链、科技四大类。 +PVE 共 **28 个离散动作**（`N_ACTIONS = 28`）。 ## 基础动作（0–5） -| 编号 | 动作 | 含义 | 有效性条件 | -|:----:|:----:|------|------------| +| 编号 | 动作 | 含义 | 有效条件 | +|:----:|:----:|------|----------| | 0 | `WAIT` | 等待一个 tick | 始终有效 | -| 1 | `MOVE_UP` | 向上移动 (x−1) | 目标格可通行，单位不 busy | -| 2 | `MOVE_DOWN` | 向下移动 (x+1) | 同上 | -| 3 | `MOVE_LEFT` | 向左移动 (y−1) | 同上 | -| 4 | `MOVE_RIGHT` | 向右移动 (y+1) | 同上 | -| 5 | `BUY` | 在相邻市场购买利润最高的可负担商品 | Manhattan ≤1 有市场，背包有空间，现金充足 | +| 1 | `MOVE_UP` | x−1 | 目标格可通行，busy_ticks=0 | +| 2 | `MOVE_DOWN` | x+1 | 同上 | +| 3 | `MOVE_LEFT` | y−1 | 同上 | +| 4 | `MOVE_RIGHT` | y+1 | 同上 | +| 5 | `BUY` | 买入跨市场套利空间最大的可负担商品 | Manhattan≤1 有市场，背包有空间，现金足够 | -## 卖出动作（6–10，按商品类型） +## 卖出动作（6–10） -| 编号 | 动作 | 含义 | 有效性条件 | -|:----:|:----:|------|------------| -| 6 | `SELL_0` | 卖出背包内所有**半导体** | Manhattan ≤1 有市场，背包有该商品 | -| 7 | `SELL_1` | 卖出背包内所有**药品** | 同上 | -| 8 | `SELL_2` | 卖出背包内所有**小商品** | 同上 | -| 9 | `SELL_3` | 卖出背包内所有**服饰** | 同上 | -| 10 | `SELL_4` | 卖出背包内所有**食品** | 同上 | +| 编号 | 动作 | 有效条件 | +|:----:|:----:|----------| +| 6 | `SELL_0` | Manhattan≤1 有市场，背包有**半导体** | +| 7 | `SELL_1` | 同上，有**药品** | +| 8 | `SELL_2` | 同上，有**小商品** | +| 9 | `SELL_3` | 同上，有**服饰** | +| 10 | `SELL_4` | 同上，有**食品** | -- **SELL_pid**：卖出指定类型的所有商品，获得当前市场价 -- 卖出成功时：`score += revenue × score_factor`（默认 ×10），`money += revenue` +- SELL_pid 卖出非当前市场来源的商品（禁止同市场原地套利，商品追踪 `prod_origin`）。成功时 `score += revenue × 10`。 ## 生产链动作（11–18） -| 编号 | 动作 | 含义 | 有效性条件 | -|:----:|:----:|------|------------| -| 11 | `HARVEST` | 从附近资源点采集原材料 | Manhattan ≤2 有未耗尽资源，背包有空间 | -| 12 | `DEPOSIT` | 将背包原材料存入工厂 | 在工厂格，背包 raw_inv > 0 | -| 13 | `PRODUCE_0` | 工厂开始生产**半导体**（消耗 5 原材料） | 在工厂格，工厂 raw_stock ≥ 5，生产队列未满 | -| 14 | `PRODUCE_1` | 工厂开始生产**药品**（消耗 3 原材料） | 在工厂格，工厂 raw_stock ≥ 3，生产队列未满 | -| 15 | `PRODUCE_2` | 工厂开始生产**小商品**（消耗 1 原材料） | 在工厂格，工厂 raw_stock ≥ 1，生产队列未满 | -| 16 | `PRODUCE_3` | 工厂开始生产**服饰**（消耗 4 原材料） | 在工厂格，工厂 raw_stock ≥ 4，生产队列未满 | -| 17 | `PRODUCE_4` | 工厂开始生产**食品**（消耗 2 原材料） | 在工厂格，工厂 raw_stock ≥ 2，生产队列未满 | -| 18 | `LOAD` | 从工厂仓库装载已完成成品到背包 | 在工厂格，工厂有成品，背包有空间 | - -- **HARVEST**：采集范围 2 格（Manhattan 距离），每次采集 `unit_harvest_rate × time_step` 单位 -- **DEPOSIT**：将背包中原材料存入工厂仓库，供后续生产使用 -- **PRODUCE_pid**：将工厂原材料转换为产品，加入生产队列 -- **LOAD**：从工厂仓库取出已完成的成品装入背包 +| 编号 | 动作 | 消耗/条件 | +|:----:|:----:|-----------| +| 11 | `HARVEST` | Manhattan≤2 有未耗尽资源，背包有空间 | +| 12 | `DEPOSIT` | 在工厂格，背包 raw_inv > 0 | +| 13 | `PRODUCE_0` | 在工厂格，工厂 raw_stock≥5，队列未满 | +| 14 | `PRODUCE_1` | raw_stock≥3 | +| 15 | `PRODUCE_2` | raw_stock≥1 | +| 16 | `PRODUCE_3` | raw_stock≥4 | +| 17 | `PRODUCE_4` | raw_stock≥2 | +| 18 | `LOAD` | 在工厂格，工厂有成品，背包有空间 | ## 算力与科技动作（19–27） -| 编号 | 动作 | 含义 | 消耗 | 前置 | -|:----:|:----:|------|:----:|:----:| -| 19 | `OCCUPY` | 推进相邻算力中心的占领进度 | — | — | -| 20 | `TECH_0` | **降低成本**：商品购买成本 −2 | 50 算力 | — | -| 21 | `TECH_1` | **效率提升**：生产时间 ×0.5 | 40 算力 | — | -| 22 | `TECH_2` | **市场营销**：卖价 ×1.1 | 80 算力 | — | -| 23 | `TECH_3` | **耐久强化**：单位 max HP +50% | 30 算力 | — | -| 24 | `TECH_4` | **多产线**：工厂 +1 生产线 | 60 算力 | — | -| 25 | `TECH_5` | **路径优化**：移动不再产生 busy tick | 50 算力 | TECH_1 | -| 26 | `TECH_6` | **市场分析**：观测中标记已购买（可重复） | 40 算力 | — | -| 27 | `TECH_7` | **算力扩张**：算力积累速率 +30% | 70 算力 | — | +| 编号 | 动作 | 效果 | 消耗 | +|:----:|:----:|------|:----:| +| 19 | `OCCUPY` | 推进相邻算力中心占领进度 | — | +| 20 | `TECH_0` | 商品购买成本 −2 | 50 | +| 21 | `TECH_1` | 生产时间 ×0.5 | 40 | +| 22 | `TECH_2` | 卖价 ×1.1 | 80 | +| 23 | `TECH_3` | 单位 max HP +50% | 30 | +| 24 | `TECH_4` | 工厂 +1 生产线 | 60 | +| 25 | `TECH_5` | 移动不产生 busy_tick（需 TECH_1） | 50 | +| 26 | `TECH_6` | 观测中标记（可重复购买） | 40 | +| 27 | `TECH_7` | 算力速率 +30% | 70 | -- **OCCUPY**：需相邻有未开放的算力中心，每次 tick 推进 `time_step` 秒进度 -- **TECH_0~5, TECH_7**：持久科技，每种只能购买一次，在工厂格执行 -- **TECH_6**：非持久科技，可重复购买 -- 科技动作需要在工厂格、算力足够、前置科技满足时才有效 +科技在工厂格执行。持久科技(TECH_0~5,7)每种限一次。 ## 通用规则 -- `busy_ticks > 0` 时单位忙碌，**仅 WAIT 有效**，其他动作均被掩码屏蔽 -- 移动默认消耗 1 busy_tick（购买 TECH_5 后变为 0） -- BUY/SELL/LOAD 消耗 busy_ticks（`0.25 / time_step` 个 tick） -- 执行无效动作不会报错，但受到 **−0.05 奖励惩罚**并浪费步数 +- `busy_ticks > 0` 时仅 WAIT 有效；移动消耗 1 tick（TECH_5 后为 0） +- 无效动作不报错，但受 **−0.02 奖励惩罚** ## 动作掩码 -环境提供 `action_masks()` 方法，返回 `(28,)` 布尔数组，`True` 表示该动作当前有效。使用 `MaskablePPO` 可以自动过滤无效动作： - -```python -from sb3_contrib import MaskablePPO -from sb3_contrib.common.wrappers import ActionMasker - -def mask_fn(env): - return env.unwrapped.action_masks() - -masked_env = ActionMasker(env, mask_fn) -model = MaskablePPO("MlpPolicy", masked_env) -``` - -建议所有策略先查询 `action_masks()` 再决定动作。 +`action_masks()` 返回 `(28,)` bool 数组，True=有效。推荐 `MaskablePPO` + `ActionMasker` 自动过滤。 diff --git a/docs/contests/RL9/pve/game/reward.md b/docs/contests/RL9/pve/game/reward.md index 83612c1c..01e91f60 100644 --- a/docs/contests/RL9/pve/game/reward.md +++ b/docs/contests/RL9/pve/game/reward.md @@ -10,20 +10,29 @@ score += revenue × score_factor（默认 × 10） ## 单步奖励（RL Reward） -训练时的辅助信号，由以下部分叠加： +训练时的辅助信号，由以下部分叠加（`mode = "standard"`）： -| 来源 | 值 | 说明 | +| 来源 | 默认值 | 说明 | |------|:--:|------| -| 现金变化 Δmoney | × 0.01 | 正负均有 | -| 得分变化 Δscore | × 0.01 | 仅卖出时为正 | -| 时间惩罚（每步） | −0.002 | 鼓励高效路径 | -| 采集奖励（每单位） | +0.001 | 采集塑形 | -| 算力中心解锁（一次性） | +0.5 | 进度奖励 | -| 无效动作惩罚 | −0.05 | 每步 | +| 现金变化 Δmoney | × 0.02 | 正负均有 | +| 卖出得分 Δscore | × 0.001 | 仅卖出时为正 | +| 时间惩罚（每步） | −0.001 | 鼓励高效路径 | +| 采集奖励（每单位） | +0.0 | 默认关闭，可通过 RewardConfig 开启 | +| 算力中心解锁（每个） | +1.0 | 进度奖励 | +| 科技购买（每个） | +1.0 | 进度奖励 | +| 无效动作惩罚 | −0.02 | 每步 | | 破产惩罚（terminated 时） | −10.0 | 终端惩罚 | > 奖励是训练辅助信号。**最终排名以 `info["score"]` 为准**，不是累计奖励。 +`RewardConfig` 支持两种模式： +- `"standard"`（默认）：密集可学习信号，适用于 PPO/DQN 训练 +- `"adversarial"`：收割陷阱模式，仅使用采集奖励 + 终端得分 + +### 技术细节 + +`RewardCalculator.compute()` 在 `game_env.py` 的 `step()` 中调用，计算奖励时先评估终止条件，再结算奖励（确保 terminal bonus 正确触发）。 + ## `step()` 返回的 info 字典 | 字段 | 类型 | 含义 | diff --git a/docs/contests/RL9/pve/game/state.md b/docs/contests/RL9/pve/game/state.md index 553267df..66f4a730 100644 --- a/docs/contests/RL9/pve/game/state.md +++ b/docs/contests/RL9/pve/game/state.md @@ -2,116 +2,84 @@ ## 时间系统 -| 参数 | 值 | -|:----:|:--:| -| 每 tick 时长 | 0.25s | -| easy/medium 总时长 | 300s（1200 ticks） | -| hard 总时长 | 500s（2000 ticks） | +每 tick **0.25s**。easy/medium 300s（1200 tick），hard 500s（2000 tick）。 -## 单位属性 +## 单位 | 属性 | 值 | |:----:|:--:| -| 血量 | 300 | +| HP | 300 | | 背包容量 | 30 | | 采集速率 | 10/s | -| 算力中心占领时间 | 10s | +| 占领耗时 | 10s | -- 背包分为**原材料**（`raw_inv`）和**成品**（`prod_inv[pid]`）两部分 -- `busy_ticks > 0` 时单位忙碌，仅 WAIT 有效 -- 移动默认消耗 1 busy_tick（购买 path_optimization 科技后变为 0） -- BUY/SELL/LOAD 消耗 `int(0.25 / time_step)` 个 busy_tick +- 背包分原材料(`raw_inv`)和成品(`prod_inv[pid]`)；商品追踪购买来源市场(`prod_origin`) +- `busy_ticks > 0` 时仅 WAIT 有效；移动消耗 1 tick（TECH_5 后为 0）；BUY/SELL/LOAD 消耗 `0.25/dt` tick ## 工厂 | 属性 | 值 | |:----:|:--:| -| 位置 | (0, 0) | +| 位置 | (0,0) | | 仓储上限 | 300 | -| 初始生产线数 | 3 | - -### 生产系统 - -工厂将原材料加工为成品。生产队列最大长度 = `生产线数 × 5`。 +| 初始产线 | 3 | -生产流程： -1. 采集原材料（HARVEST） -2. 存入工厂（DEPOSIT） -3. 排队生产（PRODUCE_pid）——消耗原材料，加入生产队列 -4. 等待工厂 tick 推进完成 -5. 装载成品（LOAD） - -生产时间受 efficiency 科技影响（×0.5）。 +生产队列上限 = 产线数 × 5。流程：HARVEST → DEPOSIT → PRODUCE → 等待 tick 完成 → LOAD → SELL。 ## 商品 -| ID | 名称 | 购买成本 | 原材料消耗 | 市场价格范围 | 生产时间 | -|:--:|:----:|:--------:|:----------:|:------------:|:--------:| +| ID | 名称 | 买价 | 原料消耗 | 市价范围 | 生产时间 | +|:--:|:----:|:----:|:--------:|:--------:|:--------:| | 0 | 半导体 | 10 | 5 | 40–120 | 5.0s | | 1 | 药品 | 5 | 3 | 20–60 | 4.0s | | 2 | 小商品 | 1 | 1 | 4–12 | 2.0s | | 3 | 服饰 | 8 | 4 | 32–96 | 6.0s | | 4 | 食品 | 3 | 2 | 12–24 | 1.0s | -- 购买成本受 cost_reduction 科技影响（−2，最低为 0） -- 生产时间受 efficiency 科技影响（×0.5） +买价受 TECH_0(−2)，生产时间受 TECH_1(×0.5) 影响。 -## 市场定价 +## 市场 -每个市场对每种商品有独立的正弦价格函数： +OU 随机游走价格，每 tick 更新： ``` -price(t) = base + amplitude × (1 + sin(2π·t / period + phase)) / 2 +dP = θ(μ−P)·dt + σ·√dt·N(0,1) ``` -- 不同市场的价格**相位随机不同步**，套利窗口随时间移动 -- `price_volatility` 控制波动幅度（easy=0.3, medium=1.0, hard=2.0） -- 卖价受 marketing 科技影响（×1.1） - -## 算力系统 +θ=0.05，σ=amplitude×0.12，价格夹在 [lo, lo+amplitude] 内。`price_volatility` 控制振幅（easy=0.3, medium=1.0, hard=2.0）。 -- **基础产出**：每个已开放算力中心产出 **1 算力/秒** -- 购买 compute_expansion 科技后：+30% 算力速率 -- 可消耗算力招募新单位（40 算力/个，最多 5 个单位）——Phase 2 +**套利规则**：BUY 选跨市场卖价最高的可负担商品。禁止同市场原地套利（商品追踪购买来源，卖出时排除当前市场来源部分）。卖价受 TECH_2(×1.1) 影响。 -### 算力中心 +## 算力 -- 占领方式：在相邻格执行 OCCUPY，每次 tick 推进 0.25s 进度 -- 进度达到 `unit_occupy_time`（10s）后开放 -- 开放后持续产出算力 +- 每个开放算力中心 +1 算力/秒；TECH_7 后 +30% +- OCCUPY 每 tick 推进 0.25s，10s 后开放 +- 招募新单位：40 算力/个，上限 5 -## 科技树 +## 科技 -| 键名 | 效果 | 消耗 | 前置 | 持久 | -|:-----|------|:----:|:----:|:----:| -| cost_reduction | 商品购买成本 −2 | 50 | — | ✓ | -| efficiency | 生产时间 ×0.5 | 40 | — | ✓ | -| marketing | 卖价 ×1.1 | 80 | — | ✓ | -| durability | 单位 max HP +50% | 30 | — | ✓ | -| multi_line | 工厂 +1 生产线 | 60 | — | ✓ | -| path_optimization | 移动不产生 busy_tick | 50 | efficiency | ✓ | -| market_analysis | 观测中标记已购买 | 40 | — | ✗ | -| compute_expansion | 算力速率 +30% | 70 | — | ✓ | +| 键名 | 效果 | 消耗 | 前置 | +|:-----|------|:----:|:----:| +| cost_reduction | 买价 −2 | 50 | — | +| efficiency | 生产时间 ×0.5 | 40 | — | +| marketing | 卖价 ×1.1 | 80 | — | +| durability | HP +50% | 30 | — | +| multi_line | 产线 +1 | 60 | — | +| path_optimization | 移动无 busy_tick | 50 | efficiency | +| market_analysis | obs标记（可重复） | 40 | — | +| compute_expansion | 算力 +30% | 70 | — | -- 持久科技每种只能购买一次 -- market_analysis 可重复购买 -- 科技在工厂格执行 +持久科技（除 market_analysis）限购一次。在工厂格执行。 ## 资源再生 -资源点库存会随时间缓慢再生： - ``` -regen(t) = rate × (1 + sin(2π·t / period)) / 2 +regen(t) = rate × (1 + sin(2π·t/period)) / 2 ``` -- 再生倍率：easy=2.0, medium=1.0, hard=0.5 -- 资源耗尽（累计采集量 ≥ max_stock）后停止再生 -- 最大库存为初始库存的 2 倍 +倍率：easy=2.0, medium=1.0, hard=0.5。耗尽（累计≥max_stock=2×初始）后停止。 ## 得分与终止 -- **得分**：`score += revenue × score_factor`（默认 ×10），仅在 SELL 成功时增加 -- **terminated**：`money < 0`（破产） -- **truncated**：`step >= max_steps`（时间耗尽） -- 最终排名以多 seed 下的 `info["score"]` 平均为准 +- `score += revenue × 10`（仅 SELL 成功时） +- `money < 0` → terminated；`step ≥ max_steps` → truncated diff --git a/docs/contests/RL9/pve/interface/gym.md b/docs/contests/RL9/pve/interface/gym.md index 9990a579..a96a41fb 100644 --- a/docs/contests/RL9/pve/interface/gym.md +++ b/docs/contests/RL9/pve/interface/gym.md @@ -1,170 +1,57 @@ # 公开接口 -PVE 算法**只能**通过标准 Gymnasium 接口与环境交互。不得直接访问内部对象。 +PVE 算法只通过标准 Gymnasium 接口与环境交互，禁止访问内部对象。 ## 环境初始化 ```python from GameLogic import GameEnvironment, GameConfig -# 内置难度 -env = GameEnvironment(cfg=GameConfig.easy()) -env = GameEnvironment(cfg=GameConfig.medium()) -env = GameEnvironment(cfg=GameConfig.hard()) - -# 自定义配置 -env = GameEnvironment(cfg=GameConfig.from_dict({ - "map_width": 8, "map_height": 8, - "num_markets": 4, "initial_money": 100.0, -})) +env = GameEnvironment(cfg=GameConfig.easy()) # medium / hard / from_dict({...}) ``` -## 接口方法 - -### `reset()` +## 接口 ```python obs, info = env.reset(seed=0) +obs, reward, terminated, truncated, info = env.step(action) # action: int 0–27 +mask = env.action_masks() # (28,) bool, True=有效 ``` -重置环境，返回初始观测和 info。 - -### `step()` - -```python -obs, reward, terminated, truncated, info = env.step(action) -# action: int, 0-27 -# obs: np.ndarray, shape (58,), dtype float32 -# reward: float -# terminated: bool (money < 0，破产) -# truncated: bool (步数耗尽，正常结束) -# info: dict -``` - -### `action_masks()` - -```python -mask = env.action_masks() # np.ndarray[bool], shape (28,) -``` - -返回当前有效的动作掩码。 +| 返回 | 类型 | 含义 | +|------|------|------| +| `obs` | `(58,) float32` | 观测向量 | +| `reward` | `float` | 单步奖励 | +| `terminated` | `bool` | money<0 破产 | +| `truncated` | `bool` | 步数耗尽 | +| `info` | `dict` | step/time/money/score/compute/action_valid | ## 观测向量（58 维 float32） -### 单位状态（[0–9]） - -| 索引 | 含义 | 归一化 | -|:----:|------|--------| -| 0–1 | 单位位置 (x, y) | / (H, W) | -| 2 | 单位 HP | / max_hp | -| 3 | 原材料背包 | raw_inv / capacity | -| 4 | 半导体背包 | prod_inv[0] / capacity | -| 5 | 药品背包 | prod_inv[1] / capacity | -| 6 | 小商品背包 | prod_inv[2] / capacity | -| 7 | 服饰背包 | prod_inv[3] / capacity | -| 8 | 食品背包 | prod_inv[4] / capacity | -| 9 | busy 倒计时 | / 10，截断到 1 | - -### 经济状态（[10–14]） - -| 索引 | 含义 | 归一化 | -|:----:|------|--------| -| 10 | 现金（对数） | log10(money+1) / 5 | -| 11 | 算力 | / 100，截断到 2 | -| 12 | 游戏进度 | time / max_game_time | -| 13 | 价格相位 sin | sin(2π·t / market_period) | -| 14 | 价格相位 cos | cos(2π·t / market_period) | - -### 工厂状态（[15–21]） - -| 索引 | 含义 | 归一化 | -|:----:|------|--------| -| 15 | 工厂原材料库存 | / storage_cap | -| 16 | 工厂半导体库存 | / storage_cap | -| 17 | 工厂药品库存 | / storage_cap | -| 18 | 工厂小商品库存 | / storage_cap | -| 19 | 工厂服饰库存 | / storage_cap | -| 20 | 工厂食品库存 | / storage_cap | -| 21 | 生产队列长度 | / 10，截断到 1 | - -### 资源点（[22–27]） - -| 索引 | 含义 | 归一化 | -|:----:|------|--------| -| 22–23 | 资源点 0 相对位置 (dx, dy) | / (H, W) | -| 24 | 资源点 0 库存比例 | stock / max_stock | -| 25–26 | 资源点 1 相对位置 (dx, dy) | / (H, W) | -| 27 | 资源点 1 库存比例 | stock / max_stock | - -### 算力中心（[28–35]） - -| 索引 | 含义 | 归一化 | -|:----:|------|--------| -| 28–29 | 算力中心 0 相对位置 (dx, dy) | / (H, W) | -| 30 | 算力中心 0 是否开放 | 0 或 1 | -| 31 | 算力中心 0 占领进度 | / unit_occupy_time | -| 32–33 | 算力中心 1 相对位置 (dx, dy) | / (H, W) | -| 34 | 算力中心 1 是否开放 | 0 或 1 | -| 35 | 算力中心 1 占领进度 | / unit_occupy_time | - -### 市场（[36–49]） - -| 索引 | 含义 | 归一化 | -|:----:|------|--------| -| 36–37 | 市场 0 相对位置 (dx, dy) | / (H, W) | -| 38 | 市场 0 半导体价格 | 按 val_range 归一化 | -| 39 | 市场 0 药品价格 | 同上 | -| 40 | 市场 0 小商品价格 | 同上 | -| 41 | 市场 0 服饰价格 | 同上 | -| 42 | 市场 0 食品价格 | 同上 | -| 43–44 | 市场 1 相对位置 (dx, dy) | / (H, W) | -| 45 | 市场 1 半导体价格 | 按 val_range 归一化 | -| 46 | 市场 1 药品价格 | 同上 | -| 47 | 市场 1 小商品价格 | 同上 | -| 48 | 市场 1 服饰价格 | 同上 | -| 49 | 市场 1 食品价格 | 同上 | - -### 科技状态（[50–57]） - -| 索引 | 含义 | +| 索引 | 内容 | |:----:|------| -| 50 | 是否已购买 cost_reduction | -| 51 | 是否已购买 efficiency | -| 52 | 是否已购买 marketing | -| 53 | 是否已购买 durability | -| 54 | 是否已购买 multi_line | -| 55 | 是否已购买 path_optimization | -| 56 | 是否已购买 market_analysis（可重复） | -| 57 | 是否已购买 compute_expansion | - -> 如果实体数量不足（如只有 1 个市场），多余索引保持 0。 - -## 禁止访问的对象 - -以下为内部实现，选手算法**不得依赖**： - -- `env.unit`（Unit 内部字段） -- `env.factory`（Factory 内部字段） -- `env.board`（Board / 地图内部字段） -- `env.markets`（Market 列表） -- `env.money`、`env.compute`、`env.score`（通过 `info` 获取） -- 任何以下划线开头的方法或属性 - -> 评测机只会暴露 `reset`、`step`、`action_masks` 三个公开接口。 - -## 编写规则型策略 - -如果不需要 RL 训练，可以直接读取 `info` 字典做规则决策： - -```python -obs, info = env.reset() -while True: - # 规则策略基于 info 做决策 - if info["money"] > 50: - action = 5 # BUY - else: - action = 11 # HARVEST - obs, reward, terminated, truncated, info = env.step(action) - if terminated or truncated: - break -``` +| 0–1 | 单位坐标 / (H,W) | +| 2 | HP / max_hp | +| 3 | raw_inv / capacity | +| 4–8 | prod_inv[0–4] / capacity | +| 9 | busy_ticks / 10 | +| 10 | log10(money+1) / 5 | +| 11 | compute / 100 | +| 12 | time / max_time | +| 13–14 | sin/cos(2π·t / market_period) | +| 15 | 工厂 raw_stock / storage_cap | +| 16–20 | 工厂 products[0–4] / storage_cap | +| 21 | 生产队列长度 / 10 | +| 22–24 | 资源0: dx/H, dy/W, stock/max | +| 25–27 | 资源1: 同上 | +| 28–31 | 算力中心0: dx/H, dy/W, is_open, progress | +| 32–35 | 算力中心1: 同上 | +| 36–42 | 市场0: dx/H, dy/W, 5种商品价格(val_range归一化) | +| 43–49 | 市场1: 同上 | +| 50–57 | 科技 one-hot（8槽对应 TECH_0~7 顺序） | + +不足实体数量的索引保持 0。 + +## 禁止访问 + +`env.unit`、`env.factory`、`env.board`、`env.markets`、`env.money` 等内部对象均禁止。评测机只暴露 `reset/step/action_masks`。 diff --git a/docs/contests/RL9/pve/intro/rule.md b/docs/contests/RL9/pve/intro/rule.md index 55b5afd2..b411f9d6 100644 --- a/docs/contests/RL9/pve/intro/rule.md +++ b/docs/contests/RL9/pve/intro/rule.md @@ -38,13 +38,16 @@ PVE（PvE-RL）赛道是一个**强化学习**竞技环境。选手需要训练 ## 市场价格 -每个市场对每种商品有独立的正弦价格函数： +每个市场对每种商品有独立的 **Ornstein-Uhlenbeck 随机游走**价格过程： ``` -price(t) = base + amplitude × (1 + sin(2π·t / period + phase)) / 2 +dP = θ(μ − P)·dt + σ·√dt · N(0,1) ``` -- 不同市场的价格**相位随机不同步**，套利窗口随时间移动 +- θ=0.05 均值回归，σ=12% 振幅波动 +- 每个市场独立初始化随机起点，每 tick（0.25s）更新 +- 价格被夹在 [lo, lo+amplitude] 之间 +- 跨市场套利禁止原地买卖——不能在同一市场卖出从该市场购买的商品 - `price_volatility` 控制波动幅度（easy=0.3, medium=1.0, hard=2.0） ## 终止条件 @@ -60,8 +63,8 @@ price(t) = base + amplitude × (1 + sin(2π·t / period + phase)) / 2 |:--|:---|:---| | 交互方式 | gRPC 客户端连接服务器 | 本地 Gymnasium 环境 | | 编程语言 | C++ | Python | -| 动作 | 连续移动 + 多种操作 | 8 个离散动作 | -| 市场定价 | 衰减机制 | 正弦周期波动 | +| 动作 | 连续移动 + 多种操作 | 28 个离散动作 | +| 市场定价 | 衰减机制 | OU 随机游走 | | 单位数 | 1 Team + 3 Character | 1 个可控单位 | | 对手 | 其他人类队伍 | 无（纯经济环境） | | 评测 | 单局得分 | 多 seed 平均得分 | diff --git a/docs/contests/RL9/pve/training/training.md b/docs/contests/RL9/pve/training/training.md index 8a7dfc5f..8b8030ac 100644 --- a/docs/contests/RL9/pve/training/training.md +++ b/docs/contests/RL9/pve/training/training.md @@ -4,52 +4,32 @@ ```bash pip install -r requirements.txt +python -m pytest tests/ -v # 验证环境 ``` -## 单元测试 - -验证环境正常： +## 训练 ```bash -python -m pytest tests/ -v -``` - -## 基础训练 - -```bash -# easy 难度，10 万步 python TrainingDemo/train_basic.py --config easy --timesteps 100000 - -# medium 难度，20 万步 python TrainingDemo/train_basic.py --config medium --timesteps 200000 - -# 自定义 YAML 配置 python TrainingDemo/train_basic.py --config TrainingDemo/configs/medium.yaml --timesteps 200000 ``` -## 评测模型 +## 评测 ```bash python TrainingDemo/evaluate.py --model models/ppo_thuai9_best --config medium --episodes 50 ``` -输出多 seed 下的平均得分和方差。 - ## MaskablePPO -使用 `sb3-contrib` 的 `MaskablePPO` 可以自动利用动作掩码： - ```python from sb3_contrib import MaskablePPO from sb3_contrib.common.wrappers import ActionMasker -def mask_fn(env): - return env.unwrapped.action_masks() - -env = ActionMasker(env, mask_fn) +env = ActionMasker(env, lambda e: e.unwrapped.action_masks()) model = MaskablePPO("MlpPolicy", env, verbose=1) model.learn(total_timesteps=100000) -model.save("ppo_thuai9") ``` ## 难度对比 @@ -67,37 +47,10 @@ model.save("ppo_thuai9") | 初始资源 | 200 | 100 | 50 | | 游戏时长 | 300s | 300s | 500s | -## 项目结构 - -``` -logic/pve/ -├── GameLogic/ # 游戏规则与状态管理（算法不可直接修改） -│ ├── config.py # 全局配置（难度参数化） -│ ├── board.py # 地图、资源点、算力中心 -│ ├── character.py # 单位（HP、背包、状态机） -│ ├── market.py # 市场动态价格函数 -│ ├── action_space.py # 动作空间与动作掩码 -│ ├── reward_calculator.py # 奖励计算 -│ └── game_env.py # 主环境（Gymnasium 接口） -├── RLInterfaces/ # RL 算法接口层 -│ ├── base_agent.py # 抽象基类 -│ ├── ppo_agent.py # PPO 实现（支持 MaskablePPO） -│ └── training_loop.py # 训练循环 -├── TrainingDemo/ # 训练与评测脚本 -│ ├── train_basic.py # 训练入口 -│ ├── evaluate.py # 评测脚本 -│ ├── visualization.py # ASCII 渲染 + 奖励曲线 -│ └── configs/ # YAML 配置 -├── tests/ # 单元测试 -└── docs/ # 选手/开发者文档 -``` - ## 建议方向 -- 使用 `action_masks()` 过滤无效动作 -- BFS / A* 路径规划，找最优路线 -- 建模市场价格正弦周期（利用观测中的 sin/cos 相位） -- 选择高利润商品（半导体 40–120、服饰 32–96） -- 规则策略 + RL 混合（Hybrid Policy） -- 课程学习（easy → medium → hard） -- Recurrent Policy 识别价格周期 +- `action_masks()` 过滤无效动作；BFS/A* 路径规划 +- 建模 OU 价格随机游走，利用观测 sin/cos 相位辅助时序判断 +- 生产链：食品（1s）快周转，半导体（40–120）高利润 +- 优先占领算力中心 → efficiency(×0.5) 或 marketing(×1.1) +- 课程学习 easy→medium→hard；Recurrent Policy 捕捉价格趋势 diff --git a/docs/contests/THUAI9/README.md b/docs/contests/THUAI9/README.md index 7ff67c81..b9f8b5fc 100644 --- a/docs/contests/THUAI9/README.md +++ b/docs/contests/THUAI9/README.md @@ -16,6 +16,7 @@ AI 工厂模拟（THUAI9） | 控制对象 | 1 Team + 3 Character | 1 个单位 | | 动作 | 连续移动 + 多种操作 | 28 个离散动作 | | 得分机制 | 售卖 + 战斗 + 摧毁工厂 | 售卖 × 10（SELL成功时） | +| 市场定价 | 乘数 + 衰减 | OU 随机游走，禁止原地套利 | | 文档入口 | [`pvp/`](pvp/intro/rule.md) | [`pve/`](pve/intro/rule.md) | ## PVP 概要 diff --git a/docs/contests/THUAI9/pve/faq/README.md b/docs/contests/THUAI9/pve/faq/README.md index 5e8d990d..a29d78a5 100644 --- a/docs/contests/THUAI9/pve/faq/README.md +++ b/docs/contests/THUAI9/pve/faq/README.md @@ -36,7 +36,7 @@ > Q: 观测向量怎么理解？ > -> A: 32 维 float32，包含位置、HP、背包、现金、市场价格相位、最近资源点/市场/算力中心相对位置等。详见 [公开接口](../interface/gym.md)。 +> A: 58 维 float32，包含位置、HP、背包（按商品分）、现金、算力、市场 OU 价格、工厂库存、科技 one-hot、资源/算力中心相对位置等。详见 [公开接口](../interface/gym.md)。 > Q: 怎么写规则策略（不用 RL）？ > diff --git a/docs/contests/THUAI9/pve/game/actions.md b/docs/contests/THUAI9/pve/game/actions.md index cf99d55b..05845904 100644 --- a/docs/contests/THUAI9/pve/game/actions.md +++ b/docs/contests/THUAI9/pve/game/actions.md @@ -1,88 +1,64 @@ # 动作空间 -PVE 使用 **28 个离散动作**（`N_ACTIONS = 28`），分为基础操作、商品交易、生产链、科技四大类。 +PVE 共 **28 个离散动作**（`N_ACTIONS = 28`）。 ## 基础动作（0–5） -| 编号 | 动作 | 含义 | 有效性条件 | -|:----:|:----:|------|------------| +| 编号 | 动作 | 含义 | 有效条件 | +|:----:|:----:|------|----------| | 0 | `WAIT` | 等待一个 tick | 始终有效 | -| 1 | `MOVE_UP` | 向上移动 (x−1) | 目标格可通行，单位不 busy | -| 2 | `MOVE_DOWN` | 向下移动 (x+1) | 同上 | -| 3 | `MOVE_LEFT` | 向左移动 (y−1) | 同上 | -| 4 | `MOVE_RIGHT` | 向右移动 (y+1) | 同上 | -| 5 | `BUY` | 在相邻市场购买利润最高的可负担商品 | Manhattan ≤1 有市场，背包有空间，现金充足 | +| 1 | `MOVE_UP` | x−1 | 目标格可通行，busy_ticks=0 | +| 2 | `MOVE_DOWN` | x+1 | 同上 | +| 3 | `MOVE_LEFT` | y−1 | 同上 | +| 4 | `MOVE_RIGHT` | y+1 | 同上 | +| 5 | `BUY` | 买入跨市场套利空间最大的可负担商品 | Manhattan≤1 有市场，背包有空间，现金足够 | -## 卖出动作（6–10，按商品类型） +## 卖出动作（6–10） -| 编号 | 动作 | 含义 | 有效性条件 | -|:----:|:----:|------|------------| -| 6 | `SELL_0` | 卖出背包内所有**半导体** | Manhattan ≤1 有市场，背包有该商品 | -| 7 | `SELL_1` | 卖出背包内所有**药品** | 同上 | -| 8 | `SELL_2` | 卖出背包内所有**小商品** | 同上 | -| 9 | `SELL_3` | 卖出背包内所有**服饰** | 同上 | -| 10 | `SELL_4` | 卖出背包内所有**食品** | 同上 | +| 编号 | 动作 | 有效条件 | +|:----:|:----:|----------| +| 6 | `SELL_0` | Manhattan≤1 有市场，背包有**半导体** | +| 7 | `SELL_1` | 同上，有**药品** | +| 8 | `SELL_2` | 同上，有**小商品** | +| 9 | `SELL_3` | 同上，有**服饰** | +| 10 | `SELL_4` | 同上，有**食品** | -- **SELL_pid**：卖出指定类型的所有商品，获得当前市场价 -- 卖出成功时：`score += revenue × score_factor`（默认 ×10），`money += revenue` +- SELL_pid 卖出非当前市场来源的商品（禁止同市场原地套利，商品追踪 `prod_origin`）。成功时 `score += revenue × 10`。 ## 生产链动作（11–18） -| 编号 | 动作 | 含义 | 有效性条件 | -|:----:|:----:|------|------------| -| 11 | `HARVEST` | 从附近资源点采集原材料 | Manhattan ≤2 有未耗尽资源，背包有空间 | -| 12 | `DEPOSIT` | 将背包原材料存入工厂 | 在工厂格，背包 raw_inv > 0 | -| 13 | `PRODUCE_0` | 工厂开始生产**半导体**（消耗 5 原材料） | 在工厂格，工厂 raw_stock ≥ 5，生产队列未满 | -| 14 | `PRODUCE_1` | 工厂开始生产**药品**（消耗 3 原材料） | 在工厂格，工厂 raw_stock ≥ 3，生产队列未满 | -| 15 | `PRODUCE_2` | 工厂开始生产**小商品**（消耗 1 原材料） | 在工厂格，工厂 raw_stock ≥ 1，生产队列未满 | -| 16 | `PRODUCE_3` | 工厂开始生产**服饰**（消耗 4 原材料） | 在工厂格，工厂 raw_stock ≥ 4，生产队列未满 | -| 17 | `PRODUCE_4` | 工厂开始生产**食品**（消耗 2 原材料） | 在工厂格，工厂 raw_stock ≥ 2，生产队列未满 | -| 18 | `LOAD` | 从工厂仓库装载已完成成品到背包 | 在工厂格，工厂有成品，背包有空间 | - -- **HARVEST**：采集范围 2 格（Manhattan 距离），每次采集 `unit_harvest_rate × time_step` 单位 -- **DEPOSIT**：将背包中原材料存入工厂仓库，供后续生产使用 -- **PRODUCE_pid**：将工厂原材料转换为产品，加入生产队列 -- **LOAD**：从工厂仓库取出已完成的成品装入背包 +| 编号 | 动作 | 消耗/条件 | +|:----:|:----:|-----------| +| 11 | `HARVEST` | Manhattan≤2 有未耗尽资源，背包有空间 | +| 12 | `DEPOSIT` | 在工厂格，背包 raw_inv > 0 | +| 13 | `PRODUCE_0` | 在工厂格，工厂 raw_stock≥5，队列未满 | +| 14 | `PRODUCE_1` | raw_stock≥3 | +| 15 | `PRODUCE_2` | raw_stock≥1 | +| 16 | `PRODUCE_3` | raw_stock≥4 | +| 17 | `PRODUCE_4` | raw_stock≥2 | +| 18 | `LOAD` | 在工厂格，工厂有成品，背包有空间 | ## 算力与科技动作（19–27） -| 编号 | 动作 | 含义 | 消耗 | 前置 | -|:----:|:----:|------|:----:|:----:| -| 19 | `OCCUPY` | 推进相邻算力中心的占领进度 | — | — | -| 20 | `TECH_0` | **降低成本**：商品购买成本 −2 | 50 算力 | — | -| 21 | `TECH_1` | **效率提升**：生产时间 ×0.5 | 40 算力 | — | -| 22 | `TECH_2` | **市场营销**：卖价 ×1.1 | 80 算力 | — | -| 23 | `TECH_3` | **耐久强化**：单位 max HP +50% | 30 算力 | — | -| 24 | `TECH_4` | **多产线**：工厂 +1 生产线 | 60 算力 | — | -| 25 | `TECH_5` | **路径优化**：移动不再产生 busy tick | 50 算力 | TECH_1 | -| 26 | `TECH_6` | **市场分析**：观测中标记已购买（可重复） | 40 算力 | — | -| 27 | `TECH_7` | **算力扩张**：算力积累速率 +30% | 70 算力 | — | +| 编号 | 动作 | 效果 | 消耗 | +|:----:|:----:|------|:----:| +| 19 | `OCCUPY` | 推进相邻算力中心占领进度 | — | +| 20 | `TECH_0` | 商品购买成本 −2 | 50 | +| 21 | `TECH_1` | 生产时间 ×0.5 | 40 | +| 22 | `TECH_2` | 卖价 ×1.1 | 80 | +| 23 | `TECH_3` | 单位 max HP +50% | 30 | +| 24 | `TECH_4` | 工厂 +1 生产线 | 60 | +| 25 | `TECH_5` | 移动不产生 busy_tick（需 TECH_1） | 50 | +| 26 | `TECH_6` | 观测中标记（可重复购买） | 40 | +| 27 | `TECH_7` | 算力速率 +30% | 70 | -- **OCCUPY**：需相邻有未开放的算力中心，每次 tick 推进 `time_step` 秒进度 -- **TECH_0~5, TECH_7**：持久科技，每种只能购买一次，在工厂格执行 -- **TECH_6**：非持久科技，可重复购买 -- 科技动作需要在工厂格、算力足够、前置科技满足时才有效 +科技在工厂格执行。持久科技(TECH_0~5,7)每种限一次。 ## 通用规则 -- `busy_ticks > 0` 时单位忙碌，**仅 WAIT 有效**，其他动作均被掩码屏蔽 -- 移动默认消耗 1 busy_tick（购买 TECH_5 后变为 0） -- BUY/SELL/LOAD 消耗 busy_ticks（`0.25 / time_step` 个 tick） -- 执行无效动作不会报错，但受到 **−0.05 奖励惩罚**并浪费步数 +- `busy_ticks > 0` 时仅 WAIT 有效；移动消耗 1 tick（TECH_5 后为 0） +- 无效动作不报错，但受 **−0.02 奖励惩罚** ## 动作掩码 -环境提供 `action_masks()` 方法，返回 `(28,)` 布尔数组，`True` 表示该动作当前有效。使用 `MaskablePPO` 可以自动过滤无效动作： - -```python -from sb3_contrib import MaskablePPO -from sb3_contrib.common.wrappers import ActionMasker - -def mask_fn(env): - return env.unwrapped.action_masks() - -masked_env = ActionMasker(env, mask_fn) -model = MaskablePPO("MlpPolicy", masked_env) -``` - -建议所有策略先查询 `action_masks()` 再决定动作。 +`action_masks()` 返回 `(28,)` bool 数组，True=有效。推荐 `MaskablePPO` + `ActionMasker` 自动过滤。 diff --git a/docs/contests/THUAI9/pve/game/reward.md b/docs/contests/THUAI9/pve/game/reward.md index 83612c1c..01e91f60 100644 --- a/docs/contests/THUAI9/pve/game/reward.md +++ b/docs/contests/THUAI9/pve/game/reward.md @@ -10,20 +10,29 @@ score += revenue × score_factor（默认 × 10） ## 单步奖励（RL Reward） -训练时的辅助信号，由以下部分叠加： +训练时的辅助信号，由以下部分叠加（`mode = "standard"`）： -| 来源 | 值 | 说明 | +| 来源 | 默认值 | 说明 | |------|:--:|------| -| 现金变化 Δmoney | × 0.01 | 正负均有 | -| 得分变化 Δscore | × 0.01 | 仅卖出时为正 | -| 时间惩罚（每步） | −0.002 | 鼓励高效路径 | -| 采集奖励（每单位） | +0.001 | 采集塑形 | -| 算力中心解锁（一次性） | +0.5 | 进度奖励 | -| 无效动作惩罚 | −0.05 | 每步 | +| 现金变化 Δmoney | × 0.02 | 正负均有 | +| 卖出得分 Δscore | × 0.001 | 仅卖出时为正 | +| 时间惩罚（每步） | −0.001 | 鼓励高效路径 | +| 采集奖励（每单位） | +0.0 | 默认关闭，可通过 RewardConfig 开启 | +| 算力中心解锁（每个） | +1.0 | 进度奖励 | +| 科技购买（每个） | +1.0 | 进度奖励 | +| 无效动作惩罚 | −0.02 | 每步 | | 破产惩罚（terminated 时） | −10.0 | 终端惩罚 | > 奖励是训练辅助信号。**最终排名以 `info["score"]` 为准**，不是累计奖励。 +`RewardConfig` 支持两种模式： +- `"standard"`（默认）：密集可学习信号，适用于 PPO/DQN 训练 +- `"adversarial"`：收割陷阱模式，仅使用采集奖励 + 终端得分 + +### 技术细节 + +`RewardCalculator.compute()` 在 `game_env.py` 的 `step()` 中调用，计算奖励时先评估终止条件，再结算奖励（确保 terminal bonus 正确触发）。 + ## `step()` 返回的 info 字典 | 字段 | 类型 | 含义 | diff --git a/docs/contests/THUAI9/pve/game/state.md b/docs/contests/THUAI9/pve/game/state.md index 553267df..66f4a730 100644 --- a/docs/contests/THUAI9/pve/game/state.md +++ b/docs/contests/THUAI9/pve/game/state.md @@ -2,116 +2,84 @@ ## 时间系统 -| 参数 | 值 | -|:----:|:--:| -| 每 tick 时长 | 0.25s | -| easy/medium 总时长 | 300s（1200 ticks） | -| hard 总时长 | 500s（2000 ticks） | +每 tick **0.25s**。easy/medium 300s（1200 tick），hard 500s（2000 tick）。 -## 单位属性 +## 单位 | 属性 | 值 | |:----:|:--:| -| 血量 | 300 | +| HP | 300 | | 背包容量 | 30 | | 采集速率 | 10/s | -| 算力中心占领时间 | 10s | +| 占领耗时 | 10s | -- 背包分为**原材料**（`raw_inv`）和**成品**（`prod_inv[pid]`）两部分 -- `busy_ticks > 0` 时单位忙碌，仅 WAIT 有效 -- 移动默认消耗 1 busy_tick（购买 path_optimization 科技后变为 0） -- BUY/SELL/LOAD 消耗 `int(0.25 / time_step)` 个 busy_tick +- 背包分原材料(`raw_inv`)和成品(`prod_inv[pid]`)；商品追踪购买来源市场(`prod_origin`) +- `busy_ticks > 0` 时仅 WAIT 有效；移动消耗 1 tick（TECH_5 后为 0）；BUY/SELL/LOAD 消耗 `0.25/dt` tick ## 工厂 | 属性 | 值 | |:----:|:--:| -| 位置 | (0, 0) | +| 位置 | (0,0) | | 仓储上限 | 300 | -| 初始生产线数 | 3 | - -### 生产系统 - -工厂将原材料加工为成品。生产队列最大长度 = `生产线数 × 5`。 +| 初始产线 | 3 | -生产流程： -1. 采集原材料（HARVEST） -2. 存入工厂（DEPOSIT） -3. 排队生产（PRODUCE_pid）——消耗原材料，加入生产队列 -4. 等待工厂 tick 推进完成 -5. 装载成品（LOAD） - -生产时间受 efficiency 科技影响（×0.5）。 +生产队列上限 = 产线数 × 5。流程：HARVEST → DEPOSIT → PRODUCE → 等待 tick 完成 → LOAD → SELL。 ## 商品 -| ID | 名称 | 购买成本 | 原材料消耗 | 市场价格范围 | 生产时间 | -|:--:|:----:|:--------:|:----------:|:------------:|:--------:| +| ID | 名称 | 买价 | 原料消耗 | 市价范围 | 生产时间 | +|:--:|:----:|:----:|:--------:|:--------:|:--------:| | 0 | 半导体 | 10 | 5 | 40–120 | 5.0s | | 1 | 药品 | 5 | 3 | 20–60 | 4.0s | | 2 | 小商品 | 1 | 1 | 4–12 | 2.0s | | 3 | 服饰 | 8 | 4 | 32–96 | 6.0s | | 4 | 食品 | 3 | 2 | 12–24 | 1.0s | -- 购买成本受 cost_reduction 科技影响（−2，最低为 0） -- 生产时间受 efficiency 科技影响（×0.5） +买价受 TECH_0(−2)，生产时间受 TECH_1(×0.5) 影响。 -## 市场定价 +## 市场 -每个市场对每种商品有独立的正弦价格函数： +OU 随机游走价格，每 tick 更新： ``` -price(t) = base + amplitude × (1 + sin(2π·t / period + phase)) / 2 +dP = θ(μ−P)·dt + σ·√dt·N(0,1) ``` -- 不同市场的价格**相位随机不同步**，套利窗口随时间移动 -- `price_volatility` 控制波动幅度（easy=0.3, medium=1.0, hard=2.0） -- 卖价受 marketing 科技影响（×1.1） - -## 算力系统 +θ=0.05，σ=amplitude×0.12，价格夹在 [lo, lo+amplitude] 内。`price_volatility` 控制振幅（easy=0.3, medium=1.0, hard=2.0）。 -- **基础产出**：每个已开放算力中心产出 **1 算力/秒** -- 购买 compute_expansion 科技后：+30% 算力速率 -- 可消耗算力招募新单位（40 算力/个，最多 5 个单位）——Phase 2 +**套利规则**：BUY 选跨市场卖价最高的可负担商品。禁止同市场原地套利（商品追踪购买来源，卖出时排除当前市场来源部分）。卖价受 TECH_2(×1.1) 影响。 -### 算力中心 +## 算力 -- 占领方式：在相邻格执行 OCCUPY，每次 tick 推进 0.25s 进度 -- 进度达到 `unit_occupy_time`（10s）后开放 -- 开放后持续产出算力 +- 每个开放算力中心 +1 算力/秒；TECH_7 后 +30% +- OCCUPY 每 tick 推进 0.25s，10s 后开放 +- 招募新单位：40 算力/个，上限 5 -## 科技树 +## 科技 -| 键名 | 效果 | 消耗 | 前置 | 持久 | -|:-----|------|:----:|:----:|:----:| -| cost_reduction | 商品购买成本 −2 | 50 | — | ✓ | -| efficiency | 生产时间 ×0.5 | 40 | — | ✓ | -| marketing | 卖价 ×1.1 | 80 | — | ✓ | -| durability | 单位 max HP +50% | 30 | — | ✓ | -| multi_line | 工厂 +1 生产线 | 60 | — | ✓ | -| path_optimization | 移动不产生 busy_tick | 50 | efficiency | ✓ | -| market_analysis | 观测中标记已购买 | 40 | — | ✗ | -| compute_expansion | 算力速率 +30% | 70 | — | ✓ | +| 键名 | 效果 | 消耗 | 前置 | +|:-----|------|:----:|:----:| +| cost_reduction | 买价 −2 | 50 | — | +| efficiency | 生产时间 ×0.5 | 40 | — | +| marketing | 卖价 ×1.1 | 80 | — | +| durability | HP +50% | 30 | — | +| multi_line | 产线 +1 | 60 | — | +| path_optimization | 移动无 busy_tick | 50 | efficiency | +| market_analysis | obs标记（可重复） | 40 | — | +| compute_expansion | 算力 +30% | 70 | — | -- 持久科技每种只能购买一次 -- market_analysis 可重复购买 -- 科技在工厂格执行 +持久科技（除 market_analysis）限购一次。在工厂格执行。 ## 资源再生 -资源点库存会随时间缓慢再生： - ``` -regen(t) = rate × (1 + sin(2π·t / period)) / 2 +regen(t) = rate × (1 + sin(2π·t/period)) / 2 ``` -- 再生倍率：easy=2.0, medium=1.0, hard=0.5 -- 资源耗尽（累计采集量 ≥ max_stock）后停止再生 -- 最大库存为初始库存的 2 倍 +倍率：easy=2.0, medium=1.0, hard=0.5。耗尽（累计≥max_stock=2×初始）后停止。 ## 得分与终止 -- **得分**：`score += revenue × score_factor`（默认 ×10），仅在 SELL 成功时增加 -- **terminated**：`money < 0`（破产） -- **truncated**：`step >= max_steps`（时间耗尽） -- 最终排名以多 seed 下的 `info["score"]` 平均为准 +- `score += revenue × 10`（仅 SELL 成功时） +- `money < 0` → terminated；`step ≥ max_steps` → truncated diff --git a/docs/contests/THUAI9/pve/interface/gym.md b/docs/contests/THUAI9/pve/interface/gym.md index 9990a579..a96a41fb 100644 --- a/docs/contests/THUAI9/pve/interface/gym.md +++ b/docs/contests/THUAI9/pve/interface/gym.md @@ -1,170 +1,57 @@ # 公开接口 -PVE 算法**只能**通过标准 Gymnasium 接口与环境交互。不得直接访问内部对象。 +PVE 算法只通过标准 Gymnasium 接口与环境交互，禁止访问内部对象。 ## 环境初始化 ```python from GameLogic import GameEnvironment, GameConfig -# 内置难度 -env = GameEnvironment(cfg=GameConfig.easy()) -env = GameEnvironment(cfg=GameConfig.medium()) -env = GameEnvironment(cfg=GameConfig.hard()) - -# 自定义配置 -env = GameEnvironment(cfg=GameConfig.from_dict({ - "map_width": 8, "map_height": 8, - "num_markets": 4, "initial_money": 100.0, -})) +env = GameEnvironment(cfg=GameConfig.easy()) # medium / hard / from_dict({...}) ``` -## 接口方法 - -### `reset()` +## 接口 ```python obs, info = env.reset(seed=0) +obs, reward, terminated, truncated, info = env.step(action) # action: int 0–27 +mask = env.action_masks() # (28,) bool, True=有效 ``` -重置环境，返回初始观测和 info。 - -### `step()` - -```python -obs, reward, terminated, truncated, info = env.step(action) -# action: int, 0-27 -# obs: np.ndarray, shape (58,), dtype float32 -# reward: float -# terminated: bool (money < 0，破产) -# truncated: bool (步数耗尽，正常结束) -# info: dict -``` - -### `action_masks()` - -```python -mask = env.action_masks() # np.ndarray[bool], shape (28,) -``` - -返回当前有效的动作掩码。 +| 返回 | 类型 | 含义 | +|------|------|------| +| `obs` | `(58,) float32` | 观测向量 | +| `reward` | `float` | 单步奖励 | +| `terminated` | `bool` | money<0 破产 | +| `truncated` | `bool` | 步数耗尽 | +| `info` | `dict` | step/time/money/score/compute/action_valid | ## 观测向量（58 维 float32） -### 单位状态（[0–9]） - -| 索引 | 含义 | 归一化 | -|:----:|------|--------| -| 0–1 | 单位位置 (x, y) | / (H, W) | -| 2 | 单位 HP | / max_hp | -| 3 | 原材料背包 | raw_inv / capacity | -| 4 | 半导体背包 | prod_inv[0] / capacity | -| 5 | 药品背包 | prod_inv[1] / capacity | -| 6 | 小商品背包 | prod_inv[2] / capacity | -| 7 | 服饰背包 | prod_inv[3] / capacity | -| 8 | 食品背包 | prod_inv[4] / capacity | -| 9 | busy 倒计时 | / 10，截断到 1 | - -### 经济状态（[10–14]） - -| 索引 | 含义 | 归一化 | -|:----:|------|--------| -| 10 | 现金（对数） | log10(money+1) / 5 | -| 11 | 算力 | / 100，截断到 2 | -| 12 | 游戏进度 | time / max_game_time | -| 13 | 价格相位 sin | sin(2π·t / market_period) | -| 14 | 价格相位 cos | cos(2π·t / market_period) | - -### 工厂状态（[15–21]） - -| 索引 | 含义 | 归一化 | -|:----:|------|--------| -| 15 | 工厂原材料库存 | / storage_cap | -| 16 | 工厂半导体库存 | / storage_cap | -| 17 | 工厂药品库存 | / storage_cap | -| 18 | 工厂小商品库存 | / storage_cap | -| 19 | 工厂服饰库存 | / storage_cap | -| 20 | 工厂食品库存 | / storage_cap | -| 21 | 生产队列长度 | / 10，截断到 1 | - -### 资源点（[22–27]） - -| 索引 | 含义 | 归一化 | -|:----:|------|--------| -| 22–23 | 资源点 0 相对位置 (dx, dy) | / (H, W) | -| 24 | 资源点 0 库存比例 | stock / max_stock | -| 25–26 | 资源点 1 相对位置 (dx, dy) | / (H, W) | -| 27 | 资源点 1 库存比例 | stock / max_stock | - -### 算力中心（[28–35]） - -| 索引 | 含义 | 归一化 | -|:----:|------|--------| -| 28–29 | 算力中心 0 相对位置 (dx, dy) | / (H, W) | -| 30 | 算力中心 0 是否开放 | 0 或 1 | -| 31 | 算力中心 0 占领进度 | / unit_occupy_time | -| 32–33 | 算力中心 1 相对位置 (dx, dy) | / (H, W) | -| 34 | 算力中心 1 是否开放 | 0 或 1 | -| 35 | 算力中心 1 占领进度 | / unit_occupy_time | - -### 市场（[36–49]） - -| 索引 | 含义 | 归一化 | -|:----:|------|--------| -| 36–37 | 市场 0 相对位置 (dx, dy) | / (H, W) | -| 38 | 市场 0 半导体价格 | 按 val_range 归一化 | -| 39 | 市场 0 药品价格 | 同上 | -| 40 | 市场 0 小商品价格 | 同上 | -| 41 | 市场 0 服饰价格 | 同上 | -| 42 | 市场 0 食品价格 | 同上 | -| 43–44 | 市场 1 相对位置 (dx, dy) | / (H, W) | -| 45 | 市场 1 半导体价格 | 按 val_range 归一化 | -| 46 | 市场 1 药品价格 | 同上 | -| 47 | 市场 1 小商品价格 | 同上 | -| 48 | 市场 1 服饰价格 | 同上 | -| 49 | 市场 1 食品价格 | 同上 | - -### 科技状态（[50–57]） - -| 索引 | 含义 | +| 索引 | 内容 | |:----:|------| -| 50 | 是否已购买 cost_reduction | -| 51 | 是否已购买 efficiency | -| 52 | 是否已购买 marketing | -| 53 | 是否已购买 durability | -| 54 | 是否已购买 multi_line | -| 55 | 是否已购买 path_optimization | -| 56 | 是否已购买 market_analysis（可重复） | -| 57 | 是否已购买 compute_expansion | - -> 如果实体数量不足（如只有 1 个市场），多余索引保持 0。 - -## 禁止访问的对象 - -以下为内部实现，选手算法**不得依赖**： - -- `env.unit`（Unit 内部字段） -- `env.factory`（Factory 内部字段） -- `env.board`（Board / 地图内部字段） -- `env.markets`（Market 列表） -- `env.money`、`env.compute`、`env.score`（通过 `info` 获取） -- 任何以下划线开头的方法或属性 - -> 评测机只会暴露 `reset`、`step`、`action_masks` 三个公开接口。 - -## 编写规则型策略 - -如果不需要 RL 训练，可以直接读取 `info` 字典做规则决策： - -```python -obs, info = env.reset() -while True: - # 规则策略基于 info 做决策 - if info["money"] > 50: - action = 5 # BUY - else: - action = 11 # HARVEST - obs, reward, terminated, truncated, info = env.step(action) - if terminated or truncated: - break -``` +| 0–1 | 单位坐标 / (H,W) | +| 2 | HP / max_hp | +| 3 | raw_inv / capacity | +| 4–8 | prod_inv[0–4] / capacity | +| 9 | busy_ticks / 10 | +| 10 | log10(money+1) / 5 | +| 11 | compute / 100 | +| 12 | time / max_time | +| 13–14 | sin/cos(2π·t / market_period) | +| 15 | 工厂 raw_stock / storage_cap | +| 16–20 | 工厂 products[0–4] / storage_cap | +| 21 | 生产队列长度 / 10 | +| 22–24 | 资源0: dx/H, dy/W, stock/max | +| 25–27 | 资源1: 同上 | +| 28–31 | 算力中心0: dx/H, dy/W, is_open, progress | +| 32–35 | 算力中心1: 同上 | +| 36–42 | 市场0: dx/H, dy/W, 5种商品价格(val_range归一化) | +| 43–49 | 市场1: 同上 | +| 50–57 | 科技 one-hot（8槽对应 TECH_0~7 顺序） | + +不足实体数量的索引保持 0。 + +## 禁止访问 + +`env.unit`、`env.factory`、`env.board`、`env.markets`、`env.money` 等内部对象均禁止。评测机只暴露 `reset/step/action_masks`。 diff --git a/docs/contests/THUAI9/pve/intro/rule.md b/docs/contests/THUAI9/pve/intro/rule.md index 55b5afd2..b411f9d6 100644 --- a/docs/contests/THUAI9/pve/intro/rule.md +++ b/docs/contests/THUAI9/pve/intro/rule.md @@ -38,13 +38,16 @@ PVE（PvE-RL）赛道是一个**强化学习**竞技环境。选手需要训练 ## 市场价格 -每个市场对每种商品有独立的正弦价格函数： +每个市场对每种商品有独立的 **Ornstein-Uhlenbeck 随机游走**价格过程： ``` -price(t) = base + amplitude × (1 + sin(2π·t / period + phase)) / 2 +dP = θ(μ − P)·dt + σ·√dt · N(0,1) ``` -- 不同市场的价格**相位随机不同步**，套利窗口随时间移动 +- θ=0.05 均值回归，σ=12% 振幅波动 +- 每个市场独立初始化随机起点，每 tick（0.25s）更新 +- 价格被夹在 [lo, lo+amplitude] 之间 +- 跨市场套利禁止原地买卖——不能在同一市场卖出从该市场购买的商品 - `price_volatility` 控制波动幅度（easy=0.3, medium=1.0, hard=2.0） ## 终止条件 @@ -60,8 +63,8 @@ price(t) = base + amplitude × (1 + sin(2π·t / period + phase)) / 2 |:--|:---|:---| | 交互方式 | gRPC 客户端连接服务器 | 本地 Gymnasium 环境 | | 编程语言 | C++ | Python | -| 动作 | 连续移动 + 多种操作 | 8 个离散动作 | -| 市场定价 | 衰减机制 | 正弦周期波动 | +| 动作 | 连续移动 + 多种操作 | 28 个离散动作 | +| 市场定价 | 衰减机制 | OU 随机游走 | | 单位数 | 1 Team + 3 Character | 1 个可控单位 | | 对手 | 其他人类队伍 | 无（纯经济环境） | | 评测 | 单局得分 | 多 seed 平均得分 | diff --git a/docs/contests/THUAI9/pve/training/training.md b/docs/contests/THUAI9/pve/training/training.md index 8a7dfc5f..8b8030ac 100644 --- a/docs/contests/THUAI9/pve/training/training.md +++ b/docs/contests/THUAI9/pve/training/training.md @@ -4,52 +4,32 @@ ```bash pip install -r requirements.txt +python -m pytest tests/ -v # 验证环境 ``` -## 单元测试 - -验证环境正常： +## 训练 ```bash -python -m pytest tests/ -v -``` - -## 基础训练 - -```bash -# easy 难度，10 万步 python TrainingDemo/train_basic.py --config easy --timesteps 100000 - -# medium 难度，20 万步 python TrainingDemo/train_basic.py --config medium --timesteps 200000 - -# 自定义 YAML 配置 python TrainingDemo/train_basic.py --config TrainingDemo/configs/medium.yaml --timesteps 200000 ``` -## 评测模型 +## 评测 ```bash python TrainingDemo/evaluate.py --model models/ppo_thuai9_best --config medium --episodes 50 ``` -输出多 seed 下的平均得分和方差。 - ## MaskablePPO -使用 `sb3-contrib` 的 `MaskablePPO` 可以自动利用动作掩码： - ```python from sb3_contrib import MaskablePPO from sb3_contrib.common.wrappers import ActionMasker -def mask_fn(env): - return env.unwrapped.action_masks() - -env = ActionMasker(env, mask_fn) +env = ActionMasker(env, lambda e: e.unwrapped.action_masks()) model = MaskablePPO("MlpPolicy", env, verbose=1) model.learn(total_timesteps=100000) -model.save("ppo_thuai9") ``` ## 难度对比 @@ -67,37 +47,10 @@ model.save("ppo_thuai9") | 初始资源 | 200 | 100 | 50 | | 游戏时长 | 300s | 300s | 500s | -## 项目结构 - -``` -logic/pve/ -├── GameLogic/ # 游戏规则与状态管理（算法不可直接修改） -│ ├── config.py # 全局配置（难度参数化） -│ ├── board.py # 地图、资源点、算力中心 -│ ├── character.py # 单位（HP、背包、状态机） -│ ├── market.py # 市场动态价格函数 -│ ├── action_space.py # 动作空间与动作掩码 -│ ├── reward_calculator.py # 奖励计算 -│ └── game_env.py # 主环境（Gymnasium 接口） -├── RLInterfaces/ # RL 算法接口层 -│ ├── base_agent.py # 抽象基类 -│ ├── ppo_agent.py # PPO 实现（支持 MaskablePPO） -│ └── training_loop.py # 训练循环 -├── TrainingDemo/ # 训练与评测脚本 -│ ├── train_basic.py # 训练入口 -│ ├── evaluate.py # 评测脚本 -│ ├── visualization.py # ASCII 渲染 + 奖励曲线 -│ └── configs/ # YAML 配置 -├── tests/ # 单元测试 -└── docs/ # 选手/开发者文档 -``` - ## 建议方向 -- 使用 `action_masks()` 过滤无效动作 -- BFS / A* 路径规划，找最优路线 -- 建模市场价格正弦周期（利用观测中的 sin/cos 相位） -- 选择高利润商品（半导体 40–120、服饰 32–96） -- 规则策略 + RL 混合（Hybrid Policy） -- 课程学习（easy → medium → hard） -- Recurrent Policy 识别价格周期 +- `action_masks()` 过滤无效动作；BFS/A* 路径规划 +- 建模 OU 价格随机游走，利用观测 sin/cos 相位辅助时序判断 +- 生产链：食品（1s）快周转，半导体（40–120）高利润 +- 优先占领算力中心 → efficiency(×0.5) 或 marketing(×1.1) +- 课程学习 easy→medium→hard；Recurrent Policy 捕捉价格趋势 diff --git a/docs/contests/THUAI9/pvp/character/character.md b/docs/contests/THUAI9/pvp/character/character.md index 568a0847..23d85aaa 100644 --- a/docs/contests/THUAI9/pvp/character/character.md +++ b/docs/contests/THUAI9/pvp/character/character.md @@ -43,7 +43,7 @@ ## 效率的影响 -- **采集速度**：实际采集 = 200 × (1 + 效率等级 × 0.2) 单位/秒 +- **采集速度**：实际采集 = 80 × (1 + 效率等级 × 0.2) 单位/秒（每帧 `200/50 = 4` 单位） - **占领速度**：实际占领时间 = 10000 / (1 + 效率等级 × 0.2) ms ## 视野 diff --git a/docs/contests/THUAI9/pvp/intro/rule.md b/docs/contests/THUAI9/pvp/intro/rule.md index 1510ace6..d98c1704 100644 --- a/docs/contests/THUAI9/pvp/intro/rule.md +++ b/docs/contests/THUAI9/pvp/intro/rule.md @@ -30,7 +30,7 @@ |:----:|:--:| | 每帧时长 | 50ms | | 游戏总时长 | 600s | -| 工厂被攻击后停摆时间 | 10s | +| 工厂被攻击后停摆时间 | 1s | | 算力中心占领基础时间 | 10s | | AskAI 超时 | 60s | | 市场事件间隔 | 30s | diff --git a/docs/contests/THUAI9/pvp/map/factory.md b/docs/contests/THUAI9/pvp/map/factory.md index b4f5aed1..94a69508 100644 --- a/docs/contests/THUAI9/pvp/map/factory.md +++ b/docs/contests/THUAI9/pvp/map/factory.md @@ -38,7 +38,7 @@ - 受到攻击时，实际伤害 = `Max(ATK - Robust, 1)` - 攻击方获得 `伤害量 × 20` 分 -- 工厂被攻击后进入 **10 秒停摆**（`CanProduce` 和 `CanRecruit` 均为 false） +- 工厂被攻击后进入 **1s 停摆**（`CanProduce` 和 `CanRecruit` 均为 false） - 工厂被摧毁（HP=0）：攻击方获得 **20000 分**，工厂所属队伍无法再生产/招募 ## 商品生产成本 diff --git a/docs/contests/THUAI9/pvp/map/resource.md b/docs/contests/THUAI9/pvp/map/resource.md index 8c481e51..cd34a908 100644 --- a/docs/contests/THUAI9/pvp/map/resource.md +++ b/docs/contests/THUAI9/pvp/map/resource.md @@ -8,12 +8,12 @@ |:----:|:--:| | 血量 (HP) | 500 | | 半径 | 500 | -| 基础采集速度 | 200/秒 | +| 基础采集速度 | 80/秒（4/帧） | ## 采集 - 条件：角色位于资源格子的**九宫格内** -- 速度：`200 × (1 + 角色效率 × 0.2)` 单位/秒 +- 速度：`80 × (1 + 角色效率 × 0.2)` 单位/秒（每帧 `200/50 = 4` 单位） - 采集的资源（Source）存入己方工厂 - 资源血量归零后变为 `HARVESTED`，不可再采集 - 不同队伍的角色可同时采集同一资源