# 市场数据页面采集 SOP(Yuce) 适用范围:`hq.yucekj.com` / `yucekj.com` 的市场分析任务(行业/类目/竞品/趋势)。 ## 1. 总体硬规则 1. 只允许访问 `hq.yucekj.com` 与 `yucekj.com`。 2. 先采集证据再出结论,禁止凭记忆输出数字。 3. 每次修改筛选条件(尤其时间周期)后,必须点击一次`查询`再抓取。 4. 结果至少包含: - 2 个页面快照证据 - 1 条请求证据(`yuce-browser requests --filter yucekj.com`) 5. 若出现验证码/二次验证,立即暂停并要求人工处理。 ## 2. 标准执行流程(所有页面通用) 1. 打开站点并确认登录态。 2. 进入目标模块页面(优先首页卡片点击,次选已知 report URL)。 3. 设置筛选:时间周期、类目词(如“书架”)、平台/店铺等。 4. 点击`查询`,等待表格/图表刷新。 5. 抓取基础页面快照。 6. 对目标行执行展开动作(`查看`/`详情`/`更多数据`等),抓取展开页快照。 7. 导出请求证据并与快照一起入档。 8. 按“证据 -> 结论 -> 建议 -> 缺口”输出简报。 ## 3. 页面级采集清单(模块 + 按钮展开) > 字段以页面真实表头为准;以下是最低必采维度。 | 模块 | 主要采集维度(最低) | 常见按钮/展开动作 | 备注 | |---|---|---|---| | 市场洞察 | 市场规模、同比/环比、趋势区间、核心类目 | 查询、切换周期 | 先取总览,再下钻类目 | | 叶子类目分析 | 一级/二级/三级类目、销售额、增速、占比 | `查看`、`详情` | 书架等关键词优先在该页命中 | | 品牌店铺商品热榜 | 品牌/店铺/商品排名、销量/销售额、价格带 | `查看`、`详情` | 热榜可做竞品对标 | | 飙升品榜单 | 飙升商品、增速、店铺、价格段 | `查看`、`详情`、`选择字段` | 常需先勾选字段再确定 | | 品牌布局分析 | 品牌覆盖、价格分布、类目布局 | 查询、明细展开 | 对比头部/腰部品牌 | | 竞店布局分析 | 竞店结构、渠道布局、商品结构 | 查看明细、店铺下钻 | 结合热榜看竞店策略 | | 价格段布局 | 价格带占比、增速、区间分布 | 区间筛选、查询 | 用于定价建议 | | 产品需求分析 | 需求词、需求强度、关联类目 | 查看明细、词下钻 | 与关键词布局联动 | | 需求趋势分析 | 时间序列趋势、峰谷变化 | 切周期、查询 | 必须标注时间范围 | | 关键词布局分析 | 关键词覆盖、词排名、流量/需求信号 | 查看明细、关键词下钻 | 支撑投放与标题优化 | ## 4. 已验证的页面入口(可直达) - 叶子类目分析: `https://hq.yucekj.com/?report-app=0F6A40AFA7D89D1A6C7EE117A96CC8DFDF11BFCDB41223ABDA93283A17D56A9B6548A87026A17EC9D7CC48B4A4A62AA6&scene=M_TB_TAPE_ANALYSIS&report-view=CZqcPFPRsZ` - 品牌店铺商品热榜: `https://hq.yucekj.com/?report-app=0F6A40AFA7D89D1A6C7EE117A96CC8DFDF11BFCDB41223ABDA93283A17D56A9B6548A87026A17EC9D7CC48B4A4A62AA6&scene=M_TB_RANKING_LIST&report-view=hEq4a98B7B` - 市场洞察(行业分布页): `https://hq.yucekj.com/?report-app=0F6A40AFA7D89D1A6C7EE117A96CC8DFDF11BFCDB41223ABDA93283A17D56A9B6548A87026A17EC9D7CC48B4A4A62AA6&scene=M_TB_INSIGHT&tab=M_TB_INDUSTRY_DISTRIBUTION&report-view=sfQrjDMn5l` - 飙升品榜单: `https://hq.yucekj.com/?report-app=0F6A40AFA7D89D1A6C7EE117A96CC8DFDF11BFCDB41223ABDA93283A17D56A9B6548A87026A17EC9D7CC48B4A4A62AA6&scene=M_TB_SURGING_RANK&report-view=CD6nSlf6pC` ## 5. 按钮展开采集逻辑(强制) 1. **行命中规则**:先精确匹配,再做标准化匹配(去空格、全半角统一、符号清洗),最后做包含匹配。 2. **`查看/详情`**: - 点击后等待页面稳定(建议 2-5 秒) - 立刻抓取展开页快照 - 记录是否发生 URL 跳转(含 `jumpingFilter`) 3. **`选择字段/更多数据`**: - 打开字段面板 - 勾选任务所需字段 - 点击`确定` - 再次`查询`并抓快照 4. **分页/滚动**:首屏无目标行时,向下滚动或翻页继续命中,直到达到最大页数或命中成功。 5. **失败回退**: - 先回首页重进模块一次 - 再改用 report URL 直达一次 - 仍失败则输出“当前账号页面未取到”并给出缺口项 ## 6. 证据落盘规范 - 快照:`/tmp/market-sop/..txt` - 点击日志:`/tmp/market-sop/.click..txt` - 请求日志:`/tmp/market-sop/.requests.txt` - 每次任务至少保留: - 1 份基础页快照 - 1 份展开页快照 - 1 份请求日志 ## 7. 输出模板(给市场分析技能) 1. 已抓取证据(模块/字段/值) 2. 核心结论(逐条引用证据) 3. 可执行建议(P1/P2/P3) 4. 风险与缺口(明确“未在当前页面取到”) 5. 下一步(1-3 条) > 备注:市场分析结果不做来源脱敏;保留原始指标表达,禁止改写数值。