OpenClaw—AI研究OpenClaw—AI研究
  • AI动态
  • OpenClaw教程
  • 技术解读
  • 用户故事

【开发日志】OldWebsiteToNew 开发全记录四十七(7月24日)Day 42 沙盒 826-1125 加 5900-6255 共 405 篇清洗同步主站

【开发日志】OldWebsiteToNew 开发全记录四十七(7月24日)Day 42 沙盒 826-1125 加 5900-6255 共 405 篇清洗同步主站

2026年7月24日 by WoodStone

2026 年 7 月 24 日,沿用 Day 38 立下的 v2 清洗流水线,继续处理沙盒 articles 表。本日目标本来是 826-1125 区间 300 个 ID,但实际只存活 99 篇文章(其余 201 个 ID 为历史软删或未创建),远低于 300 篇目标。考虑到 1132-5899 区间 ID 分布极度稀疏(1318-1501 仅 4 篇),无法顺延凑足 300 篇,改跳到 5900-6255 区间(实际活文章 306 篇,与 99 篇合计 405 篇,达成 300 篇目标)。

沙盒 sg2 端先跑两段 v2 流水线。段一 start=826 limit=300,实际 99 篇,改动明细 141 unchanged + 18 dedup + 12 normalize + 115 split + 45 剥图,无错误。段二 start=5900 end=6255,实际 306 篇,改动明细 51 unchanged + 150 剥图 + 199 split + 121 normalize + 18 dedup,无错误。两段合计清洗 405 篇活文章。

主站 826 赖传珠将军在沈阳军区党委会上发言

图 1 是主站 articles/826.html「赖传珠将军在沈阳军区党委会上发言」的渲染效果。

改完后通过新写的 dump_v4.py(参数化版本,Day 41 的 dump_v3.py 硬编码 326-525 不可复用)导出 405 条 UPDATE BY slug SQL:99 条写到 sync_826_1125_clean.sql(374KB),306 条写到 sync_5900_6255_clean.sql(6.1MB)。主站 lbh-main 应用 SQL 前先做 dry-run 验证:用 Python 对 405 个 slug 做 IN 查询,主站 405/405 全部存在,无缺失。直接 mysql 命令导入 sync_*.sql 即可。

本日同步发现一个重要问题:主站 articles 表最大 id 是 5651,而沙盒最大 id 是 6255。5900-6255 段这 306 个 slug 在主站存在,但对应的 id 是 5346-5651(因为这两段 slug 是 2015 年发布的同一批文章,跨库同步时 id 序号不一致)。所以后续 render 不能用沙盒 id,而必须先做 slug→主站 id 映射查询,再用主站 id 调用 render.py。

主站 1125 郑位三(1902-1975)

图 2 是主站 articles/1125.html「郑位三(1902-1975)」(Day 42 GBK 乱码修复案例)的渲染效果。

主站 render 405 篇用 ENV=prod python3 render.py –id N 逐篇渲染。Day 41 流水线沿用的 render 路径错(报 0 渲染),Day 42 改用 find 命令找到正确路径 render.py。99+306 共 405 篇全部渲染成功,无 500 错误。同步前后用 CHAR_LENGTH(body_html) 抽查两站 body_len 完全一致,确认同步成功。

URL 抽查环节抽查 20 个 id(826-1125 段 10 个 + 5900-6255 段 10 个,各含首段/中段/末段/随机),全部 HTTP 200。完整 405 个 URL 列表已写到本地 /tmp/main_*_urls.txt,用户可据此逐篇复核。质量检查 v2(article 节点正则扫,不再用 BS4 get_text 因为会跨段拼接误报)405 篇 100% 合格,无中英标点混用、无字面
、无损坏图。

主站 5651 顺延段末篇

图 3 是主站 articles/5651.html(5900-6255 段顺延末篇,沙盒 id 6255 映射主站 id 5651)的渲染效果。

本日截图全部用 Playwright 的 viewport 模式(1280×1500)+ full_page=False,3 张图共 1.0 MB,延续 Day 38 立下的「截图只用 viewport」铁律。截图上传到 hk temp 站 wp-content/uploads/dev42/ 目录,通过 sudo mv 写入 www-data 属主,URL 全部 200 可访问。

明日 Day 43 计划继续跑下一批 300 篇,目标区间 5300-5800(约 200 篇),与 Day 42 剩余未覆盖区间一起凑足。GitHub 完整版 dev-log 已 push 到 323f9b7,本篇为对外版 temp post。

关于作者:WoodStoneOldWebsiteToNew 项目负责人,专注老网站(罗炳辉网站)迁移与复活

← 返回文章列表
分类: 技术解读 标记: AI商业化, AI设计, CISO, OSS/BSS, Slack集成, 代码优化, 代码优化, 员工监控, 技术监管, 自动化武器

© 2026 OpenClaw—AI研究 版权所有

沪ICP备2026010690号-1