导言
模型训练建模不是先问“MFU 有多高”,而是先把模型结构、硬件账本、并行切分、调度路径和实测校准放到同一个估算器里。MFU 是其中最干净的计算口径:它把模型理论必需 FLOPs、设备峰值和实测步时连在一起;但显存能不能放下、通信会不会卡住、padding 是否浪费、EP/TP/SP 是否合适,必须另算。
导言
模型训练建模不是先问“MFU 有多高”,而是先把模型结构、硬件账本、并行切分、调度路径和实测校准放到同一个估算器里。MFU 是其中最干净的计算口径:它把模型理论必需 FLOPs、设备峰值和实测步时连在一起;但显存能不能放下、通信会不会卡住、padding 是否浪费、EP/TP/SP 是否合适,必须另算。
导言
Scaling Law 不只是“模型越大越好”的经验总结,而是一套算力预算分配语言:在固定训练预算下,参数量、训练数据、序列长度和训练时长互相竞争;在固定推理预算下,模型大小、生成 token、采样策略、工具调用和 agent rollout 也互相竞争。本文只记录论文中可追溯的公开披露;没有披露的数据明确标为“未披露”,不从参数规模反推训练成本。
导言
多局点、多任务、多角色同时推进时,真正稀缺的不是勤奋,而是 判断力、取舍能力和可复用记录。均匀响应所有任务只能保证不出明显纰漏,却很难形成个人优势;优势通常来自少数高风险、高杠杆、高不确定、强依赖的局点。
本文把工作链路整理成一个可执行系统:先识别重点风险局点,再拒绝低优先级任务;先快穿刺关键假设,再并行派活和紧跟踪;先用原理、显存、性能 MFU 和投产约束做建模,再用实践验证、详细记录和持续修正形成历史;最后把优势进展、后续风险和必要求助稳定汇报出去。
导言
这篇文章记录我当前的 Work with AI 文档工作流:不是把一段 prompt 扔给模型、得到一篇孤立文章,而是把调研、来源管理、论文图表、正文插图、图片上传、Hugo 写作规范、可复用 skill 和 git 发布串成一个可验证的流水线。
这条流水线的关键变化来自 Karpathy 的 LLM Wiki 思路:把知识库视作一个由 LLM 维护的 Markdown 代码库。原始资料进入 raw 层,结构化理解进入 wiki 层,Hugo 文章只是最终发布层。这样每次写作都会沉淀可复用记忆,而不是从聊天记录里重新发明一次。
Building Large-Scale AI Systems on Ascend: Training, Inference, and Multimodal Optimization
导言
谭邵杰,中国科学技术大学本硕毕业,现任华为昇腾训练开发工程师,专注于 Ascend NPU 上的大模型训练推理框架优化、多模态模型迁移、分布式并行训练、RL 优化与量化推理加速。
AI 训练推理框架与异构加速优化工程师,长期聚焦 Ascend NPU 生态下的大模型训练、推理、多模态迁移、分布式并行、RL 训练与量化优化。
Retrospective Requirements Analysis
导言
在 AI 开发中,新模型、新算法和新高性能技术经常先以原型、算子替换或小范围穿刺的方式完成验证,正式需求分析却落在后面。此时公司流程仍需要一份完整报告,但任务不应是把代码包装成一段“当时早已想清楚”的故事,而应是从需求片段、代码、测试、实验和运行证据中,回溯一条可审计的决策链。
这篇文章给出一套八阶段方法:从立项边界和证据基线开始,依次重建干系人、场景、根因、需求、质量属性、AI 评测、方案权衡、风险、验收与双向追踪。每个阶段都明确输入、方法、输出和评审门,并把事实、推断、假设、决策和缺口分开记录。
最终目标不是“文档齐了”,而是让审查者能够回答:为什么做、为谁做、解决什么、做到什么程度、为什么选这条技术路线、哪些证据已经验证、哪些仍需责任人确认。
导言
分析数据平台、训练平台、日志系统或指标系统时,常见错误不是“不会画图”,而是用一张图回答了它不擅长的问题。DFD 解释数据经过哪里,IPO 解释一个处理如何变换,数据血缘解释结果从何而来,ER 模型解释事实如何持久化,领域模型解释业务规则由谁维护。本文用同一个训练与指标示例拆解五种方法,并给出组合顺序、优劣边界和落地检查表。
导言
业务讨论中最常见的误区,不是图画得不够漂亮,而是用一张图回答了错误的问题。想确认执行步骤,却画满参与者和消息;想追踪订单状态,却用时序图枚举所有异常;想划分责任,却把普通泳道当作 BPMN 执行语义。
本文用同一个“电商订单履约”案例做受控比较:业务事实不变,只改变观察轴。流程图看步骤,BPMN 看参与者、事件和规则,泳道图看责任与系统,状态机看订单生命周期,时序图看系统调用。读完后,应该先能选择合适的图,再决定用什么工具绘制。
Computing Systems Optimization
导言
我的长期职业目标可以收束为一句话:理解软件计算逻辑,把它映射到计算、通信、存储和容量受限的硬件上,通过拆分、掩盖、流水和协同设计提高有效利用率;再把这套理解变成可扩展的性能模型、硬件建议与团队分工。
这不是“会调几个 Kernel”或“熟悉某个训练框架”的目标。我要培养的是从工作负载、系统、软件到硬件的完整判断力:知道数据从哪里来、何时产生、在哪里停留、被谁消费、为什么等待,以及增加哪一种资源才真正缩短端到端关键路径。
导言
我曾把一个看起来很明确的任务交给 AI:阅读 verl 代码,参考已有 GRPO 脚本适配 Kimi3 的减层训练,并在 NPU 上跑通第一个强化学习优化步。两天后,AI 仍在换软件版本、调整层数和重跑 OOM。真正棘手的不是“还没成功”,而是我无法回答领导接下来一定会问的问题:卡在哪里、解决过什么、时间花在哪里、还能不能解决、还要多久、代码是否上仓、中文设计文档在哪里?
这促使我把 Goal 从一句终点描述改造成一个工程控制面:用 goal-definition 先与用户签订任务合同,再让每个 Goal 强制携带 goal-execution,按证据等级执行有界循环。最终目标仍然重要,但每一轮都必须留下新的事实、排除一个原因,或形成一个可交付成果。