用”剪枝”思维优化 AI 工作流
这在计算机科学里叫做剪枝。
举个具体的例子:假设你想做一个 TikTok 视频摘要工具。
第一步:让 AI 拆解任务
直接把需求丢给 AI,它会自己拆解任务:要总结视频,先得拿到文本,要拿到文本,就得把视频音频下载下来做转录。
到这一步,AI 会给你两个方案:
- 下载音频后,直接喂给云端模型转录;
- 下载音频后,在本地跑模型转录。
AI 选择了方案二——自动在本地下载了一个语音转文字模型,再通过接口拉取 TikTok 音频,完成转录。
第二步:发现问题,逐步优化
网速够快的话,整个过程很顺,但你会发现转出来的文本质量很差。
你问:为什么结果这么烂?
AI:因为它默认下载的是 base 小模型,想要准确,得换 large 模型。
你下载好 large 模型重跑,质量上来了,速度却又变得很慢。
你问:我机器这么好,为什么还这么慢?
AI:因为当前跑的是 Python 推理,天花板就在这里,想提速得换 C++ 推理框架。
你照着 AI 的指引,重新部署了一套 C++ 推理框架,速度终于飞起来了。
第三步:固化流程
最后,你把整个流程固化成一个脚本:只需丢一个视频链接进去,它就会自动下载音频、自动调用本地 C++ 推理框架 + 语音模型,直接吐出转录文本。
剪枝的价值
这时候你拿它和”直接让 AI 转录”对比一下:
| 方案 | 速度 | 准确率 | Token 消耗 |
|---|---|---|---|
| 直接让 AI 转录 | 慢 | 取决于模型 | 高 |
| 本地 C++ 推理 + 语音模型 | 快 | 不低于 AI | 零 |
你会发现直接用 AI 又慢消耗又大,而把第二种流程固化成脚本之后,速度更快,准确率不低,Token 消耗更是为零。
剪枝的本质是:把 AI 不擅长或者成本高的环节,用更合适的工具替代,只在真正需要智能的环节调用 AI。这和之前讲的”为什么不同人做出的 Skill 差别那么大”是同一个道理——先做技术方案调研,再让 AI 动手。
