#成本容量
共 8 篇相关文章
第 15 章 零售与电商:个性化、库存、智能客服与商品理解
本章一句话 :零售/电商是 AI 应用最成熟、数据最丰富的行业之一,FDE 的价值在于把"个性化、库存优化、智能客服、商品理解"这些场景,在客户的真实电商/门店系统里跑通并产生 GMV 与成本价值。 15.1 零售/电商 AI 落地的特征 特征一:数据丰富、闭环短 零售/电商有海量用户行为数据(浏览…
深度专题二 Agent 编排实战:六种拓扑、HITL、状态契约与故障应对
专题定位 :Agent 编排是 2026 年 FDE 的核心技能(本书第 8 章),但"知道有哪些框架"和"能在客户现场把多 Agent 系统跑稳"是两回事。本专题深入编排拓扑、状态契约、HITL 设计、故障应对的实战细节。 一、从"调一个 LLM"到"编排一群 Agent" 单次 LLM 调用是"…
深度专题六 模型部署与推理优化:vLLM、量化与生产级推理
专题定位 :把模型变成"可调用的服务",并让它在客户的算力/成本约束下跑得快、跑得省,是 FDE 的硬功夫。本专题深入推理服务化、量化、性能优化、成本控制。 一、推理服务化:从模型权重到生产 API 模型权重(.safetensors)不能直接被业务调用,要变成"服务"。 推理服务的职责 接收请求(…
深度专题二十 AI 系统可观测性与 SRE
传统软件系统的 SRE 方法论（Google SRE 一书奠定的 SLI/SLO、错误预算、runbook、事故复盘体系）经过二十年沉淀已相当成熟。但当被运维的对象从"确定性函数"变成"概率性语言模型"时，这套方法论必须被重新校准：同样的指标名（延迟、错误率、吞吐）含义发生了漂移，还必须新增一整层"…
深度专题三十二 多模态 AI 落地实战
一、多模态 AI 的 2026 现状 2026 年的"多模态"已经从 2023 年的"文生图 demo 大爆发"走向了一个更冷静、也更工程化的阶段。其特征可以用三句话概括： 生成质量过了"能用"门槛、理解能力过了"准用"门槛、成本过了"敢用"门槛 。 具体来看五条主线： 文生图 全面收敛到三档：闭源…
深度专题三十三 FDE 的云原生与基础设施
一句话定位：FDE 把 AI 系统塞进客户机房的那一刻，"模型好不好"就退居二线，"GPU 调度得动不动、Pod 起得来不起来、向量库撑不撑得住"才决定项目能不能活。云原生与基础设施是 FDE 在 Engineer 阶段绕不开的硬骨头，也是国产化/信创浪潮下最容易被客户"卡脖子"的环节。本专题把传统…
深度专题四十六 大模型应用性能调优实战
性能调优是大模型应用从"能跑通"走向"能用、好用、用得起"的最后一公里。一个 RAG 应用在内部 Demo 里回答延迟 800ms,到了客户生产环境却飙升到 10 秒——这种 12 倍劣化在生产中是常态而非例外,根因往往不是模型本身,而是全链路中某一层没有被正确测量和优化。本专题以 FDE 视角,从…
深度专题五十四 AI 系统的容量规划与成本建模
54.1 为什么容量规划是 FDE 的必备能力 在 FDE（前沿部署工程师）的真实交付现场，最常被客户追问的两个问题是："这套 AI 系统到底要花多少钱？"和"峰值来了扛不扛得住？"这两个问题本质上是同一个问题——容量规划与成本建模。 算力贵是行业级事实。一张 NVIDIA H100（80GB）的按…