#推理优化
共 8 篇相关文章
第 9 章 驻场工程化技术栈:LLM 选型 / RAG / Agent / 推理 / 量化 / 可观测
本章一句话 :FDE 在客户现场要搭一个能跑的 AI 系统,靠的是一套从模型到可观测的七层技术栈;本章给出 2026 年生产级选型与可照抄的命令/配置。 9.1 技术栈全景图:七层 一个完整的企业 AI 系统,FDE 需要打通七层技术栈: FDE 不需要在每层都是专家,但必须能" 端到端打通 "——…
深度专题六 模型部署与推理优化:vLLM、量化与生产级推理
专题定位 :把模型变成"可调用的服务",并让它在客户的算力/成本约束下跑得快、跑得省,是 FDE 的硬功夫。本专题深入推理服务化、量化、性能优化、成本控制。 一、推理服务化:从模型权重到生产 API 模型权重(.safetensors)不能直接被业务调用,要变成"服务"。 推理服务的职责 接收请求(…
深度专题二十二 边缘 AI 与端侧部署实战
一句话定义：边缘 AI / 端侧部署，是把模型从云端的 GPU 集群下沉到"靠近数据产生与决策发生的位置"——工厂产线盒、门店收银机、车载域控、甚至手机和 PC 本机——以换得低延迟、断网可用、数据不出域、单位推理成本可控这四件云端很难同时给的东西。它的核心矛盾不是"能不能跑"，而是"在瓦特级功耗、…
深度专题二十五 FDE 工具链生态全景(2026)
一句话定位:FDE 的现场交付能力,本质是用"七层工具栈 + 一张选型速查表"把客户业务问题压成可上线的系统。本专题按"模型 → 推理 → 检索 → 编排 → 数据 → 评估可观测 → MLOps → 低代码 → 部署"九层,给真实工具清单、定位与选型建议。 25.1 为什么 FDE 必须有一张工具…
深度专题三十三 FDE 的云原生与基础设施
一句话定位：FDE 把 AI 系统塞进客户机房的那一刻，"模型好不好"就退居二线，"GPU 调度得动不动、Pod 起得来不起来、向量库撑不撑得住"才决定项目能不能活。云原生与基础设施是 FDE 在 Engineer 阶段绕不开的硬骨头，也是国产化/信创浪潮下最容易被客户"卡脖子"的环节。本专题把传统…
深度专题四十二 FDE 现场工具箱(可照抄的命令/脚本/模板速查)
本专题是给 FDE/FDSE 在客户现场"开干"用的速查手册。所有命令、脚本、配置均来自真实交付经验,可直接复制粘贴到任意一台装好基础环境的 Linux/GPU 机器上跑。原则: 先跑通,再优化;先把客户问题压住,再谈架构美化。 一、环境与部署:从一台裸机到 vLLM 可用 1.1 GPU 检测与显…
深度专题四十六 大模型应用性能调优实战
性能调优是大模型应用从"能跑通"走向"能用、好用、用得起"的最后一公里。一个 RAG 应用在内部 Demo 里回答延迟 800ms,到了客户生产环境却飙升到 10 秒——这种 12 倍劣化在生产中是常态而非例外,根因往往不是模型本身,而是全链路中某一层没有被正确测量和优化。本专题以 FDE 视角,从…
深度专题五十四 AI 系统的容量规划与成本建模
54.1 为什么容量规划是 FDE 的必备能力 在 FDE（前沿部署工程师）的真实交付现场，最常被客户追问的两个问题是："这套 AI 系统到底要花多少钱？"和"峰值来了扛不扛得住？"这两个问题本质上是同一个问题——容量规划与成本建模。 算力贵是行业级事实。一张 NVIDIA H100（80GB）的按…