#可观测性
共 16 篇相关文章
深度专题三十 AI Agent 的评估、测试与红队
30.1 为什么 Agent 比单次 LLM 更需要系统化测试 把一个 RAG 问答系统测好,不等于把一个 Agent 测好。两者之间隔着一条鸿沟,这条鸿沟就是 "自主性带来的状态爆炸" 。 单次 LLM 调用是一次纯函数: prompt → response 。它的失败模式是有限的:幻觉、拒答、格…
深度专题三十三 FDE 的云原生与基础设施
一句话定位：FDE 把 AI 系统塞进客户机房的那一刻，"模型好不好"就退居二线，"GPU 调度得动不动、Pod 起得来不起来、向量库撑不撑得住"才决定项目能不能活。云原生与基础设施是 FDE 在 Engineer 阶段绕不开的硬骨头，也是国产化/信创浪潮下最容易被客户"卡脖子"的环节。本专题把传统…
深度专题三十四 大模型应用架构演进
一句话定位:大模型应用不是"调一次 API"就完事的产品,它是一种会随业务复杂度持续生长的架构形态。从单点调用到企业 AI 中台,每一阶段的拆分都不是为了好看,而是为了把上一阶段爆掉的某个属性——延迟、成本、上下文、权限、可观测——单独拎出来治理。FDE 在客户现场要做的事,就是判断客户当前在哪一阶…
深度专题三十八 FDE 的客户成功与长期运营
38.1 交付完才是开始:为什么长期运营决定 LTV 在 FDE(前沿部署工程师)的实际工作里,有一个被反复验证的反直觉事实: 项目验收签字的那一天,不是价值的终点,而是价值折损的起点 。一个在 PoC 阶段跑通 95% 准确率的反欺诈模型,如果交付后没有持续的运营介入,平均在 6 到 9 个月之内…
深度专题三十九 LLM 安全攻防实战
39.1 为什么 LLM 安全是 FDE 的新战场 传统应用安全的边界是"代码与数据",LLM 应用把这两者搅在一起:用户输入的"自然语言"既是数据又是潜在指令,模型权重是黑箱,工具调用让模型直接持有副作用。一个被 prompt injection 接管的 Agent,等同于把数据库写权限、邮件发送…
深度专题四十二 FDE 现场工具箱(可照抄的命令/脚本/模板速查)
本专题是给 FDE/FDSE 在客户现场"开干"用的速查手册。所有命令、脚本、配置均来自真实交付经验,可直接复制粘贴到任意一台装好基础环境的 Linux/GPU 机器上跑。原则: 先跑通,再优化;先把客户问题压住,再谈架构美化。 一、环境与部署:从一台裸机到 vLLM 可用 1.1 GPU 检测与显…
深度专题四十六 大模型应用性能调优实战
性能调优是大模型应用从"能跑通"走向"能用、好用、用得起"的最后一公里。一个 RAG 应用在内部 Demo 里回答延迟 800ms,到了客户生产环境却飙升到 10 秒——这种 12 倍劣化在生产中是常态而非例外,根因往往不是模型本身,而是全链路中某一层没有被正确测量和优化。本专题以 FDE 视角,从…