开源仓库

共 8 个仓库 · 按最近更新排序

查看全部 →
AI 应用上线:从原型到部署的完整链路与成本核算,网关、监控、告警一篇讲完

AI 应用上线:从原型到部署的完整链路与成本核算,网关、监控、告警一篇讲完

一句话总结:原型跑通和真正上线之间隔着部署、监控、成本三道坎;这篇文章在本机架了一个最小网关做故障注入实验,把超时怎么设、监控该埋哪些点、告警阈值定多少、API和自建的账怎么算,全部给出可复制的数字。前九篇把零件一个个做出来了:MCP工具、RAG检索、结构化输出、FunctionCalling、Agent...

本地跑模型做应用:Ollama 与 vLLM 部署实战,6GB 显卡能干什么、什么时候必须换引擎

本地跑模型做应用:Ollama 与 vLLM 部署实战,6GB 显卡能干什么、什么时候必须换引擎

一句话总结:本地跑模型的门槛不在技术,在一笔账:7B模型Q4量化后要4.7GB显存,RTX2060这类6GB卡刚好卡在门口;我用这台机器实测了Ollama从安装到出字的全流程,也把「什么时候该换vLLM」的账算清楚了。前八篇都在调API,模型在别人机房。这篇把模型搬回自己机器。理由通常有...

Agent 实战:从工具循环到自己写一个多步任务 Agent,三组实测讲清复利、上下文与跑偏

Agent 实战:从工具循环到自己写一个多步任务 Agent,三组实测讲清复利、上下文与跑偏

一句话总结:Agent的本质是一个while循环加三个干预点。我用2000次模拟实测了步数复利、上下文管理和跑偏纠偏,16步任务单次执行只剩26.4%,ReAct重试能拉回65.3%,而30步长程任务里上下文怎么管,完成率差出近3倍。上一篇讲FunctionCalling,模型会调工具...

Function Calling 实战:schema 军规、三道闸与并发,200 次注入实测全绿之下还有 16.5% 错调

Function Calling 实战:schema 军规、三道闸与并发,200 次注入实测全绿之下还有 16.5% 错调

一句话总结:FunctionCalling的难点不是让模型吐出一次调用,而是让它调对。两套schema实测20个查询差出11个,三道校验闸全部放行的调用里,仍有16.5%是选错了工具。上一篇讲结构化输出,模型能稳定吐JSON之后,下一步自然就是让它调你的接口:查库存、下单、发消息、读数据库。...

结构化输出实战:官方 strict 模式、修复链、反馈重试三层兜底,24 个脏样本实测一次可用率

结构化输出实战:官方 strict 模式、修复链、反馈重试三层兜底,24 个脏样本实测一次可用率

一句话总结:让模型稳定吐出能直接json.loads的JSON,光靠prompt里写一句"请返回JSON"不管用,得靠生成时约束、解析后修复、语义级重试三层防御;本文用24个按文档失败模式构造的脏样本实测,裸解析通过率29.2%,三层全上后期望一次可用率91.0%。做AI应用第一个坎,往往...

大模型 API 工程实践:重试、限流、缓存与成本控制,四个旋钮拧完账单降一半

大模型 API 工程实践:重试、限流、缓存与成本控制,四个旋钮拧完账单降一半

一句话总结:调API谁都会,上线才是考验开始的地方。这篇把重试、限流、缓存、成本四个旋钮各拧一遍,附一个本地重试模拟的真实数据——立即重试策略看起来最快,实际丢了6%的任务还多打了一倍请求。调client.chat.completions.create是一行代码的事。让这一行代码在线上活过一个星期,是另...

RAG 调优实战:切片、召回、重排的参数怎么定,26 个问题跑出三张对照表

RAG 调优实战:切片、召回、重排的参数怎么定,26 个问题跑出三张对照表

一句话总结:把10篇技术文档切成46到14块不等,用26个带标准答案的问题逐个扫参数,最后发现切分甜点是300字符配15%重叠,而纯BM25的MRR居然压过了混合检索——但先别急着改架构,原因在第三节。上一篇(几百行代码搭一个自己的知识库问答)留了个尾巴:demo跑通了,问「MCP...

RAG 实战:几百行代码搭一个自己的知识库问答(Python + SQLite,不碰框架)

RAG 实战:几百行代码搭一个自己的知识库问答(Python + SQLite,不碰框架)

一句话总结:不用LangChain、不用向量数据库,用Python标准库的SQLiteFTS5加一个embedding接口,两百行内搭出「关键词+语义」混合检索的知识库问答,全流程本地跑通,附真实运行结果和一处排序失败的诚实分析。每个做AI应用的人都会撞上同一个问题:模型不知道你公司上周发...

MCP 协议深入:Tools、Resources、Prompts 三种原语怎么设计才不翻车

MCP 协议深入:Tools、Resources、Prompts 三种原语怎么设计才不翻车

一句话总结:上一篇把MCPServer跑起来了,这篇讲怎么设计它的能力边界——三种原语各归其位,工具标注决定客户端的审批松紧,附一个三原语齐全的完整Server代码。Server跑通只是入门。我见过不少人卡在下一步:工具越加越多,模型开始选错;静态数据也包成工具,每次对话先白烧一轮工具调用;该用户点的...

MCP Server 开发实战:从零用 Python 给自己写一个 AI 工具,附完整代码与避坑清单

MCP Server 开发实战:从零用 Python 给自己写一个 AI 工具,附完整代码与避坑清单

一句话总结:这篇用一个下午能跑完的实战项目,带你从零写出第一个MCPServer——从协议背景、十行代码的最小实现,到带参数校验的实用工具、Inspector调试和远程部署,新手最常踩的坑一次讲完。给AI接工具这件事,现在已经不算新鲜了。真正值得说的是背后那套协议:MCP(ModelContextP...