#开源
-
大语言模型 LLM 推理优化实战:把 7B 模型部署到生产环境,从 80 tok/s 到 2000 tok/s
部署 LLM 到生产,第一关不是训练,是推理性能。同样的 7B 模型,从 80 tok/s 到 2000 tok/s 只需 4 步:vLLM 推理引擎 + AWQ 量化 + Flash Attention + Prefix Caching + Continuous Batching。本文讲清每一步的原理、配置、实测数据与成本模型。
-
行业应用 DuckDB 完全指南:本地跑 PB 级数据,AI 时代的分析数据库
DuckDB 是单机 OLAP 的标杆,速度比 Pandas 快 10-20 倍。本文详解原理、上手、与 AI Agent 集成,以及性能对比与生产部署。
-
AI Agent MCP 协议:AI 工具的"USB-C"统一标准
MCP(Model Context Protocol)是 Anthropic 推出的 AI 工具统一协议,被誉为 AI 时代的 USB-C。本文详解其原理、价值与上手指南。
-
大语言模型 DeepSeek V3 / R1:中国 AI 如何颠覆全球格局
DeepSeek 在 2024-2025 年连续发布 V3、R1 等顶级开源模型。本文深度解读其技术创新、商业影响,以及对中国 AI 产业的启示。