Google Cloud AlloyDB 推出数据库内 AI 推理加速:smart batching 实现 2,400x 吞吐提升,代理模型降低 6,000x 成本
Google Cloud 在 AlloyDB 中新增三个 AI 函数(ai.summarize、ai.agg_summarize、ai.analyze_sentiment),并将四个既有函数(ai.generate、ai.rank、ai.if、ai.forecast)推进至 GA。关键突破在于两项性能优化:Smart Batching 将重复 prompt 合并,内部测试吞吐提升 2,400 倍(最高 10,000 行/秒);针对 ai.if 的优化模式则训练轻量代理模型替代大模型调用,实现 100,000 行/秒吞吐、成本降低 6,000 倍。这一方向表明,数据库内 AI 推理正在从单条 SQL 调用 LLM 的"能跑"阶段,进入批处理+代理模型解决成本与延迟瓶颈的"能上生产"阶段——不再依赖外部数据流水线,推理直接在数据库引擎内闭环完成。