AWS SageMaker Unified Studio新增OpenLineage数据血缘,首次覆盖IAM身份体系
摘要: 7月8日,AWS SageMaker Unified Studio将OpenLineage兼容的数据血缘追踪能力扩展至IAM-based域,此前该功能仅限IAM Identity Center环境。新能力可自动捕获Amazon EMR Spark、AWS Glue、SageMaker Visual ETL和Notebook的列级血缘事件,支持交互式血缘图可视化、历史版本对比和DeleteLineageEvent API管理。OpenLineage自定义传输已合入OpenLineage 1.33.0版本,允许外部Spark作业直接向SageMaker端点发送血缘事件。
对数据平台的影响: 这是AWS首次将数据血缘治理能力与IAM身份体系打通,意味着企业可以在现有IAM权限模型下实现自动化列级血缘追踪,无需额外身份基础设施。OpenLineage开源传输的合入使得混合架构(EMR on EC2/EKS + SageMaker)的血缘治理无需自建中间层,降低了全链路数据治理的实施门槛。
Databricks SQL物化视图成本自动归因+Managed Iceberg MVs进入公测
摘要: 7月8日,Databricks SQL物化视图和流表的刷新任务开始自动继承SQL Warehouse的自定义标签,标签传播至system.billing.usage计费表,实现按Warehouse粒度自动归因MV/流表刷新成本。同日,新增_object_metadata隐藏列进入公测(DR 18.1+),可暴露云存储对象的MIME类型、ETag、自定义键值元数据、系统元数据和对象标签。此外,7月7日起Managed Iceberg物化视图进入公测,支持创建外部Iceberg Reader兼容的MV。
对数据平台的影响: 成本自动归因解决了企业级数据平台中长期存在的MV/流表刷新成本无法准确计入业务部门的痛点,是FinOps能力的重要补全。Managed Iceberg MVs公测标志着Databricks在开放格式方向上的持续投入——此前仅Delta格式支持MV,现在Iceberg外部Reader可直接读取Databricks管理的物化视图,降低了开放格式用户的选择壁垒。
Google Gemini API托管代理四项升级:后台执行、远程MCP、凭据刷新、混合工具调用
摘要: 7月8日,Google Gemini API托管代理(Managed Agents)发布四项能力升级:异步后台执行(background:true标志+可轮询task ID)、远程MCP服务器直连(无需自定义代理中间件)、自定义函数调用与内置沙箱工具混合使用(requires_action步骤匹配模式)、跨会话网络凭据刷新(不丢失沙箱状态)。Google将Gemini Interactions API定位为"单端点代理运行时",在隔离云沙箱中一站式处理推理、代码执行、包安装、文件管理和网络检索。
对数据平台的影响: 托管代理的后台执行和远程MCP直连能力降低了Agent与数据基础设施的集成复杂度。对于数据平台而言,这意味Agent可以更可靠地执行长时间数据查询和ETL任务(不再因HTTP超时丢失状态),并通过MCP协议直接访问数据库、数据目录等后端系统,减少中间代理层的运维负担。