Data+AI 全球日报

🔥 今日最重要的3个变化

数据平台运行时迭代开始以流处理可恢复性和模式灵活性为核心演进方向
安全治理从粗粒度令牌管控走向 API 级别的最小权限控制
流式数据摄取的可观测性能力从黑盒走向生产级错误追踪

总判断：数据平台的基础设施层正在同步强化两个维度：向下，运行时和流引擎的容错与恢复能力持续提升；向上，安全治理和可观测性的粒度持续细化。这两个方向的交汇点是生产环境的可靠性工程。

Top Signals

今日窗口内无符合 A 板块准入标准的重大战略事件。窗口内信息集中在产品版本更新层面，归入 B 板块。

Product & Tech

1. Databricks Runtime 18.2（Beta）发布：Spark 4.1.0 驱动，Structured Streaming 支持倒带重放

来源：Databricks on AWS Release Notes - April 2026

Databricks 4 月 8 日发布 Runtime 18.2（Beta），由 Apache Spark 4.1.0 和 Delta Lake 4.1.0 驱动。关键更新包括：Structured Streaming 支持倒带和重放（从流的较早点重新处理数据以从故障中恢复）、Delta 表原生支持 NullType (VOID) 列、Unity Catalog 强制执行 SQL UDF 依赖验证以防绕过访问控制、AWS SDK v1 依赖 shading 为 v2 迁移做准备。ML 版同步发布，包含 PyTorch 2.9.0、CUDA 12.9、Transformers 4.57.1 等。

对数据平台的影响：Structured Streaming 倒带重放是实时数据管道工程的关键能力缺口补齐——此前从模式变更、数据格式错误中恢复通常需要完全重置状态，现在可以精确回溯至故障点重新处理。Unity Catalog UDF 依赖验证的强制执行表明 Databricks 正在系统性收紧治理层的安全边界。AWS SDK v1 shading 预示着未来版本将全面切换至 v2，使用旧 SDK 的用户应提前准备迁移。

2. Databricks 作用域个人访问令牌（Scoped PAT）正式 GA

来源：Databricks on AWS Release Notes - April 2026

Databricks 4 月 8 日宣布作用域个人访问令牌（Scoped PAT）正式 GA。用户现在可以将 PAT 限制为特定的 API 操作，而非此前的全权限令牌，实现最小权限原则（Principle of Least Privilege）。

对数据平台的影响：对于在 CI/CD 管道、自动化脚本和第三方集成中广泛使用 PAT 的数据团队，作用域限制意味着即使令牌泄露，攻击面也被限定在预设的 API 范围内。这是 Databricks 安全治理体系从"粗粒度"向"细粒度"演进的标志性一步，与企业安全合规要求（SOC 2、HIPAA 等）的对齐度显著提升。

3. Snowflake Snowpipe Streaming 错误日志正式 GA

来源：Snowflake Release Notes

Snowflake 4 月 8 日宣布 Snowpipe Streaming 错误日志功能正式 GA。该功能为 Snowpipe Streaming 引入结构化的错误日志记录能力，使数据工程团队能够追踪和诊断流式摄取过程中的错误。

对数据平台的影响：Snowpipe Streaming 是 Snowflake 实时数据摄取的核心通道，此前流式加载过程中的错误定位依赖间接手段。错误日志 GA 意味着 Snowflake 的流式摄取进入生产级可观测性阶段，对于构建关键业务实时管道的团队，故障排查和 SLA 保障能力获得实质性提升。

Views & Research

今日窗口内无符合准入标准的机构研究或关键人物观点。

Capital & Corporate

今日窗口内无符合准入标准的投融资、财报或收购兼并事件。

Watchlist

跟踪Databricks Runtime 版本演进：Spark 4.1 生态成熟度与 AWS SDK v2 迁移窗口

来源：Databricks Runtime 18.2 Release Notes

为什么值得继续看：Runtime 18.2 中 AWS SDK v1 被 shading 是 v2 全面切换的前奏。依赖旧 SDK 的自定义代码（如直接引用 AWS SDK v1 类的 Spark 作业）将在后续版本中断。同时 Spark 4.1.0 作为 Apache Spark 4.x 系列的第二个次版本，其行为变更的累积效应需要在生产环境中验证。

需要等待什么信号确认：Runtime 18.2 从 Beta 进入 GA 的时间表、AWS SDK v1 完全移除的明确版本预告、Spark 4.1 在其他平台（EMR、Dataproc）的跟进节奏。

📊 Data+AI 全球日报