Databricks 用 OpenSharing 打通 AWS HealthLake 临床数据:零复制接入与 Genie One 自然语言查询
Databricks 团队描述了一种基于 OpenSharing 的新架构,使 HealthLake 管理的 FHIR 数据无需导出管道即可被 Databricks 直接读取并纳入 Unity Catalog 治理,同时支持通过 Genie One 进行自然语言临床数据探索。
许多医疗机构已将 AWS HealthLake 作为临床数据管理平台,使用 FHIR 标准存储患者记录、观察值和就诊信息。但一个长期存在的架构限制是:HealthLake 的分析表以 Apache Iceberg 格式存放在由 HealthLake 服务自有的 S3 桶中,客户 IAM 角色无法直接读取该桶。这意味着 Unity Catalog 等外部治理工具没有通往底层数据的路径,组织若想在 HealthLake 之外进行分析和 AI 应用,只能构建导出管道将数据复制出来,再在目标平台重新建立治理。
Michael McCarthy、Lily Goldstein 和 Douglas Moore 在 2026 年 11 月 17 日的 Databricks 博客中描述了一种填补这一空白的新方案。核心思路是部署一个自定义 OpenSharing 服务器,以 Databricks App 的形式运行在完全托管的无服务器环境中。当 Databricks 请求某张 HealthLake 表时,该服务器使用 Lake Formation 生成的临时凭证解析表的当前 Iceberg 快照,对数据文件进行预签名,然后以标准 OpenSharing 响应格式返回文件引用。Databricks 计算引擎随后直接从 S3 读取这些预签名文件,数据不经过 OpenSharing 服务器本身。AWS 通过 OIDC 联邦信任 Databricks App 的身份,从而在保护敏感医疗数据的同时实现了零复制访问。
在治理层面,Databricks 将 HealthLake 数据挂载为 Unity Catalog 中的共享目录,如同处理任何其他 OpenSharing 共享。组织可以在 Unity Catalog 中对该临床数据施加授权、细粒度访问控制(FGAC)、基于属性的访问控制(ABAC)和基于角色的访问控制(RBAC),并像审计其他数据资产一样审计访问和使用记录。
该集成的另一层意义在于自然语言探索。共享目录建立后,组织可以在其上配置 Genie One 代理,定义核心临床表、添加通俗描述、教会代理如何解释 A1C 等临床概念。一位临床分析师可以直接提问「A1C 月度趋势如何」,Genie One 理解上下文后找到对应的 Genie 代理,生成 SQL,返回带表格和图表的摘要答案,同时遵守 Unity Catalog 权限。此前需要 SQL 技能或定制仪表盘才能回答的问题,现在可以在数秒内获得结果。
Databricks 团队指出,这一方案使 HealthLake 客户不再局限于 Athena 或 Redshift 作为唯一分析路径,也不必依赖复杂的导出工作流。完整的参考实现已作为 Databricks 行业解决方案仓库发布,以声明式自动化包(Declarative Automation Bundle)形式部署 OpenSharing 服务器。
需要指出的是,上述描述全部来自 Databricks 和 AWS 生态的厂商自述。文章未提供独立基准测试、生产环境延迟数据或第三方验证结果。该架构的实际性能、在大规模 FHIR 数据集上的表现以及跨组织部署的治理成熟度,目前仍属于待验证状态。