type
status
date
slug
summary
tags
category
icon
password
URL
Link
Publish Time
Podcast
Netflix随着产品线的丰富(电影、剧集、游戏、直播、广告等),其背后的系统也日益复杂,导致同一业务概念在不同系统中被重复建模且定义不一致,造成数据质量问题和协作难度。为了解决这些挑战,Netflix推出了UDA(Unified Data Architecture,统一数据架构),通过建立统一的领域模型(domain models)和知识图谱,实现业务概念与数据容器的语义连接和自动化管理。
UDA不仅定义了统一的业务概念模型(Upper语言),还能自动将这些模型转换成GraphQL、Avro等具体技术协议的schema,并支持数据自动流转,极大减少了手工操作和错误。此外,UDA还支持基于知识图谱的搜索和探索,让业务用户能用熟悉的术语轻松找到所需数据。Netflix已经在主数据管理平台(PDM)和自助运营报表工具Sphere中应用了UDA,显著提升了数据治理和业务效率。
技术关键点
- 多系统业务模型不一致问题:不同系统重复建模相同概念,导致定义冲突和数据质量下降。
- UDA的核心目标:建立统一概念模型和知识图谱,实现跨系统语义统一和自动化数据管理。
- Upper语言与知识图谱:Upper是一种专门设计的领域建模语言,UDA基于RDF/SHACL知识图谱来管理模型和数据映射。
- 自动投影与映射:UDA可自动将领域模型转化为GraphQL、Avro等schema,并自动处理数据流转和映射。
- 实际应用案例:
- PDM平台统一管理核心业务术语和分类。
- Sphere工具让业务用户无须技术背景即可自助查询并生成报表。