架构介绍

OmniShield机密大数据特性是一个大数据引擎Spark的机密计算组件，运行在客户数据中心的TEE环境内，通过在基于硬件的TEE环境中执行计算过程对数据进行加解密，保证数据在REE侧也是安全隐私的。

OmniShield机密大数据作为Spark的机密计算组件，通过Spark提供的插件机制，实现Dataframe和Spark-SQL场景下对CSV、JSON和TXT行式数据源的加解密功能。通过对ORC代码的修改，实现在Spark-SQL场景下对ORC列式数据源加密的功能。

OmniShield机密大数据架构如图1所示。

OmniShield机密大数据特性：

• 提供在DataFrame场景下CSV/JSON/TXT行式数据源加解密的功能，加密算法为AES/GCM/NOPadding，并提供接口支持Hadoop等主流KMS获取密钥。
• 提供在Spark-SQL场景下CSV/JSON/TXT行式数据源加解密的功能，加密算法支持AES/GCM/NOPadding和SM4/GCM/NOPadding，并提供接口支持Hadoop等主流KMS获取密钥。
• 提供在Spark-SQL场景下ORC列式数据源加解密的功能，加密算法为SM4/GCM/NOPadding。