DataFrame行式数据源

使用OmniShield机密大数据特性执行Spark引擎业务，需通过启动Spark提交任务执行。

1. 部署相应KMS服务，创建好所需的primary key。例如可以通过以下指令在Hadoop KMS中创建primary key。

   1	hadoop key create key1

2. 在“/opt/omnishield”目录下执行数据源加密的命令如下, 指令执行完成后将生成“/home/en”目录，并存放加密后的simple.csv数据。

   1

   spark-submit --class com.huawei.analytics.shield.utils.Encrypt --master local --conf spark.hadoop.io.compression.codecs=com.huawei.analytics.shield.crypto.CryptoCodec --conf spark.shield.primaryKey.name=key1 --conf spark.shield.primaryKey.key1.kms.type=test.example.HadoopKeyManagementService --jars omnishield-1.0-SNAPSHOT.jar,kms.jar omnishield-1.0-SNAPSHOT.jar -i file:///home/simple.csv -o file:///home/en -a AES/GCM/NOPadding -t csv -e encrypt

3. 在“/opt/omnishield”目录下执行数据源解密的命令如下，指令执行完成后将生成“/home/de”目录，并存放解密后的数据。

   1

   spark-submit --class com.huawei.analytics.shield.utils.Encrypt --master local --conf spark.hadoop.io.compression.codecs=com.huawei.analytics.shield.crypto.CryptoCodec --conf spark.shield.primaryKey.name=key1 --conf spark.shield.primaryKey.key1.kms.type=test.example.HadoopKeyManagementService --jars omnishield-1.0-SNAPSHOT.jar,kms.jar omnishield-1.0-SNAPSHOT.jar -i file:///home/en -o file:///home/de -a AES/GCM/NOPadding -t csv -e decrypt

   

   • spark.shield.primaryKey是指定当前使用的primary key，该key需要提前在KMS中创建生成。
   • spark.shield.primaryKey.key1.kms.type是指定primary key的KMS类型，KMS需要使用者自行按照OmniShield提供的接口实现，该项的值需要指定KMS在kms.jar包中的具体类路径。
   • -i、-o是指定输入和输出的路径，可以是HDFS或者本地文件系统。
     • 当工作模式为加密时，-i指定的是数据源文件，-o指定的是待输出的加密文件夹位置。
     • 当工作模式为解密时，-i指定的已经加密文件的文件夹位置， -o指定的是待输出的解密文件夹位置。
   • -a是指定使用的加密算法，目前只支持AES/GCM/NOPadding。
   • -t是指定数据源文件格式，目前支持CSV/JSON/TXT格式。
   • -e是指定工作模式，encrypt和decrypt分别代表这加密和解密。