文档HOT
EN
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
提交
在线提单
论坛求助

（可选）执行Spark UDF业务

仅在使用OmniOperator算子加速 UDF功能的情况下，才需要执行Spark UDF业务，执行前需先执行Spark引擎业务。当前的OmniOperator算子加速 UDF插件仅支持Simple UDF，若OmniOperator算子加速 UDF不支持，会回退到原生Spark。

SQL执行、执行计划查看及结果对比方式等，请参见执行Spark引擎业务。

执行步骤请参见执行Spark引擎业务，只需在SparkExtension的Spark-SQL命令行窗口启动命令基础上补充如下命令参数即可。

  • 在spark.driver.extraClassPath参数后追加/opt/omni-operator/lib/boostkit-omniop-udf-1.3.0-aarch64.jar，追加后结果如下。
    1
    --conf spark.driver.extraClassPath=/opt/omni-operator/lib/boostkit-omniop-spark-3.1.1-1.3.0-aarch64.jar:/opt/omni-operator/lib/boostkit-omniop-bindings-1.3.0-aarch64.jar:/opt/omni-operator/lib/boostkit-omniop-udf-1.3.0-aarch64.jar:/opt/omni-operator/lib/dependencies/*
  • 在spark.executor.extraClassPath参数后追加/opt/omni-operator/lib/boostkit-omniop-udf-1.3.0-aarch64.jar，追加后结果如下。
    1
    --conf spark.executor.extraClassPath=/opt/omni-operator/lib/boostkit-omniop-spark-3.1.1-1.3.0-aarch64.jar:/opt/omni-operator/lib/boostkit-omniop-bindings-1.3.0-aarch64.jar:/opt/omni-operator/lib/boostkit-omniop-udf-1.3.0-aarch64.jar:/opt/omni-operator/lib/dependencies/*
  • 添加--jars /opt/omni-operator/lib/boostkit-omniop-udf-1.3.0-aarch64.jar参数。
    1
    --jars /opt/omni-operator/lib/boostkit-omniop-udf-1.3.0-aarch64.jar