EN
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

配置Spark配置文件

  1. “/opt/omni-operator/conf/omni.conf”文件中新增Spark配置内容。
    1. 打开“/opt/omni-operator/conf/omni.conf”文件。
      vim /opt/omni-operator/conf/omni.conf
    2. “i”进入编辑模式,新增关于Spark配置相关内容(推荐配置)。
      # <----Spark template---->
      #数学运算中小数舍入模式,默认为HALF_UP。HALF_UP表示向最接近数字方向舍入,如果与两个相邻数字的距离相等,则向上舍入,就是通常讲的四舍五入。DOWN表示截断,即向零方向舍入。
      RoundingRule=DOWN
      #Decimal操作结果是否检查溢出,默认为NOT_CHECK_RESCALE。CHECK_RESCALE表示检查溢出,NOT_CHECK_RESCALE表示不检查溢出。
      CheckReScaleRule=CHECK_RESCALE
      #Replace操作中,对待空字符是否替换,默认为REPLACE。REPLAEC表示替换,NOT_REPLANOT_REPLACE表示不替换。
      #例如,InputStr="apple", ReplaceStr="*", SearchStr="",openLooKeng会将字母中间的空字符替换,得到OutputStr="*a*p*p*l*e*"。Spark则不替换,得到OutputStr="apple"。
      EmptySearchStrReplaceRule=NOT_REPLACE
      #Decimal转Double过程中,c++直接转换或先转为字符串再进行转换,默认为CAST。CAST表示直接转换,CONVERT_WITH_STRING表示先转为字符串再进行转换。
      CastDecimalToDoubleRule=CONVERT_WITH_STRING
      #Substr操作中,负数索引超出最小索引,直接返回空串或仍继续取字符串,默认为EMPTY_STRING。EMPTY_STRING表示返回空串,INTERCEPT_FROM_BEYOND表示继续取字符串。
      #例如,str="apple", strLength=5, startIndex=-7, subStringLength=3。 字符串长度为5,从索引-7的位置取3个字符。"apple"长度为5,最小负数索引为-4,由于-7小于-4,OLK直接返回空串,Spark则仍从-7的位置取3个字符后仍继续取字符串,直到取到值"a"后返回
      NegativeStartIndexOutOfBoundsRule=INTERCEPT_FROM_BEYOND
      #是否支持ContainerVector,默认为SUPPORT。SUPPORT表示支持,NOT_SUPPORT表示不支持。
      SupportContainerVecRule=NOT_SUPPORT
      #字符串转Date过程中,是否支持降低精度,默认为NOT_ALLOW_REDUCED_PRECISION。NOT_ALLOW_REDUCED_PRECISION表示不允许降低精度,ALLOW_REDUCED_PRECISION表示允许降低精度。
      #例如,openLooKeng必须完整书写ISO日期扩展格式,不能省略Month和Day,如1996-02-08。Spark支持省略Month和Day,如1996-02-28, 1996-02, 1996都支持。
      StringToDateFormatRule=ALLOW_REDUCED_PRECISION
      #VectorBatch是否包含filter column,默认为NO_EXPR。NO_EXPR表示不包含filter column,EXPR_FILTER表示包含filter column。
      SupportExprFilterRule=EXPR_FILTER
      #在substr运算时,默认为IS_NOT_SUPPORT,表示不支持startIndex=0时从第一个元素开始取,因为默认起始索引从1开始,若起始索引为0,默认返回空字符串,为IS_SUPPORT时,表示支持substr函数在startIndex=0时支持从第一个元素开始取。
      ZeroStartIndexSupportRule=IS_SUPPORT
    3. “Esc”键,输入:wq!,按“Enter”保存并退出编辑。