鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

安装Flink

  1. 进入物理机“/usr/local”的目录下,下载Flink软件部署包
    1
    2
    cd /usr/local
    wget  --no-check-certificate https://archive.apache.org/dist/flink/flink-1.16.3/flink-1.16.3-bin-scala_2.12.tgz
    

    Flink软件部署包名称不是flink-1.16.3-bin-scala_2.12.tgz,请根据实际情况修改命令。

  2. “/usr/local”的目录解压flink-1.16.3-bin-scala_2.12.tgz,建立软链接,便于后期版本更换。
    1
    2
    3
    tar -zxvf flink-1.16.3-bin-scala_2.12.tgz
    chown -R root:root flink-1.16.3
    ln -s flink-1.16.3 flink
    

    Flink软件目录名称不是flink-1.16.3,请根据实际情况修改命令。

  3. 配置Flink的masters和workers文件。
    1. 打开“/usr/local/flink/conf/masters”文件。
      1
      vi /usr/local/flink/conf/masters
      
    2. “i”进入编辑模式,将masters内容修改为容器flink_jm_8c32g的容器ID:8081,例如:
      1
      4a376b30106b:8081
      
    3. “Esc”键,输入:wq!,按“Enter”保存并退出编辑。
    4. 打开“/usr/local/flink/conf/workers”文件。
      1
      vi /usr/local/flink/conf/workers
      
    5. “i”进入编辑模式,将workers内容修改为flink_tm1_8c32g、flink_tm2_8c32g容器的容器ID,例如(2个docker容器,每个docker 4个TaskManager配置):
      1
      2
      3
      4
      5
      6
      7
      8
      c3ddf10d0353
      c3ddf10d0353
      c3ddf10d0353
      c3ddf10d0353
      c3bbdbcc1ae1
      c3bbdbcc1ae1
      c3bbdbcc1ae1
      c3bbdbcc1ae1
      
    6. “Esc”键,输入:wq!,按“Enter”保存并退出编辑。
    7. 打开“/usr/local/flink/conf/workers”文件。
      1
      vi /usr/local/flink/conf/flink-conf.yaml
      
    8. “i”进入编辑模式,替换为如下配置,并将jobmanager.rpc.address修改为容器flink_jm_8c32g的容器ID,建议配置的slot总数大于并行度,例如:
      taskmanager.memory.process.size: 8G
      jobmanager.rpc.address: 4a376b30106b
      jobmanager.rpc.port: 6123
      jobmanager.memory.process.size: 8G
      taskmanager.memory.process.size: 8G
      taskmanager.numberOfTaskSlots: 2
      parallelism.default: 16
      rest.port: 8081
      rest.bind-port: 8081
      io.tmp.dirs: /tmp
      #pipeline.operator-chaining: true
      #execution:runtime-mode: STREAMING
      #jobmanager.execution.failover-strategy: region
      #table.optimizer.agg-phase-strategy: ONE_PHASE
      #pipeline.object-reuse: true
      #==============================================================================
      # JVM
      #==============================================================================
      # JVM options for GC
      #env.java.opts: -verbose:gc -XX:NewRatio=3 -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:ParallelGCThreads=4
    9. “Esc”键,输入:wq!,按“Enter”保存并退出编辑。