SuifengFlying

公告

欢迎来到我的博客，这里记录生活与技术。

了解更多

493 字

2 分钟

Flink部署

2026-05-09

BigData

/

Flink

/

Deployment

Flink部署文档#

注：Flink部署需要提前将hadoop集群和zookeeper部署完成并启动

环境准备#

下载 Flink 安装包#

1
cd /export/software
2

3
wget -P /export/software/ https://mirrors.huaweicloud.com/apache/flink/flink-1.18.0/flink-1.18.0-bin-scala_2.12.tgz

解压Flink#

1
tar -zxvf flink-1.18.0-bin-scala_2.12.tgz -C /export/servers/
2

3
cd /export/servers
4

5
mv flink-1.18.0 flink

配置环境变量#

1
sudo vim /etc/profile

在文件末尾添加：

1
#Flink环境变量
2
export FLINK_HOME=/export/servers/flink **2**export PATH=$PATH:$FLINK_HOME/bin

刷新环境变量#

1
source /etc/profile

配置Flink#

配置 Hadoop 环境#

1
cd $FLINK_HOME
2

3
mkdir -p conf/hadoop
4

5
cp /export/servers/hadoop/etc/hadoop/core-site.xml conf/hadoop/
6

7
cp /export/servers/hadoop/etc/hadoop/hdfs-site.xml conf/hadoop/

配置 flink-conf.yaml#

1
vim conf/flink-conf.yaml

在文件末尾添加（复制粘贴会将内容全部在原有的基础上再加一层#，注意删除多余#）：

1
# 1.指定高可用模式为 ZooKeeper (利用现有的 zk 集群)
2
high-availability: zookeeper
3

4
# 2. 指定 ZooKeeper 集群地址 (参考文档中 ZooKeeper 章节的配置)
5
high-availability.zookeeper.quorum: hadoop01:2181,hadoop02:2181,hadoop03:2181
6

7
# 3. Flink 元数据在 HDFS 上的存储路径 (注意: mycluster 是你的 HDFS 逻辑名称)
8
high-availability.storageDir: hdfs://mycluster/flink/ha/
9

10
# 4. JobManager 的内存 (根据你的机器配置调整，文档中建议最低 4G 内存)
11
jobmanager.memory.process.size: 2048m
12

13
# 5. TaskManager 的内存和槽位
14
taskmanager.memory.process.size: 4096m
15
taskmanager.numberOfTaskSlots: 4
16

17
# 6. 指定 Hadoop 配置路径 (指向上面复制的文件夹)
18
env.java.opts: "-Dhadoop.user.group.static.mapping.overrides=hadooper:hadooper"

在 HDFS 上创建目录#

注：先按照文档的启动方式启动Hadoop集群再输入下面的指令

1
hdfs dfs -mkdir -p /flink/ha
2

3
hdfs dfs -chown -R hadooper:hadooper /flink

启动与提交任务#

模式一（Per-Job 模式）：#

启动 Flink Session (在 YARN 上)#

1
cd $FLINK_HOME
2

3
./bin/yarn-session.sh -d -jm 1024 -tm 4096 -s 4 -nm flink-on-yarn-session

提交作业#

1
./bin/flink run ./examples/streaming/WordCount.jar

模式二（Application 模式）#

直接将作业提交给 YARN，无需预先启动 Session

1
./bin/flink run-application -t yarn-application ./examples/streaming/WordCount.jar

验证#

查看 YARN Web UI#

打开浏览器访问 http://(hadoop01的IP):8088。你应该能看到一个状态为 RUNNING 的 Application，名字是你在启动命令中指定的（如 flink-on-yarn-session）

查看 Flink Web UI#

这个UI界面在所有任务均完成时是无法打开的，只要YARN中显示正常即可

在浏览器中输入hadoop01的IP加上控制台中显示的端口号访问例如：192.168.1.1:39491