flink 1.14.0 部署高可用
5.部署 flink 高可用 (standalone模式)5.1 设置环境变量1Vim /etc/profile 将我的路径改为你自己的 123#flink114export FLINK_HOME=/opt/module/flink114export PATH=$FLINK_HOME/bin:$PATH 记得分发和更新 1source /etc/profile 5.2 配置文件cd 到你解压的 flink114 的目录下 1cd /xxx/xxx/flink114/conf 5.2.1 编辑 flink-conf.xml1234567891011121314151617181920high-availability: zookeeperhigh-availability.storageDir: hdfs://mycluster/flink/hahigh-availability.zookeeper.quorum: master:2181,slave1:2181,slav2:2181high-availability.cluster-id: /flink_clusterh...
hive 3.1.2 部署高可用
4 部署 hive4.1 配置 hive-env.shcd 到你解压的 hive 的目录下 1cd /xxx/xxx/hive312/conf 复制 hive-env.sh.template 为 hive-env.sh 1cp hive-env.sh.template hive-env.sh 编辑 hive-env.sh 在最下面找到并修改 12345HADOOP_HOME=/opt/module/hadoop313export HIVE_CONF_DIR=/opt/module/hive313/confexport HIVE_AUX_JARS_PATH=/opt/module/hive313/lib 4.2 MySQL JDBC驱动程序复制到Hive的lib目录：1wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-8.0.32.tar.gz 1tar -xzf mysql-connector-java-8.0.32.tar.gz 1cp mysql-connector-jav...
Hadoop 3.1.3 部署高可用
3.部署 hadoop 的高可用（HA）（须分发）3.1.解压相关包到要求的位置xxx 代表你的相关位置 1tar -zxvf /xxx/XXX.tar.gz -C /xxx/xxx/xxx 3.2 设置环境变量（须分发）1Vim /etc/profile 复制到 profile 的最底部 12345678#JAVA_HOMEexport JAVA_HOME=/opt/module/jdk18export PATH=$PATH:$JAVA_HOME/bin#HADOOP_HOMEexport HADOOP_HOME=/opt/module/hadoop313export PATH=$PATH:$HADOOP_HOME/binexport PATH=$PATH:$HADOOP_HOME/sbin ![配置profile] 3.3 配置 hadoopcd 到你解压的 Hadoop 的目录下 1cd /xxx/xxx/hadoop 3.3.1 编辑 core-site.xml1vim etc/hadoop/core-site.xml 123456789101112131415...
大数据平台搭建 Hadoop 3.1.3 部署高可用
大数据平台搭建 Hadoop 3.1.3 部署高可用环境： ubuntu 22.04 下载 hadoop 3.1.3 下载 zookeeper 3.5.7 下载 java 1.8 下载 hive 3.1.2 下载 hudi 0.12.0 下载 clickhouse 21.9.4 下载 flume 1.9.0 下载 kafka 2.4.1 下载 spark 3.1.1 下载 flink 1.14.0 下载 redis 6.2.6 下载 hbase 2.2.3 下载 mysql 5.7 下载 ClickHouse 21.9.4 下载 本篇文章较长，以下是各个组件的单个文章 zookeeper为高可用基础 hadoop 3.1.3 高可用部署hive 3.1.2 高可用部署flink 1.14.0 高可用部署 1.前置条件1.1 配置 IP 地址与主机名映射三台主机都需要修改主机名映射 1vim /etc/hosts 1.2 配置 ssh 免密1234ss...