openEuler/bigdata移植指南：如何在ARM架构上部署大数据组件

openEuler/bigdata移植指南：如何在ARM架构上部署大数据组件

【免费下载链接】bigdataThis repository contains common information and common tools of bigdata.项目地址: https://gitcode.com/openeuler/bigdata

前往项目官网免费下载：https://ar.openeuler.org/ar/

openEuler/bigdata是一个包含大数据组件通用信息和工具的开源项目，本文将详细介绍如何在ARM架构上部署大数据组件，帮助新手和普通用户快速掌握移植要点。

一、移植前准备：环境要求与工具安装

1.1 硬件环境要求

不同大数据组件对硬件的要求略有差异，但基本配置如下：

• CPU：ARM架构（如鲲鹏920），至少4核
• 内存：至少16GB，推荐32GB以上
• 硬盘：SSD至少40GB，推荐100GB以上
• 网络：可访问外网，建议10GE以太网

1.2 软件环境准备

以openEuler 22.03系统为例，需安装以下基础工具：

# 安装编译工具链 yum -y install gcc.aarch64 gcc-c++.aarch64 make cmake libtool autoconf automake # 安装依赖库 yum -y install openssl-devel zlib-devel snappy-devel java-1.8.0-openjdk-devel.aarch64 # 安装版本控制与构建工具 yum -y install git maven

1.3 环境变量配置

创建统一的环境变量配置文件，方便管理：

# 创建环境变量脚本 vim /etc/profile.d/bigdata.sh # 添加以下内容（根据实际路径调整） export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk export MAVEN_HOME=/opt/maven export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH # 生效配置 source /etc/profile.d/bigdata.sh

二、核心组件移植实战：从编译到部署

2.1 Doris移植：分布式SQL数据仓库

Doris是一款高性能分析型数据仓库，移植步骤如下：

2.1.1 下载源码

git clone https://gitcode.com/openeuler/bigdata.git cd bigdata

2.1.2 编译环境准备

安装第三方依赖：

# 创建工具目录 mkdir -p /opt/tools /opt/software # 安装JDK、Maven、Node.js等（详见Docs/移植指南/doris.md）

2.1.3 编译与验证

修改编译配置并执行构建：

# 设置编译器 export DORIS_TOOLCHAIN=gcc # 开始编译 USE_AVX2=OFF sh build.sh

编译完成后，可通过TPC-H测试验证功能完整性，测试结果示例如下：

2.2 Hadoop移植：分布式存储与计算框架

Hadoop作为大数据生态的基础，移植需重点处理本地库适配：

2.2.1 依赖库编译

针对ARM架构重新编译关键依赖：

• leveldbjni：修改pom.xml屏蔽非ARM平台模块
• wildfly-openssl：修复SSL相关代码适配问题

2.2.2 源码编译

# 编译Hadoop源码 mvn package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/lib64

2.3 Flink移植：流处理引擎

Flink移植需替换x86架构的原生库：

1. 下载Flink源码并修改pom.xml
2. 替换netty-tcnative等依赖为ARM版本
3. 执行编译命令：

mvn clean install -DskipTests -T 32

三、常见问题解决与最佳实践

3.1 编译错误排查

• 依赖下载失败：配置国内Maven镜像（如华为云镜像）
• 架构不兼容：检查第三方库是否提供aarch64版本
• 编译工具版本：确保GCC版本≥10.3.1，CMake≥3.0

3.2 性能优化建议

• JVM参数调整：根据ARM架构特点优化堆内存配置
• 原生库选择：优先使用针对鲲鹏优化的依赖库
• 测试验证：通过TPC-DS等标准测试集验证性能

四、参考文档与资源

• 官方移植指南：Docs/移植指南/目录下包含各组件详细移植步骤
• 测试报告：Docs/测试报告/doris/提供TPC-H/TPC-DS测试结果
• 依赖库下载：建议使用华为云镜像加速ARM架构依赖获取

通过以上步骤，您可以在ARM架构上成功部署openEuler/bigdata项目中的各类大数据组件。如有疑问，可参考项目内详细文档或提交issue获取社区支持。

【免费下载链接】bigdataThis repository contains common information and common tools of bigdata.项目地址: https://gitcode.com/openeuler/bigdata