USB迷 | 专注于互联网分享

    最新消息： USBMI致力于为网友们分享Windows、安卓、IOS等主流手机系统相关的资讯以及评测、同时提供相关教程、应用、软件下载等服务。
    你的位置： 首页 > 业界 > ambari2.6.0 安装 HDP2.6.3 离线安装

    ambari2.6.0 安装 HDP2.6.3 离线安装

    业界 admin 2浏览 0评论

    2019独角兽企业重金招聘Python工程师标准>>>

    先简单认识认识一下ambari是个啥

    百度百科：Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。 Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。

    简单的说ambari就是专门用来集成、管理、监控Hadoop集群的web工具（是不是感觉特牛逼）

    闲话不多说，现在开始安装，我这里是用的VMware虚拟机安装的centos7，如果centos不会安装，就出门右转

    一、准备工作

    1、下载工具

    HDP：http://public-repo-1.hortonworks/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.3.0-centos7-rpm.tar.gz

    ambari：http://public-repo-1.hortonworks/ambari/centos7/2.x/updates/2.6.0.0/ambari-2.6.0.0-centos7.tar.gz

    HDP-UTILS：http://public-repo-1.hortonworks/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz

    jdk：jdk1.8

    linux：centos7

    2、准备好一台处女centos7

    3、修改hostname为master

    vim /etc/hostname

    4、关闭防火墙，并禁止开机启动

    systemctl stop firewalld
systemctl disable firewalld

    5、关闭SElinux

    vim /etc/selinux/config

    将SELINUX=enforcing改为SELINUX=disabled

    6、安装jdk，把下载好的jdk放大Linux中，我这里用的Linux挂在windows共享目录

    点击转入：https://my.oschina/u/2258281/blog/124825

    7、设置UMASK

    echo umask 0022 >> /etc/profile

    8、如果安装了PackageKit，需要设置启动，默认情况下，Debian，SLES或Ubuntu系统上未启用PackageKit，未安装的跳过

    vim /etc/yum/pluginconf.d/refresh-packagekit.conf

    enabled=0

    9、安装ntp服务，这里是使用网络的时间服务器，请转向这里 https://blog.csdn/zzy5066/article/details/79036674

    10、配置python的http验证

    vim /etc/python/cert-verification.cfg

    [https]

    verify=disable

    11、关闭虚拟机，关闭虚拟机，克隆另外一个子节点，这样的好处是上面的基础设置不需要在另一个自节点重新配置

    12、设置子节点Linux的hostname为node1

    13、配置hosts，所有节点都需要配置，我这里只弄了两个节点master和node1

    vim /etc/hosts

    添加

    192.186.1.19 master

    192.186.1.24 node1

    13、配置免秘钥ssh登录，两个节点都需要配置，配置方法转向这里 https://blog.csdn/leelian_jason/article/details/53242473

    14、master节点安装 Apache HTTP 服务器

    yum install httpd

    启动http服务，并设置http服务开机启动

    systemctl start httpd.service
systemctl enable httpd.service

    二、制作本地源

    1、在/var/www/html目录下创建ambari文件夹,把下载好的ambari-2.6.0.0-centos7.tar.gz，ambari-2.6.0.0-centos7.tar.gz，HDP-UTILS-1.1.0.21-centos7.tar.gz放到Linux /var/www/html/ambari 目录下面

    创建/var/www/html/ambari目录下创建HDP-UTILS目录

    mkdir HDP-UTILS

    解压文件

    tar -zxvf ambari-2.6.0.0-centos7.tar.gz
tar -zxvf HDP-2.6.3.0-centos7-rpm.tar.gz
tar -zxvf HDP-UTILS-1.1.0.21-centos7.tar.gz -C HDP-UTILS

    2、安装本地源工具

    yum install yum-utils createrepo yum-plugin-priorities -y

createrepo  .

    3、配置ambari.repo和hdp.repo

    /var/www/html/ambari/ambari/centos7/2.6.0.0-267/ambari.repo /var/www/html/ambari/HDP/centos7/2.6.3.0-235/hdp.repo

    把红色的位置，修改成自己本地的地址，可以在浏览器上访问以下，看是否能访问的到

    4、把ambari.repo和hdp.repo复制到/etc/yum.repos.d/下

    cp ambari/centos7/2.6.0.0-267/ambari.repo /etc/yum.repos.d/

cp HDP/centos7/2.6.3.0-235/hdp.repo /etc/yum.repos.d/

    三、安装ambari-server

    1、清除yum缓存

    yum clean all
yum makecache
yum repolist

    2、安装ambari-server

    yum -y install ambari-server

    安装好后这里先不配置ambari，先打开/var/lib/ambari-server/resources/Ambari-DDL-Postgres-CREATE.sql文件，把里面字段的长度从255改成1000,100改成300,32的改成100，防止安装时出现长度不够的情况

    3、配置ambari

    ambari-server setup

    4、先不启动ambari-server，这里先配置ambari默认的pgsql外部可访问

    vim /var/lib/pgsql/data/pg_hba.conf

    添加红色的部分

    4、配置ambari pgsql的jdbc,下载地址 https://jdbc.postgresql/download/postgresql-42.2.5.jar 把下载的jar文件放到/var/lib/ambari-server目录中

    vim /etc/ambari-server/conf/ambari.properties

    添加server.jdbc.driver.path=/var/lib/ambari-server/postgresql-42.2.5.jar

    5、启动ambari-server

    ambari-server start

    启动完成后，然后用Navicat打开pgsql就能看到ambari创建ambari数据及表了

    四、配置HDP集群

    1、访问http://192.168.1.19:8080 使用默认账户登录，admin/admin

    2、登录后配置添加集群

    设置集群名称

    HDP版本选择安装的版本

    镜像源选择本地源

    配置集节点，这里只有一个节点node1，秘钥文件选择id_rsa,此文件在master机器 /root/.ssh/目录下面

    现在等它安装注册成功就好了

    接下来，选择需要安装的组件就行，我这里虚拟机内存较小，只安装了HDFS和yarn

    接下一直点下一步就行了，遇到这种情况不用担心，这只是让你配置密码，你配置好就行了

    然后接着下一步

    等待安装就行了

    在长达半个多世纪的等待终于安装完成了

    五、错误回顾

    1、在注册ambari-agent时遇到如下错误

    NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:579) NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions.

    解决方案，打开子节点的ambari-agent.ini文件

    vim /etc/ambari-agent/conf/ambari-agent.ini

    在 ［security］增加一项

    force_https_protocol=PROTOCOL_TLSv1_2

    然后重启ambari-agent

    ambari-agent restart

    2、如果按照1中的方式配置了amabri-angent还是出现ssl错误，重新配置ambari-server，在选择jdk时，不要配置自己的jdk，利用ambar-server下载配置jdk

    3、节点注册安装成功后一直是 Please wait while the hosts are being checked for potential problems...，清除浏览器缓存，顺序执行下面命令

    ambari-server stop
ambari-server reset
ambari-server start

    六、总结

    ambari安装过程中，出错是正常的，错误也是特别多，淡定对待，注意看错误日志，根据错误日志，解决问题，才是正确的

    日志文件位置：/var/log/ambari-server/ambari-server.log

    转载于:https://my.oschina/u/2258281/blog/2981096

    2019独角兽企业重金招聘Python工程师标准>>>

    先简单认识认识一下ambari是个啥

    百度百科：Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。 Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。

    简单的说ambari就是专门用来集成、管理、监控Hadoop集群的web工具（是不是感觉特牛逼）

    闲话不多说，现在开始安装，我这里是用的VMware虚拟机安装的centos7，如果centos不会安装，就出门右转

    一、准备工作

    1、下载工具

    HDP：http://public-repo-1.hortonworks/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.3.0-centos7-rpm.tar.gz

    ambari：http://public-repo-1.hortonworks/ambari/centos7/2.x/updates/2.6.0.0/ambari-2.6.0.0-centos7.tar.gz

    HDP-UTILS：http://public-repo-1.hortonworks/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz

    jdk：jdk1.8

    linux：centos7

    2、准备好一台处女centos7

    3、修改hostname为master

    vim /etc/hostname

    4、关闭防火墙，并禁止开机启动

    systemctl stop firewalld
systemctl disable firewalld

    5、关闭SElinux

    vim /etc/selinux/config

    将SELINUX=enforcing改为SELINUX=disabled

    6、安装jdk，把下载好的jdk放大Linux中，我这里用的Linux挂在windows共享目录

    点击转入：https://my.oschina/u/2258281/blog/124825

    7、设置UMASK

    echo umask 0022 >> /etc/profile

    8、如果安装了PackageKit，需要设置启动，默认情况下，Debian，SLES或Ubuntu系统上未启用PackageKit，未安装的跳过

    vim /etc/yum/pluginconf.d/refresh-packagekit.conf

    enabled=0

    9、安装ntp服务，这里是使用网络的时间服务器，请转向这里 https://blog.csdn/zzy5066/article/details/79036674

    10、配置python的http验证

    vim /etc/python/cert-verification.cfg

    [https]

    verify=disable

    11、关闭虚拟机，关闭虚拟机，克隆另外一个子节点，这样的好处是上面的基础设置不需要在另一个自节点重新配置

    12、设置子节点Linux的hostname为node1

    13、配置hosts，所有节点都需要配置，我这里只弄了两个节点master和node1

    vim /etc/hosts

    添加

    192.186.1.19 master

    192.186.1.24 node1

    13、配置免秘钥ssh登录，两个节点都需要配置，配置方法转向这里 https://blog.csdn/leelian_jason/article/details/53242473

    14、master节点安装 Apache HTTP 服务器

    yum install httpd

    启动http服务，并设置http服务开机启动

    systemctl start httpd.service
systemctl enable httpd.service

    二、制作本地源

    1、在/var/www/html目录下创建ambari文件夹,把下载好的ambari-2.6.0.0-centos7.tar.gz，ambari-2.6.0.0-centos7.tar.gz，HDP-UTILS-1.1.0.21-centos7.tar.gz放到Linux /var/www/html/ambari 目录下面

    创建/var/www/html/ambari目录下创建HDP-UTILS目录

    mkdir HDP-UTILS

    解压文件

    tar -zxvf ambari-2.6.0.0-centos7.tar.gz
tar -zxvf HDP-2.6.3.0-centos7-rpm.tar.gz
tar -zxvf HDP-UTILS-1.1.0.21-centos7.tar.gz -C HDP-UTILS

    2、安装本地源工具

    yum install yum-utils createrepo yum-plugin-priorities -y

createrepo  .

    3、配置ambari.repo和hdp.repo

    /var/www/html/ambari/ambari/centos7/2.6.0.0-267/ambari.repo /var/www/html/ambari/HDP/centos7/2.6.3.0-235/hdp.repo

    把红色的位置，修改成自己本地的地址，可以在浏览器上访问以下，看是否能访问的到

    4、把ambari.repo和hdp.repo复制到/etc/yum.repos.d/下

    cp ambari/centos7/2.6.0.0-267/ambari.repo /etc/yum.repos.d/

cp HDP/centos7/2.6.3.0-235/hdp.repo /etc/yum.repos.d/

    三、安装ambari-server

    1、清除yum缓存

    yum clean all
yum makecache
yum repolist

    2、安装ambari-server

    yum -y install ambari-server

    安装好后这里先不配置ambari，先打开/var/lib/ambari-server/resources/Ambari-DDL-Postgres-CREATE.sql文件，把里面字段的长度从255改成1000,100改成300,32的改成100，防止安装时出现长度不够的情况

    3、配置ambari

    ambari-server setup

    4、先不启动ambari-server，这里先配置ambari默认的pgsql外部可访问

    vim /var/lib/pgsql/data/pg_hba.conf

    添加红色的部分

    4、配置ambari pgsql的jdbc,下载地址 https://jdbc.postgresql/download/postgresql-42.2.5.jar 把下载的jar文件放到/var/lib/ambari-server目录中

    vim /etc/ambari-server/conf/ambari.properties

    添加server.jdbc.driver.path=/var/lib/ambari-server/postgresql-42.2.5.jar

    5、启动ambari-server

    ambari-server start

    启动完成后，然后用Navicat打开pgsql就能看到ambari创建ambari数据及表了

    四、配置HDP集群

    1、访问http://192.168.1.19:8080 使用默认账户登录，admin/admin

    2、登录后配置添加集群

    设置集群名称

    HDP版本选择安装的版本

    镜像源选择本地源

    配置集节点，这里只有一个节点node1，秘钥文件选择id_rsa,此文件在master机器 /root/.ssh/目录下面

    现在等它安装注册成功就好了

    接下来，选择需要安装的组件就行，我这里虚拟机内存较小，只安装了HDFS和yarn

    接下一直点下一步就行了，遇到这种情况不用担心，这只是让你配置密码，你配置好就行了

    然后接着下一步

    等待安装就行了

    在长达半个多世纪的等待终于安装完成了

    五、错误回顾

    1、在注册ambari-agent时遇到如下错误

    NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:579) NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions.

    解决方案，打开子节点的ambari-agent.ini文件

    vim /etc/ambari-agent/conf/ambari-agent.ini

    在 ［security］增加一项

    force_https_protocol=PROTOCOL_TLSv1_2

    然后重启ambari-agent

    ambari-agent restart

    2、如果按照1中的方式配置了amabri-angent还是出现ssl错误，重新配置ambari-server，在选择jdk时，不要配置自己的jdk，利用ambar-server下载配置jdk

    3、节点注册安装成功后一直是 Please wait while the hosts are being checked for potential problems...，清除浏览器缓存，顺序执行下面命令

    ambari-server stop
ambari-server reset
ambari-server start

    六、总结

    ambari安装过程中，出错是正常的，错误也是特别多，淡定对待，注意看错误日志，根据错误日志，解决问题，才是正确的

    日志文件位置：/var/log/ambari-server/ambari-server.log

    转载于:https://my.oschina/u/2258281/blog/2981096

    继续浏览有关 的文章

    与本文相关的文章

    发布评论

    评论列表 (0)

    1. 暂无评论