一:准备软件环境
(一)java jdk1.8
(安装过程略)
(二)mysql 8.0
(安装过程略) 可参考 Windows下安装MySQL(详解)_冷-风-吹的博客-CSDN博客_mysql win
安装完成记得把主机改为%,否则不能远程连接,修改方法参考:
mysql数据库连接报错:is not allowed to connect to this mysql server_鱼大虾的博客-CSDN博客
(三).python
1.下载地址:Python Release Python 2.7.12 | Python
打开上述链接,显示如下:
我的是64位系统,选择图中标红的版本
注意:安装程序下载之后不能放到中文路径下双击安装,必须放到英文路径下才可以。
2.双击下载之后的msi安装程序进行安装,选择“Install just for me(not available on Windows Vista)”,然后点“Next >”,操作截图如下:
3.选择安装路径,用默认的C盘即可,然后点“Next >”,操作截图如下:
4.选择Python所要安装的文件,默认全部即可,然后点“Next >”,操作截图如下:
5.安装过程需要一些时间,过程中会弹出命令行,不用管它,过一会安装完成会自动关闭,显示截图如下:
6.安装完成之后显示如下截图的内容,点击“Finish”即可。
7.将安装的Python添加到环境变量中,右键“我的电脑”(win7系统有的显示是“计算机”)选择“属性”,然后选择“高级系统设置”,操作步骤略;
8.通过快捷键“windows+R”打开“运行”,然后输入“cmd”打开命令行窗口,输入“python -V”命令,回车之后会打印出当前python的版本信息,这就说明我们的Python安装完成,并且配置完环境变量。操作过程及结果截图如下:
(四).datax
1.下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs/datax.tar.gz
下载完成后选择文件夹解压
其中bin目录是脚本目录,job下存放的json文件就是用来运行的。测试:
进入bin目录
python datax.py D:\datax\job\job.json
运行成功
(五).hadoop3.2.2
在使用IDEA编译datax-admin时,需要用到
1.下载地址:https://archive.apache/dist/hadoop/core/hadoop-3.2.2/hadoop-3.2.2.tar.gz
下载后解压至d:盘
2:下载bin中的文件库https://gitcode/mirrors/cdarlint/winutils/-/archive/master/winutils-master.zip
解压其中对应的版本中的文件, 然后拷贝到上面的d:\hadoop-3.2.2\bin中,然后在系统环境变量的path中,加入d:\hadoop-3.2.2\bin
(六)datax-web-master
1.下载地址:
https://gitcode/mirrors/WeiYe-Jing/datax-web/-/archive/master/datax-web-master.zipjhttps://gitcode/mirrors/WeiYe-Jing/datax-web/-/archive/master/datax-web-master.zip
2.创建数据库
解压后,进入bin\data目录下,打开datax-web.sql,进入mysql,新建数据库datax-web, 粘贴代码,生成数据库
3.编译datax-admin和datax-executor
编译前,需要设置环境变量参数
提示: 在使用过程中,尽量在application.yml中使用常量设置. 因为使用变量在调试时可以,但打包发布后,会提示变量错误
4.打包datax-admin和datax-executor
在本地调试通过后,便可以打包进行发布了.maven中选择datax-web,首先双击clean,完成后,双击package.
5.包文件检查
(1)用winrar打开datax-admin-2.1.2.jar, 检查包中的BOOT-INF/classes文件夹下是否有application.yml、bootstrap.properties、logback.xml,如果没有,在winrar中右键,选择"添加文件到压缩文件",将target/classes/下的三个文件添加进来
(2)检查包中BOOT-INF/classes/i18n中,是否存在message.properties和message_en.properties,如果不存在,将datax-admin下的target/classes/i8n下的message.properties和message_en.properties添加进datax-admin-2.1.2.jar下的BOOT-INF\classes\i18n下
(3)将datax-admin下的target/classes/mybatis-mapper下的所有xml文件添加进datax-admin-2.1.2.jar下的BOOT-INF\classes\mybatis-mapper下
(4)检查lib目录,将datax-admin/ src/main/lib/的HiveJDBC41.jar,ojdbc6-11.2.0.3.jar,sqljdbc4-4.0.jar,添加到datax-admin-2.1.2.jar下的BOOT-INF\lib下
注意:补充进的时候需要通过 不压缩直接存储,否则会报错,不识别压缩的驱动jar包
1
2
3
(5)检查datax-executor-2.1.2.jar,将datax-executor编译生成后的target/classes下的配置文件application.yml、logback.xml拷贝进datax-executor-2.1.2.jar下的BOOT-INF\classes下
6.将包拷贝到已部署好环境的服务器.
7.启动datax-admin,在datax-admin目录内新建一个批处理文件startup.bat.
title[datax-web管理]
java -jar datax-admin-2.1.2.jar
保存后双击,即可启动.启动成功界面如下:
8.启动datax-executor,在datax-executor目录内,新建一个批处理文件startup.bat
title[datax-web执行器]
java -jar datax-executor-2.1.2.jar
保存后双击,即可启动,启动成功界面如:
9.打开浏览器, 输入http://127.0.0.1:7700/index.html
至此,部署完毕!
一:准备软件环境
(一)java jdk1.8
(安装过程略)
(二)mysql 8.0
(安装过程略) 可参考 Windows下安装MySQL(详解)_冷-风-吹的博客-CSDN博客_mysql win
安装完成记得把主机改为%,否则不能远程连接,修改方法参考:
mysql数据库连接报错:is not allowed to connect to this mysql server_鱼大虾的博客-CSDN博客
(三).python
1.下载地址:Python Release Python 2.7.12 | Python
打开上述链接,显示如下:
我的是64位系统,选择图中标红的版本
注意:安装程序下载之后不能放到中文路径下双击安装,必须放到英文路径下才可以。
2.双击下载之后的msi安装程序进行安装,选择“Install just for me(not available on Windows Vista)”,然后点“Next >”,操作截图如下:
3.选择安装路径,用默认的C盘即可,然后点“Next >”,操作截图如下:
4.选择Python所要安装的文件,默认全部即可,然后点“Next >”,操作截图如下:
5.安装过程需要一些时间,过程中会弹出命令行,不用管它,过一会安装完成会自动关闭,显示截图如下:
6.安装完成之后显示如下截图的内容,点击“Finish”即可。
7.将安装的Python添加到环境变量中,右键“我的电脑”(win7系统有的显示是“计算机”)选择“属性”,然后选择“高级系统设置”,操作步骤略;
8.通过快捷键“windows+R”打开“运行”,然后输入“cmd”打开命令行窗口,输入“python -V”命令,回车之后会打印出当前python的版本信息,这就说明我们的Python安装完成,并且配置完环境变量。操作过程及结果截图如下:
(四).datax
1.下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs/datax.tar.gz
下载完成后选择文件夹解压
其中bin目录是脚本目录,job下存放的json文件就是用来运行的。测试:
进入bin目录
python datax.py D:\datax\job\job.json
运行成功
(五).hadoop3.2.2
在使用IDEA编译datax-admin时,需要用到
1.下载地址:https://archive.apache/dist/hadoop/core/hadoop-3.2.2/hadoop-3.2.2.tar.gz
下载后解压至d:盘
2:下载bin中的文件库https://gitcode/mirrors/cdarlint/winutils/-/archive/master/winutils-master.zip
解压其中对应的版本中的文件, 然后拷贝到上面的d:\hadoop-3.2.2\bin中,然后在系统环境变量的path中,加入d:\hadoop-3.2.2\bin
(六)datax-web-master
1.下载地址:
https://gitcode/mirrors/WeiYe-Jing/datax-web/-/archive/master/datax-web-master.zipjhttps://gitcode/mirrors/WeiYe-Jing/datax-web/-/archive/master/datax-web-master.zip
2.创建数据库
解压后,进入bin\data目录下,打开datax-web.sql,进入mysql,新建数据库datax-web, 粘贴代码,生成数据库
3.编译datax-admin和datax-executor
编译前,需要设置环境变量参数
提示: 在使用过程中,尽量在application.yml中使用常量设置. 因为使用变量在调试时可以,但打包发布后,会提示变量错误
4.打包datax-admin和datax-executor
在本地调试通过后,便可以打包进行发布了.maven中选择datax-web,首先双击clean,完成后,双击package.
5.包文件检查
(1)用winrar打开datax-admin-2.1.2.jar, 检查包中的BOOT-INF/classes文件夹下是否有application.yml、bootstrap.properties、logback.xml,如果没有,在winrar中右键,选择"添加文件到压缩文件",将target/classes/下的三个文件添加进来
(2)检查包中BOOT-INF/classes/i18n中,是否存在message.properties和message_en.properties,如果不存在,将datax-admin下的target/classes/i8n下的message.properties和message_en.properties添加进datax-admin-2.1.2.jar下的BOOT-INF\classes\i18n下
(3)将datax-admin下的target/classes/mybatis-mapper下的所有xml文件添加进datax-admin-2.1.2.jar下的BOOT-INF\classes\mybatis-mapper下
(4)检查lib目录,将datax-admin/ src/main/lib/的HiveJDBC41.jar,ojdbc6-11.2.0.3.jar,sqljdbc4-4.0.jar,添加到datax-admin-2.1.2.jar下的BOOT-INF\lib下
注意:补充进的时候需要通过 不压缩直接存储,否则会报错,不识别压缩的驱动jar包
1
2
3
(5)检查datax-executor-2.1.2.jar,将datax-executor编译生成后的target/classes下的配置文件application.yml、logback.xml拷贝进datax-executor-2.1.2.jar下的BOOT-INF\classes下
6.将包拷贝到已部署好环境的服务器.
7.启动datax-admin,在datax-admin目录内新建一个批处理文件startup.bat.
title[datax-web管理]
java -jar datax-admin-2.1.2.jar
保存后双击,即可启动.启动成功界面如下:
8.启动datax-executor,在datax-executor目录内,新建一个批处理文件startup.bat
title[datax-web执行器]
java -jar datax-executor-2.1.2.jar
保存后双击,即可启动,启动成功界面如:
9.打开浏览器, 输入http://127.0.0.1:7700/index.html
至此,部署完毕!