最新消息: USBMI致力于为网友们分享Windows、安卓、IOS等主流手机系统相关的资讯以及评测、同时提供相关教程、应用、软件下载等服务。

windows下部署datax

业界 admin 10浏览 0评论

一:准备软件环境

      (一)java jdk1.8

        (安装过程略)

      (二)mysql 8.0

        (安装过程略) 可参考 Windows下安装MySQL(详解)_冷-风-吹的博客-CSDN博客_mysql win

       安装完成记得把主机改为%,否则不能远程连接,修改方法参考:

mysql数据库连接报错:is not allowed to connect to this mysql server_鱼大虾的博客-CSDN博客      

      (三).python

        1.下载地址:Python Release Python 2.7.12 | Python

         打开上述链接,显示如下:

 我的是64位系统,选择图中标红的版本

注意:安装程序下载之后不能放到中文路径下双击安装,必须放到英文路径下才可以。

        2.双击下载之后的msi安装程序进行安装,选择“Install just for me(not available on Windows Vista)”,然后点“Next >”,操作截图如下:

        3.选择安装路径,用默认的C盘即可,然后点“Next >”,操作截图如下: 

        

        4.选择Python所要安装的文件,默认全部即可,然后点“Next >”,操作截图如下: 

        

       5.安装过程需要一些时间,过程中会弹出命令行,不用管它,过一会安装完成会自动关闭,显示截图如下:

        6.安装完成之后显示如下截图的内容,点击“Finish”即可。 

        7.将安装的Python添加到环境变量中,右键“我的电脑”(win7系统有的显示是“计算机”)选择“属性”,然后选择“高级系统设置”,操作步骤略;

        8.通过快捷键“windows+R”打开“运行”,然后输入“cmd”打开命令行窗口,输入“python -V”命令,回车之后会打印出当前python的版本信息,这就说明我们的Python安装完成,并且配置完环境变量。操作过程及结果截图如下:

  (四).datax

    1.下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs/datax.tar.gz

     下载完成后选择文件夹解压

 其中bin目录是脚本目录,job下存放的json文件就是用来运行的。测试:
进入bin目录

python datax.py D:\datax\job\job.json

运行成功 

 (五).hadoop3.2.2

  在使用IDEA编译datax-admin时,需要用到

  1.下载地址:https://archive.apache/dist/hadoop/core/hadoop-3.2.2/hadoop-3.2.2.tar.gz

   下载后解压至d:盘

        

2:下载bin中的文件库https://gitcode/mirrors/cdarlint/winutils/-/archive/master/winutils-master.zip 

解压其中对应的版本中的文件, 然后拷贝到上面的d:\hadoop-3.2.2\bin中,然后在系统环境变量的path中,加入d:\hadoop-3.2.2\bin

 (六)datax-web-master

     1.下载地址:

https://gitcode/mirrors/WeiYe-Jing/datax-web/-/archive/master/datax-web-master.zip​​​​​​jhttps://gitcode/mirrors/WeiYe-Jing/datax-web/-/archive/master/datax-web-master.zip

       

        2.创建数据库

               解压后,进入bin\data目录下,打开datax-web.sql,进入mysql,新建数据库datax-web, 粘贴代码,生成数据库

        3.编译datax-admin和datax-executor

           编译前,需要设置环境变量参数

         

        提示: 在使用过程中,尽量在application.yml中使用常量设置. 因为使用变量在调试时可以,但打包发布后,会提示变量错误

        4.打包datax-admin和datax-executor

    在本地调试通过后,便可以打包进行发布了.maven中选择datax-web,首先双击clean,完成后,双击package.

         5.包文件检查

           (1)用winrar打开datax-admin-2.1.2.jar, 检查包中的BOOT-INF/classes文件夹下是否有application.yml、bootstrap.properties、logback.xml,如果没有,在winrar中右键,选择"添加文件到压缩文件",将target/classes/下的三个文件添加进来

         (2)检查包中BOOT-INF/classes/i18n中,是否存在message.properties和message_en.properties,如果不存在,将datax-admin下的target/classes/i8n下的message.properties和message_en.properties添加进datax-admin-2.1.2.jar下的BOOT-INF\classes\i18n下

        (3)将datax-admin下的target/classes/mybatis-mapper下的所有xml文件添加进datax-admin-2.1.2.jar下的BOOT-INF\classes\mybatis-mapper下 

        (4)检查lib目录,将datax-admin/ src/main/lib/的HiveJDBC41.jar,ojdbc6-11.2.0.3.jar,sqljdbc4-4.0.jar,添加到datax-admin-2.1.2.jar下的BOOT-INF\lib下       

       注意:补充进的时候需要通过 不压缩直接存储,否则会报错,不识别压缩的驱动jar包

1       

                                                                        2

 

3

 

         (5)检查datax-executor-2.1.2.jar,将datax-executor编译生成后的target/classes下的配置文件application.yml、logback.xml拷贝进datax-executor-2.1.2.jar下的BOOT-INF\classes下

    6.将包拷贝到已部署好环境的服务器.

    7.启动datax-admin,在datax-admin目录内新建一个批处理文件startup.bat.   

title[datax-web管理]
java -jar datax-admin-2.1.2.jar

     保存后双击,即可启动.启动成功界面如下:

 8.启动datax-executor,在datax-executor目录内,新建一个批处理文件startup.bat

title[datax-web执行器]
java -jar datax-executor-2.1.2.jar

   保存后双击,即可启动,启动成功界面如:

9.打开浏览器, 输入http://127.0.0.1:7700/index.html

至此,部署完毕! 

一:准备软件环境

      (一)java jdk1.8

        (安装过程略)

      (二)mysql 8.0

        (安装过程略) 可参考 Windows下安装MySQL(详解)_冷-风-吹的博客-CSDN博客_mysql win

       安装完成记得把主机改为%,否则不能远程连接,修改方法参考:

mysql数据库连接报错:is not allowed to connect to this mysql server_鱼大虾的博客-CSDN博客      

      (三).python

        1.下载地址:Python Release Python 2.7.12 | Python

         打开上述链接,显示如下:

 我的是64位系统,选择图中标红的版本

注意:安装程序下载之后不能放到中文路径下双击安装,必须放到英文路径下才可以。

        2.双击下载之后的msi安装程序进行安装,选择“Install just for me(not available on Windows Vista)”,然后点“Next >”,操作截图如下:

        3.选择安装路径,用默认的C盘即可,然后点“Next >”,操作截图如下: 

        

        4.选择Python所要安装的文件,默认全部即可,然后点“Next >”,操作截图如下: 

        

       5.安装过程需要一些时间,过程中会弹出命令行,不用管它,过一会安装完成会自动关闭,显示截图如下:

        6.安装完成之后显示如下截图的内容,点击“Finish”即可。 

        7.将安装的Python添加到环境变量中,右键“我的电脑”(win7系统有的显示是“计算机”)选择“属性”,然后选择“高级系统设置”,操作步骤略;

        8.通过快捷键“windows+R”打开“运行”,然后输入“cmd”打开命令行窗口,输入“python -V”命令,回车之后会打印出当前python的版本信息,这就说明我们的Python安装完成,并且配置完环境变量。操作过程及结果截图如下:

  (四).datax

    1.下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs/datax.tar.gz

     下载完成后选择文件夹解压

 其中bin目录是脚本目录,job下存放的json文件就是用来运行的。测试:
进入bin目录

python datax.py D:\datax\job\job.json

运行成功 

 (五).hadoop3.2.2

  在使用IDEA编译datax-admin时,需要用到

  1.下载地址:https://archive.apache/dist/hadoop/core/hadoop-3.2.2/hadoop-3.2.2.tar.gz

   下载后解压至d:盘

        

2:下载bin中的文件库https://gitcode/mirrors/cdarlint/winutils/-/archive/master/winutils-master.zip 

解压其中对应的版本中的文件, 然后拷贝到上面的d:\hadoop-3.2.2\bin中,然后在系统环境变量的path中,加入d:\hadoop-3.2.2\bin

 (六)datax-web-master

     1.下载地址:

https://gitcode/mirrors/WeiYe-Jing/datax-web/-/archive/master/datax-web-master.zip​​​​​​jhttps://gitcode/mirrors/WeiYe-Jing/datax-web/-/archive/master/datax-web-master.zip

       

        2.创建数据库

               解压后,进入bin\data目录下,打开datax-web.sql,进入mysql,新建数据库datax-web, 粘贴代码,生成数据库

        3.编译datax-admin和datax-executor

           编译前,需要设置环境变量参数

         

        提示: 在使用过程中,尽量在application.yml中使用常量设置. 因为使用变量在调试时可以,但打包发布后,会提示变量错误

        4.打包datax-admin和datax-executor

    在本地调试通过后,便可以打包进行发布了.maven中选择datax-web,首先双击clean,完成后,双击package.

         5.包文件检查

           (1)用winrar打开datax-admin-2.1.2.jar, 检查包中的BOOT-INF/classes文件夹下是否有application.yml、bootstrap.properties、logback.xml,如果没有,在winrar中右键,选择"添加文件到压缩文件",将target/classes/下的三个文件添加进来

         (2)检查包中BOOT-INF/classes/i18n中,是否存在message.properties和message_en.properties,如果不存在,将datax-admin下的target/classes/i8n下的message.properties和message_en.properties添加进datax-admin-2.1.2.jar下的BOOT-INF\classes\i18n下

        (3)将datax-admin下的target/classes/mybatis-mapper下的所有xml文件添加进datax-admin-2.1.2.jar下的BOOT-INF\classes\mybatis-mapper下 

        (4)检查lib目录,将datax-admin/ src/main/lib/的HiveJDBC41.jar,ojdbc6-11.2.0.3.jar,sqljdbc4-4.0.jar,添加到datax-admin-2.1.2.jar下的BOOT-INF\lib下       

       注意:补充进的时候需要通过 不压缩直接存储,否则会报错,不识别压缩的驱动jar包

1       

                                                                        2

 

3

 

         (5)检查datax-executor-2.1.2.jar,将datax-executor编译生成后的target/classes下的配置文件application.yml、logback.xml拷贝进datax-executor-2.1.2.jar下的BOOT-INF\classes下

    6.将包拷贝到已部署好环境的服务器.

    7.启动datax-admin,在datax-admin目录内新建一个批处理文件startup.bat.   

title[datax-web管理]
java -jar datax-admin-2.1.2.jar

     保存后双击,即可启动.启动成功界面如下:

 8.启动datax-executor,在datax-executor目录内,新建一个批处理文件startup.bat

title[datax-web执行器]
java -jar datax-executor-2.1.2.jar

   保存后双击,即可启动,启动成功界面如:

9.打开浏览器, 输入http://127.0.0.1:7700/index.html

至此,部署完毕! 

发布评论

评论列表 (0)

  1. 暂无评论