最新消息: USBMI致力于为网友们分享Windows、安卓、IOS等主流手机系统相关的资讯以及评测、同时提供相关教程、应用、软件下载等服务。

datax

IT圈 admin 9浏览 0评论

datax

前言:目前在windows上只能以开发者模式部署

开发环境:
Windows10 专业版
Idea 2019.3
在win10上以开发者模式部署datax-web

一,解压DataX在Linux上,然后下载datax.py到windows


从虚拟机上弄下来之后把它放在你datax-web的目录下。

二、下载Datax-web

在github上搜datax-web,出来这个就是:
我们选择2.1.2版本
使用git或者打包下载都可以

三、解压,配置MySQL数据库

解压后是上面那个样子,首先运行需要一个本地的MySQL数据库
E:\environment\datax-web-2.1.2\bin\db\datax_web.sql
解压后的目录里bin目录的db目录下有个datax_web.sql
打开之后可以看到,它只有建表语句,没有建库语句,而数据库名是datax_web

这里我们给它加两行:

CREATE DATABASE datax_web;
USE datax_web;

然后运行整个sql文件,把数据库建好(我的是MySQL8.0版本的运行这个脚本没报错)

四、修改application.yml

位置是:
E:\environment\datax-web-2.1.2\datax-admin\src\main\resources\application.yml

server:port: 8080#port: ${server.port}
spring:#数据源datasource:username: rootpassword: rooturl: jdbc:mysql://localhost:3306/datax_web?serverTimezone=Asia/Shanghai&useLegacyDatetimeCode=false&useSSL=false&nullNamePatternMatchesAll=true&useUnicode=true&characterEncoding=UTF-8#password: ${DB_PASSWORD:password}#username: ${DB_USERNAME:username}#url: jdbc:mysql://${DB_HOST:127.0.0.1}:${DB_PORT:3306}/${DB_DATABASE:dataxweb}?serverTimezone=Asia/Shanghai&useLegacyDatetimeCode=false&useSSL=false&nullNamePatternMatchesAll=true&useUnicode=true&characterEncoding=UTF-8driver-class-name: com.mysql.jdbc.Driver
  # datax-web emailmail:host: smtp.qqport: 25#username: xxx@qq#password: xxxusername: xxx@qqpassword: xxx

(把XXX换成你没用的QQ,防止被盗)

  level:com.wugui.datax.admin.mapper: info
path: ./data/applogs/admin

修改另一个application.yml
位置是:E:\environment\datax-web-2.1.2\datax-executor\src\main\resources\application.yml

# web port
server:#port: ${server.port}port: 8081
# log config
logging:config: classpath:logback.xml#path: ${data.path}/applogs/executor/jobhandlerpath: ./data/applogs/executor/jobhandler
datax:job:admin:### datax admin address list, such as "http://address" or "http://address01,http://address02"addresses: http://127.0.0.1:8080#addresses: http://127.0.0.1:${datax.admin.port}executor:appname: datax-executorip:port: 9999#port: ${executor.port:9999}### job log pathlogpath: ./data/applogs/executor/jobhandler#logpath: ${data.path}/applogs/executor/jobhandler### job log retention dayslogretentiondays: 30### job, access tokenaccessToken:executor:jsonpath: D:\\temp\\executor\\json\\#jsonpath: ${json.path}pypath: E:\environment\datax-web-2.1.2\datax.py#pypath: ${python.path}

接下来可以运行了,运行datax-admin目录下的DataXAdminApplication,输出如下内容:

但是你可能会出现如下错误,就是因为你没在windows上安装hadoop
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
只需要在这里下载:
hadoop-2.7.3/bin 目录里的所有文件,放到你磁盘的某个目录下,然后设置环境变量
HADOOP_HOME之后重启你的开发工具,这个报错就会消失。
这个报错本身不影响运行,只是看着不舒服。

再运行datax-executor下的DataXExecutorApplication
然后你就可以使用DataX-Web了!
注意程序运行时弹出的三个地址:

比如web-URL:

好了,剩下的自己摸索吧

datax

前言:目前在windows上只能以开发者模式部署

开发环境:
Windows10 专业版
Idea 2019.3
在win10上以开发者模式部署datax-web

一,解压DataX在Linux上,然后下载datax.py到windows


从虚拟机上弄下来之后把它放在你datax-web的目录下。

二、下载Datax-web

在github上搜datax-web,出来这个就是:
我们选择2.1.2版本
使用git或者打包下载都可以

三、解压,配置MySQL数据库

解压后是上面那个样子,首先运行需要一个本地的MySQL数据库
E:\environment\datax-web-2.1.2\bin\db\datax_web.sql
解压后的目录里bin目录的db目录下有个datax_web.sql
打开之后可以看到,它只有建表语句,没有建库语句,而数据库名是datax_web

这里我们给它加两行:

CREATE DATABASE datax_web;
USE datax_web;

然后运行整个sql文件,把数据库建好(我的是MySQL8.0版本的运行这个脚本没报错)

四、修改application.yml

位置是:
E:\environment\datax-web-2.1.2\datax-admin\src\main\resources\application.yml

server:port: 8080#port: ${server.port}
spring:#数据源datasource:username: rootpassword: rooturl: jdbc:mysql://localhost:3306/datax_web?serverTimezone=Asia/Shanghai&useLegacyDatetimeCode=false&useSSL=false&nullNamePatternMatchesAll=true&useUnicode=true&characterEncoding=UTF-8#password: ${DB_PASSWORD:password}#username: ${DB_USERNAME:username}#url: jdbc:mysql://${DB_HOST:127.0.0.1}:${DB_PORT:3306}/${DB_DATABASE:dataxweb}?serverTimezone=Asia/Shanghai&useLegacyDatetimeCode=false&useSSL=false&nullNamePatternMatchesAll=true&useUnicode=true&characterEncoding=UTF-8driver-class-name: com.mysql.jdbc.Driver
  # datax-web emailmail:host: smtp.qqport: 25#username: xxx@qq#password: xxxusername: xxx@qqpassword: xxx

(把XXX换成你没用的QQ,防止被盗)

  level:com.wugui.datax.admin.mapper: info
path: ./data/applogs/admin

修改另一个application.yml
位置是:E:\environment\datax-web-2.1.2\datax-executor\src\main\resources\application.yml

# web port
server:#port: ${server.port}port: 8081
# log config
logging:config: classpath:logback.xml#path: ${data.path}/applogs/executor/jobhandlerpath: ./data/applogs/executor/jobhandler
datax:job:admin:### datax admin address list, such as "http://address" or "http://address01,http://address02"addresses: http://127.0.0.1:8080#addresses: http://127.0.0.1:${datax.admin.port}executor:appname: datax-executorip:port: 9999#port: ${executor.port:9999}### job log pathlogpath: ./data/applogs/executor/jobhandler#logpath: ${data.path}/applogs/executor/jobhandler### job log retention dayslogretentiondays: 30### job, access tokenaccessToken:executor:jsonpath: D:\\temp\\executor\\json\\#jsonpath: ${json.path}pypath: E:\environment\datax-web-2.1.2\datax.py#pypath: ${python.path}

接下来可以运行了,运行datax-admin目录下的DataXAdminApplication,输出如下内容:

但是你可能会出现如下错误,就是因为你没在windows上安装hadoop
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
只需要在这里下载:
hadoop-2.7.3/bin 目录里的所有文件,放到你磁盘的某个目录下,然后设置环境变量
HADOOP_HOME之后重启你的开发工具,这个报错就会消失。
这个报错本身不影响运行,只是看着不舒服。

再运行datax-executor下的DataXExecutorApplication
然后你就可以使用DataX-Web了!
注意程序运行时弹出的三个地址:

比如web-URL:

好了,剩下的自己摸索吧

与本文相关的文章

发布评论

评论列表 (0)

  1. 暂无评论