9 Star 29 Fork 18

sky / skycloud-datax

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

ETL WEB 版本

vue页面地址

使用方式

1. 在父工程目录下使用maven打包

 mvn -U clean package assembly:assembly -Dmaven.test.skip=true 

2. 在打包完成的target目录下进入datax-web,可以看到skycloud-datax-web-0.0.1-SNAPSHOT

cd  datax/datax/plugin/web

3. 运行启动命令

 java  -Ddatax.home=当前目录/target/datax/datax  -jar skycloud-datax-web-0.0.1-SNAPSHOT.jar

 或者 通过启动脚本启动
 打完包后的 bin/start.sh

需要配上环境变量-Ddatax.home,此处参照上述配置mvn打包后的目录即可

4. 测试

前提条件:

系统信息:

图1

(数据库类型:mysql 数据大小: 561M 数据条数:500W 数据格式如下:)

图2

相同数据库实例(不同库数据迁移)

图3

详细日志请点我

job配置
{
  "job": {
    "setting": {
      "speed": {
        "channel": 3
      },
      "errorLimit": {
        "record": 0,
        "percentage": 0.02
      }
    },
    "content": [
      {
        "reader": {
          "name": "mysqlreader",
          "parameter": {
            "username": "root",
            "password": "123456",
            "column": [
              "id",
              "Name"
            ],
            "splitPk": "id",
            "connection": [
              {
                "table": [
                  "appnamespace"
                ],
                "jdbcUrl": [
                  "jdbc:mysql://127.0.0.1:3306/datax_test"
                ]
              }
            ]
          }
        },
        "writer": {
          "name": "mysqlwriter",
          "parameter": {
            "writeMode": "insert",
            "username": "root",
            "password": "123456",
            "column": [
              "id",
              "Name"
            ],
            "session": [
              "set session sql_mode='ANSI'"
            ],
            "preSql": [
              "delete from appnamespace"
            ],
            "connection": [
              {
                "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/datax_test1",
                "table": [
                  "appnamespace"
                ]
              }
            ]
          }
        }
      }
    ]
  }
}

5. 平台界面展示

platform platform platform

6. 来源(20190705)

https://github.com/alibaba/DataX/

FAQ

  1. skycloud-base-config.jar 此jar包在skycloud-base项目中,配置中心(apollo) 如不使用配置中心,请删除此jar包与application.yml,并将 doc/application.properties拷贝到项目资源目录下 或者使用doc/settings.xml maven配置下载

空文件

简介

基于阿里Datax改版web datax ,支持管理平台与restful风格API 展开 收起
Java
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
Java
1
https://gitee.com/xk11961677/skycloud-datax.git
git@gitee.com:xk11961677/skycloud-datax.git
xk11961677
skycloud-datax
skycloud-datax
master

搜索帮助