同步操作将从 袋鼠云/chunjun 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
English | 中文
招聘Flink研发工程师,如果有兴趣可以联系思枢(微信号:ysqwhiletrue)
Flink开发工程师JD要求:
1.负责袋鼠云基于Flink的衍生框架数据同步chunjun和实时计算flinkstreamsql框架的开发;
2.调研和把握当前最新大数据实时计算技术,将其中的合适技术引入到平台中,改善产品,提升竞争力;
职位要求:
1、本科及以上学历,3年及以上的Flink开发经验,精通Java,熟悉Scala、Python优先考虑;
2、熟悉Flink原理,有基于Flink做过二次源码的开发,在github上贡献者Flink源码者优先;
3、有机器学习、数据挖掘相关经验者优先;
4、对新技术有快速学习和上手能力,对代码有一定的洁癖;
加分项:
1.在GitHub或其他平台上有过开源项目
可以添加本人微信号ysqwhiletrue,注明招聘,如有意者发送简历至sishu@dtstack.com
我们使用钉钉沟通交流,可以搜索群号[30537511]或者扫描下面的二维码进入钉钉群
Chunjun是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如MySQL binlog,Kafka等。同时,Chunjun也是支持原生FlinkSql所有语法和特性的计算框架,并且提供了大量案例。Chunjun目前包含下面这些特性:
大部分插件支持并发读写数据,可以大幅度提高读写速度;
部分插件支持失败恢复的功能,可以从失败的位置恢复任务,节约运行时间;失败恢复
关系数据库的Source插件支持间隔轮询功能,可以持续不断的采集变化的数据;间隔轮询
部分数据库支持开启Kerberos安全认证;Kerberos
可以限制source的读取速度,降低对业务数据库的影响;
可以记录sink插件写数据时产生的脏数据;
可以限制脏数据的最大数量;
支持多种运行模式;
同步任务支持执行flinksql语法的transformer操作;
sql任务支持和flinkSql自带connectors共用;
Chunjun目前支持下面这些数据库:
Database Type | Source | Sink | Lookup | |
---|---|---|---|---|
Batch Synchronization | MySQL | doc | doc | doc |
TiDB | 参考mysql | 参考mysql | ||
Oracle | doc | doc | doc | |
SqlServer | doc | doc | doc | |
PostgreSQL | doc | doc | doc | |
DB2 | doc | doc | doc | |
ClickHouse | doc | doc | doc | |
Greenplum | doc | doc | ||
KingBase | doc | doc | ||
MongoDB | doc | doc | doc | |
SAP HANA | doc | doc | ||
ElasticSearch7 | doc | doc | doc | |
FTP | doc | doc | ||
HDFS | doc | doc | ||
Stream | doc | doc | ||
Redis | doc | doc | ||
Hive | doc | |||
Hbase | doc | doc | doc | |
Solr | doc | doc | ||
File | doc | |||
StarRocks | doc | |||
Stream Synchronization | Kafka | doc | doc | |
EMQX | doc | doc | ||
MySQL Binlog | doc | |||
Oracle LogMiner | doc | |||
Sqlserver CDC | doc |
请点击快速开始
请点击插件通用配置
请点击统计指标
请点击 Iceberg
请点击Kerberos
请点击Questions
请点击如何贡献Chunjun
Chunjun is under the Apache 2.0 license. See the LICENSE file for details.
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。