代码拉取完成,页面将自动刷新
TaskController 1---* TaskWorker
TaskWorker 1---* TaskWork
TaskWork 1---1 *Job
通俗上讲TaskController对应Node进程,进程内只有一个;TaskWorker对应任务,每个
任务对应一个Worker;每个任务有多个管道,即TaskWork,对应MQ topic;每个Work有多个阶段性任务。
整个来讲这就是一个管道过滤器风格的架构模式。
SelectJob单线程从数据源消费数据
ExtractJob单线程从Select队列中读取数据,多线程提取数据
TrasnformJob单线程从Extract内存集合中读取数据,多线程映射转换数据
LoadJob单线程按照SelectJob消费顺序加载数据到数据库
AlertJob单线程同步Zookeeper数据库检查时间点,对比指定时间段内源数据库和目标数据库的数据条目差异,
按照配置文件配置的告警方式进行告警
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。