大数据
0
关注
暂无描述

    403 袋鼠云 / Taier GVP

    Taier 名字由来中国古代十大名剑之一 —— 太阿。 Taier 是一个分布式可视化的DAG任务调度系统。旨在降低ETL开发成本、提高大数据平台稳定性,大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。

    最近更新: 1年前

    65 DataManagement / Spark-Autotuning

    Apache Spark的性能表现受到配置参数的影响,这些参数的调优往往由人力完成,然而不适当的参数配置可能严重地降低系统的性能表现。 本工具能够根据历史记录自动调整Apache spark的参数设置

    最近更新: 4年多前

    207 稍稍 / Spark Streaming Framework
    关闭

    一个完善的Spark Streaming二次封装开源框架,包含:实时流任务调度、kafka偏移量管理,web后台管理,web api启动、停止spark streaming,宕机告警、自动重启等等功能支持,用户只需要关心业务代码,无需关注繁琐的技术细节,大大提高实时流开发效率和难度(附demo)。

    最近更新: 4年多前

    209 hellowzk / light-spark

    Spark快速开发框架,提高开发效率,主要针对离线任务场景

    最近更新: 3年前

    104 微野 / datax-web-ui

    DataX Web UI

    最近更新: 2年多前

    1.9K 微野 / datax-web

    DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。

    最近更新: 2年多前

    5 崔进 / DataLink

    DataLink是一个满足各种异构数据源之间的实时增量同步、离线全量同步,分布式、可扩展的数据交换平台。

    最近更新: 接近4年前

    605 wux-labs / DataService-Framework

    大数据平台数据服务框架。实现了Kafka实时数据过滤、清洗、转换、消费,实现了Spark SQL对Redis、MongoDB等非关系型数据库的数据的读写;集成了规则引擎,可基于规则引擎实现客户标签、画像等相关功能。

    最近更新: 2年前

    1 Gitee 极速下载 / data-accelerator

    Data Accelerator 的一些方法可以更容易地在 Apache Spark 上构建流式传输管道: 即插即用:轻松设置输入源和输出接收器,以便在几分钟内建立管道

    最近更新: 9个月前

    1 潘志浩 / BigData-Notes

    大数据入门指南 :star:

    最近更新: 4年前

搜索帮助