基于DataX,提供简单易用的 操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错,使数据抽取变得简单、易用
Byzer (former MLSQL) is a low-code, open-sourced and distributed programming language for data pipeline, analytics and AI in cloud native way.
Fire框架是由中通大数据自主研发并开源的、专门用于进行Spark和Flink任务开发的大数据框架,可节约70%以上的代码量。首创基于注解进行Spark和Flink任务开发,具备实时血缘、根因诊断、动态调优、参数热调整等众多平台化功能。Fire框架在中通内部每天处理数据量高达数千亿,在外部已被数十家公司所使用。
模拟电商系统上线运行一段时间后,根据收集到大量的用户行为数据,利用大数据技术(Flink)进行深入挖掘和分析,进而得到感兴趣的商业指标并增强对风险的控制。 整体可以分为用户行为习惯数据和业务行为数据两大类。用户的行为习惯数据包括了用户的登录方式、上线的时间点及时长、点击和浏览页面、页面停留时间以及页面跳转等等,从中进行流量统计和热门商品的统计,并深入挖掘用户的特征;业务行为数据分为两类:一类是能够明显地表现出用户兴趣的行为,比如对商品的收藏、喜欢、评分和评价,对数据进行深入分析,得到用户画像,进而对用户给出个性化的推荐商品列表;另一类则是常规的业务操作,关注异常状况以做好风控,比如登录和订单支付。
项目主要模块
基于对电商用户行为数据的基本分类,我们可以发现主要有以下三个分析方向:
1. 热门统计
利用用户的点击浏览行为,进行流量统计、近期热门商品统计等。
2. 偏好统计
利用用户的偏好行为,比如收藏、喜欢、评分等,进行用户画像分析,给出个
性化的商品推荐列表。
3. 风险控制
利用用户的常规业务行为,比如登录、下单、支付等,分析数据,对异常情况
进行报警提示。
将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出等数据应用开发全流程场景需求。欢迎申请体验demo环境:https://sandbox.webank.com/wds/dss/#/register
XL-LightHouse是一套支持超大数据量、支持超高并发的通用型流式大数据统计系统。常见的应用场景包括:PV、UV统计;电商销售额、下单用户数统计;日志量统计;接口调用量、异常量、耗时情况统计;服务器运维指标监控等功能。系统支持多维度统计,支持各种复杂的条件筛选和逻辑判断,一键部署,一行代码接入,轻松实现各种海量数据实时统计,帮助企业以更低的成本快速搭建起数据指标体系,是企业降本增效的好帮手!
RISC-V Linux 内核兴趣小组协作仓库;泰晓社区已推出专用 RISC-V 实验盘和实验箱,欢迎移步泰晓科技 B 站工房选购,https://space.bilibili.com/687228362
OpenMLDB是一个开源机器学习数据库,面向机器学习应用提供正确、高效数据供给。