1 Star 0 Fork 234

lennon-cf / chunjun

forked from 袋鼠云 / chunjun 
加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
clickhouse-lookup.md 2.43 KB
一键复制 编辑 原始数据 按行查看 历史
wuren 提交于 2021-08-03 10:15 . [all] replace camel-case to kebab-case

Clickhouse Lookup

一、介绍

clickhouse维表,支持全量和异步方式全量缓存:将维表数据全部加载到内存中,建议数据量不大使用。
异步缓存:使用异步方式查询数据,并将查询到的数据使用lru缓存到内存中,建议数据量大使用。

二、支持版本

ClickHouse 19.x及以上

三、插件名称

sql clickhouse-x

四、参数说明

  • connector
    • 描述:clickhouse-x
    • 必选:是
    • 字段类型:String
    • 默认值:无 ​

  • url
    • 描述:clickhouse jdbc url
    • 必选:是
    • 字段类型:String
    • 默认值:无


  • table-name
    • 描述:表名
    • 必选:是
    • 字段类型:String
    • 默认值:无


  • username
    • 描述:用户名
    • 必选:是
    • 字段类型:String
    • 默认值:无


  • password
    • 描述:密码
    • 必选:是
    • 字段类型:String
    • 默认值:无


  • password
    • 描述:密码
    • 必选:是
    • 字段类型:String
    • 默认值:无


  • lookup.cache-type
    • 描述:维表缓存类型(NONE、LRU、ALL),默认LRU
    • 必选:否
    • 字段类型:String
    • 默认值:LRU


  • lookup.cache-period
    • 描述:ALL维表每隔多久加载一次数据,默认3600000毫秒(一个小时)
    • 必选:否
    • 字段类型:String
    • 默认值:3600000


  • lookup.cache.max-rows
    • 描述:lru维表缓存数据的条数
    • 必选:否
    • 字段类型:String
    • 默认值:10000


  • lookup.cache.ttl
    • 描述:lru维表缓存数据的时间
    • 必选:否
    • 字段类型:String
    • 默认值:60000


  • lookup.fetch-size
    • 描述:ALL维表每次从数据库加载的条数
    • 必选:否
    • 字段类型:String
    • 默认值:1000


  • lookup.parallelism
    • 描述:维表并行度
    • 必选:否
    • 字段类型:String
    • 默认值:无

五、数据类型

支持 BOOLEAN
TINYINT
SMALLINT
INT
BIGINT
FLOAT
DOUBLE
DECIMAL
STRING
VARCHAR
CHAR
TIMESTAMP
DATE
BINARY
NULL
暂不支持 ARRAY
MAP
STRUCT
UNION

六、配置示例

见项目内flinkx-examples文件夹。

Java
1
https://gitee.com/lennon-cf/chunjun.git
git@gitee.com:lennon-cf/chunjun.git
lennon-cf
chunjun
chunjun
master

搜索帮助