首页 > 编程知识 正文

大圈实践表,数据大宽表

时间:2023-05-04 21:35:42 阅读:234301 作者:1668

还没整理好,别慌。

一,业务问题:

多个表关联join(涉及时间维度跨度很长),几乎等同于全量关联,这个时候flink sql join没法做,因为state会无线增大,然后OOM。

二,解决方案 :

 使用wldhj去做大宽表。

方案1,数据写入ods层,然后sql语句关联定时写入dws层,类似离线批处理。

这种就是替代hive离线计算的方案。

方案2,数据写入大宽表,利用wldhj特性。

1)创建wldhj大宽表

2) 插入对应的数据

3)存在的问题,以及怎么解决

三,flink cdc 写入wldhj

四,不是很明白的地方。

五,补充

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。