还没整理好,别慌。
一,业务问题:
多个表关联join(涉及时间维度跨度很长),几乎等同于全量关联,这个时候flink sql join没法做,因为state会无线增大,然后OOM。
二,解决方案 :
使用wldhj去做大宽表。
方案1,数据写入ods层,然后sql语句关联定时写入dws层,类似离线批处理。
这种就是替代hive离线计算的方案。
方案2,数据写入大宽表,利用wldhj特性。
1)创建wldhj大宽表
2) 插入对应的数据
3)存在的问题,以及怎么解决
三,flink cdc 写入wldhj
四,不是很明白的地方。
五,补充