首页 > 编程知识 正文

flink kafka 参数,flink读取kafka数据进行统计

时间:2023-05-04 08:57:30 阅读:271620 作者:3968

flink kafka upsert实现代码解析 概览 代码分析 UpsertKafkaDynamicTableFactory(工厂类) KafkaDynamicSource(product类) FlinkKafkaConsumer(FlinkKafkaProducer)(connector) Q&A

概览

本文结合源码分析Kafka upsert的实现
根据flink官方文档提供的DDL SQL解析流程图,实现自定义TableSource(or TableSink)需要做的事有三个:
1、定义可解析catalog的TableSourceFactory(or TableSinkFactory)
2、定义工厂类生产出来的product类(该product类implements DynamicSource(or DynamicSink)接口,用于调用不同数据源的connector)
3、针对不同数据源(或sink端)实现connector,如FlinkKafkaProducer、FlinkKafkaConsumer

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。