系统化信息采集方案,分布式架构的大数据采集平台

背景：从以前开始就听说爬虫类、大数据，但自己不知道。 之后，加入了主要收集外联网数据，组内使用该外联网数据信息的大数据收集系统。 接下来，谈谈我们的系统架构图

1.python爬虫python将数据登录到hbase系统

2 .大数据系统方案大数据端主要完成了数据聚合，以及数据的etl和数据的离线计算

3.java系统架构方案java端主要实现了平台对外的api接口

涉及著作权时请联系博主删除！