idea of startproject对于web开发者来说，目前各大新闻门户、新浪新闻、百度新闻、腾讯新闻、《澎湃新闻》、头条新闻都提供了稳定可用的订阅源API 对于nlper，缺乏足够的新闻资料数据集进行培训。 对于新闻传播、社会学、心理学等员工来说，缺乏获取新闻数据的简单易用的方法。 如果上面有三点被见解束缚，实际上并不存在，第四点，是出于某种私心，有人认为网络记忆太短，热播越过了一浪，试图冻结网络新闻的瞬间，最后作为网站发布这个项目几年前就有了主意。 仓库两年前被推到了Github。 只是，自述文件只有一个。 昨晚跨年，打扫Github后，这个想法又变强了。 说做就做。
项目的github:https://github.com/python3spiders/allnewsspider
其实一开始并没有把澎拜新闻包括在内，直到最近才开始关注《澎湃新闻》。 相对于其他新闻的娱乐性，《澎湃新闻》认真活泼的笔调深得我的认同。
爬行动物先说这个爬行动物的实用之处，罗列如下
时事，财经，http://www.com/，http://www.com/，思想四个速度快，容错高，应对各种异常处理，目前开源pyd测试抓取w级数据是正常的。 (如果遇到新的异常，请拿出issue。 总共有12个字段，包括recode_time (捕获该新闻的时间)、news_url和其他每个新闻所需的字段。 如何使用它(所有默认读者都有python3.6环境)。
本地下载仓库pengpai文件夹下的pengpai_news_spider.pyd文件，创建新项目，然后放入pyd文件
在项目根目录下创建新的runner.py，编写并运行以下代码进行捕获
滚动importpengpai _ news _ spiderpengpai _ news _ spider.main ()时如下所示
照片中的https://www.thepaper.cn/news detail _ forward _ 10623559可能是h5、公众号文章和视频等，表明该消息不在我们目标的爬网范围内，不会被保存。
爬网完成后，将在当前目录下生成一个“澎湃新闻”. xlsx文件，其中包含所有四个通道站点的可浏览文本新闻，如下图所示。 一个channel对应于sheet_name
Todo以实现增量更新，使用布隆过滤器消除news_url的重量为初步思路。
最后，新年的第一天，元旦快乐！