简数采集平台新一代的网站文章采集和发布平台,它完全在线配置和使用云采集,功能强大,操作简单,配置快捷高效。简数不仅提供网页文章采集、数据批量修改、定时采集、定时定量自动发布等基本功能,还集成强大的SEO工具与接入多家原创API,并创新实现了规则智能提取引擎、书签一键采集发布等特色功能,大幅提升了采集配置和发布效率。采集简单,发布更轻松:支持一键发布到WorpPress、帝国、织梦、ZBlog、Discuz、Destoon、Typecho、Emlog、Mipcms、米拓、易优CMS、苹果CMS、PHPCMS,PbootCMS等CMS网站系统,还可以发布到自定义Http接口。另外还支持特定文章的“一键快速采集”,包括:微信公众号文章、今日头条、新闻泛采集。
下面介绍一下使用简数采集平台进行文章采集后进行原创处理并发布的网站的方法。
一点概念:大多数网站都是以列表页和详情页的层次结构进行组织的,例如我们进入新浪新闻频道,有很多标题链接,这可认为是列表页。点标题链接后进入的便是详情页。
而使用数据采集工具一般目的:大批量地获取详情页里面的具体内容数据,并使用这些数据进行各种分析,发布自有网站等等。
列表页:指栏目或目录页面,一般包含有多个标题链接。如:网站首页或栏目页面都是列表页。主要作用:通过列表页可获取多个详情页的链接。
详情页:包含具体内容的页面,如一篇网页文章,里面含有:标题,作者,发布日期,正文内容,标签等。
开始,请先登录进入“简数控制台":
详细使用步骤: 创建采集任务完善列表页的智能抽取结果(可选)完善详情页的智能抽取结果(可选)启动运行接入原创API数据发布到网站第一步:创建采集任务
点击左侧菜单按钮“创建采集任务”,输入采集任务名和要采集的”列表页“网址,如:https://www.cnblogs.com/ (这里首页即作为列表页:内容含有多个详情页即可),详情页链接可不填,系统会自动识别。
如下图:
输入后点击 “下一步”。
第二步:完善列表页的智能抽取结果(可选)
系统会先采用智能算法获取需要采集的详情页链接(多个),用户可以双击打开检查,如果不是想要数据,可以点击“列表提取器”进行手动指定,只需要在可视化界面上用鼠标点击。
智能获取结果如下图:
另外:上面结果中,系统也智能发现了翻页规则,用户可以设置要采集多少页。也可以稍后在任务中的“基本信息&入口网址”--》“按规则生成网址”项中进行配置。
列表提取器 打开后如下图:
第三步:完善详情页的智能抽取结果(可选)
上一步获取了多个详情页链接后,继续下一步,系统会使用其中一个详情页链接来智能抽取详情页数据(如:标题,作者,发布日期,内容,标签等)
详情页智能抽取结果如下:
如果智能抽取的内容非想要的,那么可以打开"详情提取器"进行修改。
如下图:
可以在左侧对各字段进行修改或增加删除等。
还可以对每个字段进行详细设置或数据处理(双击字段即可):替换,提取,过滤,设置默认值等等,
如下图:
第四步:启动运行 完成后,即可启动运行,进行数据采集了:
采集后的数据结果,在该采集任务的“结果数据&发布”里面,您可以在这里对数据进行修改或者直接导出excel或发布你的网站(WordPress,织梦DEDE,HTTP接口,数据库等)。
第五步:接入原创API
简数采集支持调用第三方原创API接口,处理采集数据内容和标题;
目前支持的第三方API接入:
【5118一键智能换词API】【5118一键智能改词API】【5118智能标题生成API】【奶盘API】【小发猫API】【爱写稿API】【写作社API】第六步:数据发布到网站采集结果数据可以发布到:各种CMS系统(WordPress,织梦DEDECMS,帝国,zblog,Destoon,Discuz,Typecho,Emlog,Mipcms,苹果cms,Phpcms,易优cms,米拓cms,云优cms,Phpwind,PbootCMS等)、自定义http接口等。
数据导出格式目前支持csv和sql(mysql)等。后续会继续增加类型,如有急需,可联系(QQ)3043176563;
发布到CMS主要三个步骤:一、在用户网站安装发布插件(插件市场安装或复制文件到目录即可)
二、在简数控制台任务的“发布目标配置”项中添加发布目标
三、在任务的“结果数据&发布”列表中对数据进行发布
详细操作请看各种CMS发布目标:
1 发布到WordPress
2 发布到帝国
3 发布到织梦DEDE
4 发布到Z-Blog
5 发布到Destoon
6 发布到Discuz
7 发布到Typecho
8 发布到Emlog
9 发布到Mipcms
10 发布到苹果CMS
11 发布到PhpCMS
12 发布到易优CMS
13 发布到米拓CMS
14 发布到云优CMS
15 发布到phpwind
16 发布到PbootCMS
17 发布到自定义http接口
18 数据导出为excel、csv和sql(mysql)等
19 发布插件安装或下载(汇总)
20 发布失败,请尝试添加IP白名单
21 发布分类或栏目怎样填写
22 发布多分类(栏目)设置技巧
完成,数据采集+原创处理+发布到网站就这么简单!!!