首页 > 编程知识 正文

python的scrapy框架,python爬虫框架有哪些

时间:2023-05-04 06:48:38 阅读:33150 作者:1163

从GitHub整理的15个最受欢迎的Python开源框架。 这些框架包括事件I/O、OLAP、Web开发、高性能网络通信、测试、爬虫等。

django : python web APP应用程序开发框架

Django应该是最有名的Python框架,GAE甚至Erlang的框架都受其影响。 Django正朝着一个大而完整的方向发展,最有名的是其完全自动化的管理后台。 使用ORM,只需定义简单的对象,就可以自动生成数据库结构和完全正常工作的管理后台。

desel :基于绿色的事件I/O框架

Diesel为创建网络客户端和服务器提供了清洁的API。 支持TCP和UDP。

flask :用python编写的轻量级web APP应用框架

Flask是用Python编写的轻量级web APP应用框架。 基于Werkzeug WSGI工具箱和Jinja2

模板引擎。 Flask也被称为“微框架”。 因为使用简单的核心,在扩展中添加其他功能。 Flask没有默认使用的数量

库,表单验证工具。

Cubes :轻量级Python OLAP框架

Cubes是一个轻量级的Python框架,包含OLAP、多维数据分析和聚合数据导航(aggregated data )等工具。

Kartograph.py :用于创建矢量贴图的轻量级Python框架

Kartograph是用于生成ESRI的SVG贴图的Python库。 Kartograph.py目前处于beta阶段,可以在virtualenv环境中进行测试。

Pulsar:Python的事件驱动并发框架

Pulsar是一个事件驱动的并发框架,通过它可以在不同的进程或线程上写入一个或多个活动的异步服务。

Web2py :全堆栈Web框架

Web2py是Python语言提供的全功能Web2py应用框架,旨在快速、快速地开发Web2py应用程序,具有快速、安全和可移植的数据库驱动程序,与谷歌应用程序引擎

Falcon :构建云API和网络APP应用后端的高性能Python框架

Falcon是构建云API的高性能Python框架,建议您使用REST体系结构样式以尽可能最小的力量完成最多的事情。

Dpark:Python版的Spark

DPark是Spark的Python克隆,是Python实现的分布式计算框架,可以非常轻松地实现大数据处理和迭代计算。 DPark通过豆瓣实现,目前豆瓣内部大部分数据分析都在DPark上进行,越来越完善。

buildbot :基于python的连续集成测试框架

Buildbot是一个开源框架,它自动化了软件的构建、测试和发布等过程。 每次代码更改时,服务都必须立即向不同平台上的客户端生成和测试代码,并收集和报告不同平台的生成和测试结果。

zero RPC :基于zero MQ的高性能分布式RPC框架

Zerorpc是基于ZeroMQ和消息包开发的远程过程调用协议(RPC )的实现。 与Zerorpc一起使用的服务API称为zero服务。 Zerorpc可以在编程或命令行中调用。

Bottle:微Python Web框架

Bottle是一个简单高效的WSGI兼容微python Web框架。 之所以说微,是因为只有一个文件,除了Python标准库以外,与第三方模块无关。

Tornado :异步无阻塞IO的Python Web框架

Tornado的全名是Torado Web Server,从名称上可以看出它可以用作Web服务器,但也是Python Web的开发框架。 最初在FriendFeed公司的网站上使用,后来由FaceBook收购成为开源。

webpy:轻量级Python Web框架

webpy的设计理念旨在简化(Keep it simple and powerful ),源代码较短,只提供一个框架所需的内容,不依赖于大量的第三方模块。 没有URL路由,没有模板,没有对数据库的访问。

Scrapy:Python的爬虫框架

Scrapy是用Python写的重量轻,简单轻便,使用方便

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。