python抓网站后台（python做网站后端）

本文目录一览：

手边没现成代码，就不贴了，告诉你思路：

虽然url里看着地址都一样，其实是不一样的，需要F12分析后台代码；

然后有两种方式，

就是F12分析代码后爬取真实地址；

用py模拟敲击“下一页”。

具体代码都不麻烦，度娘很好找。

python是一种胶水语言，适合处理日常的工作，比如自动化、爬取内容以及数据可视化，对于攻入网站后台来说，需要扎实的前端基础，有这种知识储备的人是不会用python来做的。

首先纠正几个名词问题.

服务器是指的硬件,PYthon作为一个编程语言是无法制作硬件的.

网址更确切的说应该是域名服务,网址是一个指向地址,指向的是服务器的IP地址.

python只能制作网站后台程序,目前已经有现成的py库可以快速搭建网站服务.如:Django,Flask,Bottle 等框架都可以实现.

通过网址访问,则需要域名服务,需要从域名服务商购买域名,并将域名解析到,网站服务器上,通过80端口访问通过网站程序搭建的网站.

网址从服务商处注册,是需要一定费用的,可以根据自己的需要在服务商处选择.

域名是可以自己自定义选择的,不过一定得是别人没有注册过的才行.

服务器也是需要付费的.

可以，但难易程度取决于在下面哪个阶段获取这个数据

客户端软件--客户端网卡--路由--(网络)--服务器网卡--http server--解析程序--

在最后一个箭头后是最简单的，相当于一个API接口

在网卡相邻位置应该是最难的

flask是一个很简单，也比较优美的单文件python的WEB开发框架。 bootstrap是一个强大的工具箱，我没有用过，不过有时间（这个星期）我会尝试学一下。应该会有很好的体验。

flask教程在它的官网上就有，如果你熟悉python，10分钟就学会了。

连接mysql数据库建议你不要用什么orm, 直接通过mysqllib自己写sql语句，这样更简单。当然如果你的SQL语句不熟悉，就要找几个例子，学习一下，几分钟就可以了。 python的DBAPI2.0框架很简单就是connect, startcursor，fetchone这几个主要命令。

sqlite3比mysql更简单，connect的时间加上文件名，其余的都和mysql的用法一样。

git管理就需要安装一套环境。在linux下，比如ubuntu，你只需要apt-get 安装就可以。使用方法有些类似CVS。

实现学生管理其实有更简单的办法。只需要安装一套DJANGO，花两天学习一下它的教程。一口气就建成了。直接使用它的admin模块，几乎不用开发就能用。

一. 关于爬虫

爬虫，是一种按照一定的规则自动地抓取互联网信息的程序。本质是利用程序获取对我们有利的数据。

反爬虫，从不是将爬虫完全杜绝；而是想办法将爬虫的访问量限制在一个可接纳的范围，不要让它过于频繁。

二. 提高爬虫效率的方法

协程。采用协程，让多个爬虫一起工作，可以大幅度提高效率。

多进程。使用CPU的多个核，使用几个核就能提高几倍。

多线程。将任务分成多个，并发（交替）的执行。

分布式爬虫。让多个设备去跑同一个项目，效率也能大幅提升。

打包技术。可以将python文件打包成可执行的exe文件，让其在后台执行即可。

其他。比如，使用网速好的网络等等。

三. 反爬虫的措施

限制请求头，即request header。解决方法：我们可以填写user-agent声明自己的身份，有时还要去填写origin和referer声明请求的来源。

限制登录，即不登录就不能访问。解决方法：我们可以使用cookies和session的知识去模拟登录。

复杂的交互，比如设置“验证码”来阻拦登录。这就比较难做，解决方法1：我们用Selenium去手动输入验证码；方法2：我们用一些图像处理的库自动识别验证码（tesserocr/pytesserart/pillow）。

ip限制。如果这个IP地址，爬取网站频次太高，那么服务器就会暂时封掉来自这个IP地址的请求。解决方法：使用time.sleep()来对爬虫的速度进行限制，建立IP代理池或者使用IPIDEA避免IP被封禁。