使用Python访问网页

在现代社会，我们每天都要上网获取各种各样的信息。Python语言可以方便地帮助我们从网站上获取数据。这篇文章将详细讲解如何使用Python访问网页。

一、概览

使用Python访问网页的方式有很多种。其中最简单的方式便是使用Python内置的库：urllib和urllib2。

使用urllib和urllib2，我们可以很容易地向一个URL发送请求，并获得网站返回的信息，例如HTML源码、图片、JSON等格式的数据。

二、使用urllib和urllib2访问网页

首先，我们需要导入urllib库。

import urllib
import urllib2

接着，我们就可以使用urllib库提供的方法（urllib.urlencode和urllib2.urlopen）访问网页了。

例如，我们想要从https://www.baidu.com网站获取HTML源码，可以使用以下代码：

response = urllib2.urlopen('https://www.baidu.com')
html = response.read()
print html

如果访问需要使用POST方法的网站，我们可以使用urllib.urlencode方法将POST数据转换为URL编码的字符串，然后传递给urllib2.urlopen方法。

例如，我们想要向https://www.baidu.com网站发送一个POST请求，并带上参数key="python"，可以使用以下代码：

values = {'key': 'python'}
data = urllib.urlencode(values)
url = 'https://www.baidu.com'
request = urllib2.Request(url, data)
response = urllib2.urlopen(request)
html = response.read()
print html

三、使用requests库访问网页

虽然使用urllib和urllib2很方便，但是它们的API相对较为复杂。为简化这个过程，一个更为简单易用的库requests应运而生。

使用requests库，我们可以用更简洁的方式访问网页。例如，我们想要从https://www.baidu.com网站获取HTML源码，可以使用以下代码：

import requests
url = 'https://www.baidu.com'
response = requests.get(url)
html = response.text
print html

如果需要发送POST请求，我们可以使用requests.post方法和data参数。

例如，我们想要向https://www.baidu.com网站发送一个POST请求，并带上参数key="python"，可以使用以下代码：

import requests
url = 'https://www.baidu.com'
data = {'key': 'python'}
response = requests.post(url, data=data)
html = response.text
print html

四、总结

本文介绍了使用Python访问网页的三种方式：使用urllib和urllib2库、使用requests库。

使用Python访问网页相比手动在浏览器中访问网页有很多好处，例如自动化获取数据、批量下载文件等。希望本文能够帮助大家更好地使用Python获取网页信息。