本文将从以下几个方面详细阐述python爬取公交数据的方法:
一、准备工作
1、安装相关库
import requests
from bs4 import BeautifulSoup
import csv
2、获取数据源网站url
url = 'http://bus.suzhou.gov.cn/zk/zwgjcx/zxcx_kc_list.aspx'
二、获取数据
1、分析网页代码,获取需要爬取数据的标签
<tr class="odd">
<td>1</td>
<td>13路</td>
<td>相城区公交总公司</td>
<td>旺山区域</td>
<td>综合商场8:00</td>
<td>综合商场19:00</td>
<td>25.5</td>
<td>2018-08-15</td>
</tr>
2、编写函数,将需要的数据提取出来
def get_data(item):
data = []
rows = item.findAll('td')
data.append(rows[1].text.strip())
data.append(rows[2].text.strip())
data.append(rows[3].text.strip())
data.append(rows[4].text.strip())
data.append(rows[5].text.strip())
data.append(rows[6].text.strip())
data.append(rows[7].text.strip())
return data
3、利用requests库发送GET请求,获取网页内容;再用BeautifulSoup库解析网页内容,获取table中的所有tr标签,遍历每个tr标签,调用get_data函数获取数据,并将获取到的数据保存至csv文件
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
table = soup.find('table', {'class': 'table_list kcjl_table'})
rows = table.findAll('tr')
with open('data.csv', mode='w', encoding='utf-8', newline='') as file_csv:
writer = csv.writer(file_csv)
writer.writerow(['线路', '所属公司', '区域', '发车时间', '末班车时间', '票价', '更新时间'])
for item in rows:
if item.find('td') is None:
continue
writer.writerow(get_data(item))
三、结果展示
分析当前目录下是否生成了data.csv文件,打开该文件查看是否成功导出数据
四、注意事项
1、在requests库中,可能需要设置headers参数,以模拟正常浏览器访问行为;
2、在使用BeautifulSoup库解析网页内容时,需要注意标签名称、属性类型等信息;
3、在保存数据至csv文件时,需要注意文件编码、文件类型等信息