Python3爬取数据存入MySQL

本文将介绍如何使用Python3爬取数据并将其存入MySQL数据库中。

一、准备工作

在开始之前，我们需要安装并配置一些必要的工具和库：

1. 安装Python3和MySQL，并确保已添加到系统路径中。
2. 安装pip，用于安装Python库。在命令行中执行以下命令：
   python -m ensurepip --upgrade
   python -m pip install --upgrade pip
3. 安装必要的Python库：requests、beautifulsoup4和pymysql。在命令行中执行以下命令：
   pip install requests
   pip install beautifulsoup4
   pip install pymysql

二、爬取数据

现在我们开始编写Python代码来爬取数据。以下是一个示例，您可以根据您的需求进行修改和扩展：

import requests
from bs4 import BeautifulSoup
import pymysql

# 链接数据库
db = pymysql.connect(host='localhost', user='root', password='password', db='test', charset='utf8')

# 创建游标
cursor = db.cursor()

# 爬取数据
url = 'https://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 解析数据
data = soup.find('div', class_='data')

# 将数据存入数据库
sql = "INSERT INTO data_table (data) VALUES (%s)"
cursor.execute(sql, (data.text,))
db.commit()

# 关闭数据库连接
cursor.close()
db.close()

三、数据库配置

在代码中，我们连接到MySQL数据库并将数据存入名为"data_table"的表中。在开始之前，您需要进行以下配置：

1. 确保MySQL服务器正在运行。
2. 创建一个名为"test"的数据库。在MySQL命令行中执行以下命令：
   CREATE DATABASE test;
3. 创建一个名为"data_table"的表。在MySQL命令行中执行以下命令：
   USE test;
   CREATE TABLE data_table (
       id INT AUTO_INCREMENT PRIMARY KEY,
       data TEXT
   );
4. 在代码中的连接参数中，将"localhost"替换为您的MySQL服务器地址，"root"替换为您的用户名，"password"替换为您的密码。

四、执行代码

在完成上述配置后，您可以运行Python代码来爬取数据并存入MySQL数据库：

python your_script.py

现在，您已经成功地使用Python3爬取数据并将其存入MySQL数据库中！

祝您成功！