首页 > 编程知识 正文

股票爬虫及数据分析(selenium多线程爬虫)

时间:2023-05-06 08:44:50 阅读:65970 作者:4062

前言

获取股票数据是从事股票分析的第一步。

获取数据的方法有很多,但对大家来说,除了数据质量以外,获取效率是第二敏感的点。

市场上有多个股票数据服务平台,提供用于获取数据的Python接口。

一般来说,用于单一股票获取是很方便的,但是如果我们的策略涉及到整个市场的回溯测试,那么一次性下载4000多股股票需要时间。

调用接口时,本质上连接到这些平台的服务器,因此在检索数据时存在一些限制。 例如,tushare的点限制、每次调用的频率和数据量都有一定的限制。

为了解决这个问题,我们将扩展另一个数据源——网易财经!

关于网络财经获取数据的URL分析,请参考知识星《玩转股票量化交易》 【1-19】的主题。

为了加快a股数据的下载,我们采用了多线程爬虫方式,并在当地存储使用。

因此我们升级了股票量化分析工具QTYX-V2.2.3。

核心代码封装了GUI,提供了“股票数据下载”工具,可以通过简单的操作下载到股票数据中。

点击状态栏上的“行情”控件,启动!

这个功能非常重要,为后续的全市场股票选择,如RPS强股、趋势线性回归等奠定基础!

使用方法说明

接下来谈谈怎么用吧!

首先,在QTYXDatazFiles路径下创建一个文件夹,其中包含股票数据文件和每个股票一个csv文件。 代码中的变量data_path默认为stock_history/,当然大家可以自由更改。

如果stock_history目录下已经存在csv格式的股票数据,该工具将自动加载到界面中。 双击股票文件名,股票数据将显示在界面右侧的表格中。

数据内容除收盘价、开盘价、最高价、最低价、成交量外,还包括涨幅、换手率、总市值等,较为丰富。

三个按钮的功能如下:

“开始下载”:工具开始增量下载从股票上市到最新交易日的所有数据

“文件更新”:虽然现在已经预约了,但我个人认为是为背景锦上添花的功能。 然后根据需要添加

补充下载:如果在使用中遇到网站反向机制,可以记录未成功下载的股票列表,并手动进行二次下载。

下载过程中会显示进度条。

下载完成后,在“日志区域”中统计下载情况。

因为我当地已经有历史数据了,所以只更新了最近三天的数据。 首次使用此工具时,将下载所有股票数据。

根据日志,4368股的更新,4368股的增加数据,0股的更新失败。 总共需要515秒(每天花10分钟左右更新数据,非常可以接受! )

如果股票下载失败,稍后可以单击“完成下载”按钮进行第二次下载。

保存整个市场的股票数据后,可以展开对cxdpw市场的股票选择和回测!

视频演示

说明

1 .我们把源代码上传到知识星《玩转股票量化交易》上,帮助伙伴们更好地掌握这个方法。

2 .最近加入知识星就可以享受到【福利】价格99的“Python量化场景编程技术和方法”! 获取微信!

点击【量化学习途径】【星干物目录】可以查看【阅读原文】。

元宵大师的量化交易书籍即将发售! 京东、当当、天猫在卖!

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。