首页 > 编程知识 正文

如何批量网页数据,wind批量各省数据

时间:2023-05-05 22:30:45 阅读:204468 作者:4010

1 简介

该App软件名为DC6GCM (Download of CMIP6 GCMs)。版本号为V6.0。其在Matlab R2020a 版本下开发,Matlab2007b以上版本可以正常运行,其他版本Matlab不知能否正常使用。该版本的功能:在windows系统下,利用Wget和Matlab并行批量地下载CMIP6 GCMs数据。

2 登陆界面

登录界面(Figure 2)设计成普通软件的类型,一般先注册,只需要提供用户的邮箱。但是,考虑到邮箱有可能收不到邮件的问题,可能需要更换邮箱尝试(最好使用qq邮箱)。

3 功能模块界面

功能模块界面的名称为DownloadCMIP6 GCMs(Figure 3.1)。Inputs and Outputs组件中File_wget exe是wget软件的文件路径,wget.exe的简介和下载网站可以参考,https://eternallybored.org/misc/wget/。Folder_wgetfile 用来存放(理论上.sh文件数没有上限)后缀为.sh文件(一般来自于ESGF网站)的文件夹路径,关于如何获取.sh文件,可以参考CMIP6GCMs 数据结构与下载(笔记)。Folder_savedata用来存放下载的CMIP6GCMs的后缀为.nc文件的文件夹路径。

Satisfieddownload rate和Predefined number of tries这两个参数是下载程序的终止条件。Satisfieddownload rate是指达到满意的下载率(已下载的nc文件/总共需要下载的nc文件),下载程序就终止,可以设定为0.95,范围为0~1。Predefined numberof tries是预先设定的下载尝试次数,因为有的nc文件在当前时刻可能下载不成功,但是在别的时刻可能下载成功,为整数,数值越大,下载尝试的时间越长。


当以上组件设计好之后,就可以按Run按钮控件,等待计算,计算完成, Computational Control组件会显示为CMIP6 GCMs has been downloaded, please exit. 接着按Exit按钮控件退出;如果期望接着下载,可以修改Satisfieddownload rate和Predefined number of tries这两个参数,按Run按钮控件,继续下载(但是此时Computational Control组件的显示不会改变,是要给小bug)。

4 案例分析

下载两个wget文件(后缀为.sh)的案例操作见哔哩哔哩视频(搜微信公众号 matbasin流域模型、或 https://www.bilibili.com/video/BV1wK4y1o7B5/)。

Windows系统下Matlab并行下载CMIP6 GCMs数据

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。