首页 > 编程知识 正文

python 异步分布式,python多线程爬虫

时间:2023-05-05 20:51:38 阅读:52823 作者:4079

一. cdn加速

简而言之,就是把静态资源放在别人的服务器上

全名:内容分发网络或内容分发网络(内容分发网络)

基本想法:

尽量避免可能影响互联网上数据传输速度和稳定性的瓶颈和环节,使内容传输更快、更稳定。 通过在网络各处安装由节点服务器构成的基于现有互联网的智能虚拟网络,CDN系统基于网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息

目的:

解决了分布式、带宽和服务器性能导致的访问延迟问题,适用于站点加速、按需、实时等场景。 允许用户在附近获得所需内容,解决互联网拥塞,提高用户访问网站的响应速度和成功率。

控制延迟无疑是现代信息技术的重要指标,CDN的意图是尽量在资源传输、传输、链路抖动等情况下顺利保障信息一致性。

CDN是搞笑的眼睛护卫和加速者的角色,能更快准确地发布冷酷的触发信息,接触所有用户,带来更终极的使用体验。

二.向导地图

什么是向导映射:

css向导是一种web图像APP应用程序处理技术。 主要是指将网页所需的小图像整合成大图像

适用的理由:

1 .减少对浏览器的请求数量,避免网页延迟

2 .便于统一管理小图标

创建向导映射:

1 .软件: ps

2 .制作方法:

新建透明图层

添加参考线以分割画布,并将小图标放入分割的网格中

3 .后台数据库使用mysql Redis

mysql是持久化存储,存储在磁盘中。 搜索后,会涉及一定的IO。 为了解决这个瓶颈,缓存出来了。 例如,现在常用的redis。 首先,用户访问缓存,如果未命中则访问mysql,然后将mysql数据复制到缓存中。

redis是一个缓存,驻留在内存中运行,大大加快了web对大量数据的访问。 redis提供了大量的数据结构,如string、list、set、hashset和sorted set,然后用户访问可以直接从redis内存中检索数据。 它的内存读取速度远远快于硬盘

四.数据库优化

1.sql优化

2 .索引优化

3 .分库明细表

4 .读写分离

5 .使用缓存

例如,python-django-restframework附带的缓存

6 .集群化部署

例如:django uwsgi nginx

7 .分布式异步

celery:是分布式异步解决方案

八.语言水平

例如,在具有更多并发性的地方,需要用谷歌语言编写

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。