首页 > 编程知识 正文

网络爬虫要学什么,网络爬虫教学

时间:2023-05-06 10:17:23 阅读:286442 作者:4803

1.1.1知识概述

介绍网络爬虫的课时安排,以及简单介绍当前课程在大数据课程中的重要性。

1.1.2视频详情

1.1.3总结与补充

        无

1.1.4课堂提问与练习

        无

1.1.5习题答案

        无



1.1 网络爬虫是什么1.2.1知识概述

以上数据来源于 百度百科

爬虫又叫网络爬虫,网络蜘蛛,一种运行在互联网上用来获取数据的的自动程序。

l 互联网的数据,有很多,一般都是根据业务需求来的。

n 网页(文字、图片、视频)

n 商品数据

l 怎么获取数据?        

n HTTP协议

n 人的操是通过浏览器的,程序是利用网络请求的相关协议获取数据。

l 自动化,尽可能减少人工的干预。

n 爬虫开发的技术,没有限制的。

python做网络爬虫是非常流行的。

Java 编写爬虫框架。

思考题:某公司要获取京东的数据,也要获取淘宝的数据,又要获取豆瓣上的数据,请问开发一个爬虫程序好?还是多个程序好?

1.2.2视频详情

1.2.3总结与补充

        无

1.2.4课堂提问与练习

        网络爬虫的概念?

1.2.5习题答案

        网络爬虫:又称网络蜘蛛,就是按照一定的规则,运行在计算机上的一段自动化的脚本程序

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。