本文目录一览：
- 1、如何用python抓取淘宝京东网页所有审查元素，不是源代码
- 2、怎样用python抓取淘宝评论
- 3、python爬虫求一个只用requests库和beautifulsoup库抓取淘宝目录页面内容的框架。。自己抓不出来。绝望。
- 4、怎么使用python获取淘宝数据
如何用python抓取淘宝京东网页所有审查元素，不是源代码
审查元素显示的其实就是格式化之后的源代码，你可以用对比一下。
下面是一个Python3使用urllib库读取源代码的例子，如果要处理成审查元素那样的格式，需要对html标签逐个处理下
import http.cookiejar
import urllib.request
ckjar = http.cookiejar.MozillaCookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(ckjar))
res = opener.open("")
htm = res.read().decode('gbk')
print(htm)
怎样用python抓取淘宝评论
#coding=utf-8
import urllib2
import sys
import json
import re
#设置系统默认编码为utf-8
reload(sys)
sys.setdefaultencoding("utf-8")
#Only for python2
'''
只是简单的示例，没有检查无评论的情况，其它异常也可能没有检查，
你可以根据自己的需要再对代码修改
'''
#解析网页数据
def parseData(html_data, reg_str):
pattern = re.compile(reg_str)
result = re.search(pattern, html_data)
if result:
return result.groups()
#commodity_url 为商品详情页面
commodity_url = ";id=44454286657"
html_data = urllib2.urlopen(commodity_url).read()
#获取用户ID和商品ID
auction_msg = parseData(html_data, r'userNumId=(.*?)auctionNumId=(.*?)')
if not auction_msg:
print "Get reviews failed!"#获取失败，退出
sys.exit()
reviews_url = ";currentPageNum=1rateType=orderType=sort_weightuserNumId=%sauctionNumId=%s"%auction_msg
response = urllib2.urlopen(reviews_url)
reviews_data = response.read().decode("gbk")
#获取评论数据
json_str = parseData(reviews_data, r'((.*))')[0]
if not json_str:
print "Get reviews failed!"#获取失败，退出
sys.exit()
jdata = json.loads(json_str)
#下面只打印了第一条评论，如需要打印所有，则遍历jdata["comments"]即可
print jdata["comments"][0]["content"]
python爬虫求一个只用requests库和beautifulsoup库抓取淘宝目录页面内容的框架。。自己抓不出来。绝望。
可以将网页下载下来先练习 BeautifulSoup 的解析。
requests 请求也是一样先各个击破的学习。
淘宝的请求回来的页面 html 没有目录数据，是因为有可能他们的页面渲染是通过 JS 来渲染的，所以你只用 BeautifulSoup 是不行的。需要使用其他支持 JS 的库。
怎么使用python获取淘宝数据
两种方法：
网络爬虫。使用urllib2和BeautifulSoup（或者正则表达式）去抓取网页数据，大部分的网站都要这么做。
淘宝开放平台SDK。申请一个sdk用户，然后调用API。支持python2.7以上版本。