urlretrievepython2(python)

1.python

对于所有的网页都可以下载。如果网页内有ajax,则无法获得动态js从服务器拉的数据。

给你看看函数的是说明文档,你就明白了。

urlretrieve(url, filename=None, reporthook=None, data=None)

参数 finename 指定了保存本地路径(如果参数未指定,urllib会生成一个临时文件保存数据。)

参数 reporthook 是一个回调函数,当连接上服务器、以及相应的数据块传输完毕时会触发该回调,我们可以利用这个回调函数来显示当前的下载进度。

参数 data 指 post 到服务器的数据,该方法返回一个包含两个元素的(filename, headers)元组,filename 表示保存到本地的路径,header 表示服务器的响应头。

2.怎样用python爬取网页

# coding=utf-8

import urllib

import re

# 百度贴吧网址:

# 根据URL获取网页HTML内容

def getHtmlContent(url):

page = urllib.urlopen(url)

return page.read()

# 从HTML中解析出所有jpg的图片的URL

# 从HTML中jpg格式为<img 。 src = "xxx.jpg" width='''>

def getJPGs(html):

# 解析jpg图片URL的正则表达式

jpgReg = re.compile(r'<img.+?src="(.+?\.jpg)"')

# 解析出jpg的URL列表

jpgs = re.findall(jpgReg, html)

return jpgs

# 用图片url下载图片 并保存成制定文件名

def downloadJPG(imgUrl, fileName):

urllib.urlretrieve(imgUrl, fileName)

# 批量下载图片,默认保存到当前目录下

def batchDownloadJPGs(imgUrls, path='../'): # path='./'

# 给图片重命名

count = 1

for url in imgUrls:

downloadJPG(url, ''.join([path, '{0}.jpg'.format(count)]))

print "下载图片第:", count, "张"

count += 1

# 封装:从百度贴吧网页下载图片

def download(url):

html = getHtmlContent(url)

jpgs = getJPGs(html)

batchDownloadJPGs(jpgs)

def main():

url = ",application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Accept-Charset':'GB2312,utf-8;q=0.7,*;q=0.7', 'Accept-Language':'zh-cn,zh;q=0.5', 'Cache-Control':'max-age=0', 'Connection':'keep-alive', 'Host':'John', 'Keep-Alive':'115', 'Referer':url, 'User-Agent':'Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.14) Gecko/20110221 Ubuntu/10.10 (maverick) Firefox/3.6.14'} opener = urllib2.build_opener(urllib2.HTTPCookieProcessor()) urllib2.install_opener(opener) req = urllib2.Request(url) opener.addheaders = heads.items() respHtml = opener.open(req).read() return respHtml.decode('gbk').encode('utf-8')。

urlretrievepython2

转载请注明出处编程代码网 » urlretrievepython2(python)

资讯

random.seedpython(在Python代码中random.seed(1)什么意思?)

阅读(12)

本文主要为您介绍random.seedpython,内容包括在Python代码中random.seed(1)什么意思?,在Python代码中random.seed(1)什么意思?,python从random库中导出seed函数的用处,用这个怎么表示时间?O(。seed( ) 用于指定随机数生成时所用算法开始的整

资讯

python算法精解pdf(python运算)

阅读(9)

本文主要为您介绍python算法精解pdf,内容包括python运算,Python编程的19个资源,已经在网上看了一些python的教材比如abyteofpython,。Python使用与C、Java类似的运算符,支持整数与浮点数的数学运算。同时还支持复数运算与无穷位数(实际受限于

资讯

python第一列数据(python中如何提取一组数据中的第一列数据)

阅读(8)

本文主要为您介绍python第一列数据,内容包括python中如何提取一组数据中的第一列数据,python中如何提取一组数据中的第一列数据,python怎样实现只读文本数据中的第一列?。概述直接提取会报错,把array数组转换成list,即可提取,使用numpy转换步

资讯

python代替excel(python+pandas是否能代替excel+vba)

阅读(11)

本文主要为您介绍python代替excel,内容包括python可以取代excel吗,python+pandas是否能代替excel+vba,python+pandas是否能代替excel+vba。看你需求吧python自由化程度高一点。excel局限性大一点。难度的话,对于小项目而言,我觉得其实差不多,

资讯

python大数据与量化交易pdf(用Python怎么做量化投资)

阅读(9)

本文主要为您介绍python大数据与量化交易pdf,内容包括用Python怎么做量化投资,作为Python程序员怎样入门量化交易,Python如何将字典中的数据存入到文档中。本文将会讲解量化投资过程中的基本流程,量化投资无非这几个流程,数据输入------策略

资讯

pythonflume(python和flume的联系)

阅读(12)

本文主要为您介绍pythonflume,内容包括python和flume的联系,flume和solr有联系吗,如何理解flume中的avro格式。flume可以用来处理外部API获取的数据。一个可以考虑的应用是利用python将json格式的数据发送给flume的agent(htt

资讯

pythonimap删除邮件(Python收发邮件和删除邮件怎么做到)

阅读(13)

本文主要为您介绍pythonimap删除邮件,内容包括Python收发邮件和删除邮件怎么做到,Python怎么管理邮箱的文件夹,IMAP是什么?怎么用?。邮件传输的SMTP协议,并根据该协议,利用了Python的smtplib和‘email模块,完成邮件的成功发送。简单搭的报警邮

资讯

python中的round函数怎么用(python中round函数怎么用)

阅读(11)

本文主要为您介绍python中的round函数怎么用,内容包括python中round函数怎么用,python中round函数怎么用,python中round(23/5,0)和round(23/5.0)有什么区别。描述round() 方法返回浮点数x的四舍五入值。语法以下是 round() 方法的语法:round(

资讯

python读取tif文件(如何用python读取和写入TIFF文件1)

阅读(12)

本文主要为您介绍python读取tif文件,内容包括如何用python读取和写入TIFF文件1,如何用python读取和写入TIFF文件1,扩展名为TIF文件用什么程序打开?同上。用Python读取TIFF文件,可采用以下代码framedim = [2048,2048]nb_elem = framedim[0]*f

资讯

python写窗口程序(如何用python脚本语言写带窗口程序?)

阅读(12)

本文主要为您介绍python写窗口程序,内容包括如何用python脚本语言写带窗口程序?,python可以编写窗口程序吗,python是如何写界面程序的?。当你想学习一门新的语言时,特别是像Python这样的脚本语言,在你准备充分开始写应用程序的图形化界面之前

资讯

python删除文件最后一行(在python中如何删除文件的某一行)

阅读(9)

本文主要为您介绍python删除文件最后一行,内容包括python怎么删除文本的最后一行或者指定行,python怎么删除文本的最后一行或者指定行,在python中如何删除文件的某一行。删除文件的某一行,可以跳过你要删除的行进行读写,如:data = open(filena

资讯

python外文文献(python外文参考文献有哪些)

阅读(4)

本文主要为您介绍python外文文献,内容包括python外文参考文献,python外文参考文献,基于python国内外文献综述怎么写。python外文参考文献有哪些?关于python外文参考文献举例如下:A Python script for adaptive layo