Python实战:美女图片下载器,海量图片任你下载

yumo6662个月前 (06-23)技术文章30

Python应用现在如火如荼,应用范围很广。因其效率高开发迅速的优势,快速进入编程语言排行榜前几名。本系列文章致力于可以全面系统的介绍Python语言开发知识和相关知识总结。希望大家能够快速入门并学习Python这门语言。

本文是在前一部分Python基础之上Python实战:Python爬虫学习教程,获取电影排行榜,再次升级的Python网页爬虫实战课程。

1.项目概述。

利用XPath和requests模块进行网页抓取与分析,达到网页图片下载的效果。

抓爬图片地址:
http://www.2cto.com/meinv/

开发环境:python 2.7、PyCharm 5 Community

所需知识:神器XPath、Requests模块、Python基本语法。

2.所需模块介绍及安装

  1. Xpath

    1. 介绍:XPath其实是一门可以在XML中通过元素的属性进行查找提取信息的一门语言。它支持HTML。

    2. 与正则表达式相比,更简单。更强大

    3. 安装:下载lxml库进行安装操作。下载地址:
      http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml。下载对应版本的lxml

    4. 打开库目录运行命令进行安装

      1. 下载完成之后,请把后缀名whl改为zip。

      2. 解压文件把lxml文件夹放入python安装目录的lib文件夹下。

  2. Requests模块安装

    1. 具体详细安装步骤请参阅:Python实战:Python爬虫学习教程,获取电影排行榜 中requests的安装。

3.Xpath提取查找内容详解:

是语言都不例外,Xpath也有一定语法。

// 定位根节点

/ 往下层寻找

/text() 提取文本内容

/@xxx 提取属性内容

4.项目主体代码

  1. from lxml import etree

  2. selector = etree.HTML(网页源代码)

  3. selector.xpath(xpath语法)

  4. import requests

  5. requests.get(url)


5.代码演示:

效果展示:

小技巧:xpath简单获取:开发人员工具-定位要提取的标签-右键如图所示可以复制xpath路径。

但尚需修改哦。

欢迎关注今日头条:做全栈攻城狮。Python实战:美女图片下载器,海量图片任你下载。

QQ技术交流群: 538742639

项目源码请关注微信公众平台:fullstackcourse 做全栈攻城狮。回复:"美女图片下载器"获取。

下篇:Python学习入门教程,字符串函数扩充详解

相关文章

教你免费下载付费文档,不限次数不用任何工具,全网资料任意复制

我们在搜索资料的时候会看到一些非常有用的资料,但往往这些资料都是付费资料。只能看一部分,不能直接复制下来。如果要直接下载,那只能付费下载。今天就教大家一个方法,可以免费复制付费文档资料。一分钟学会,看...

网上的付费文档无法下载?这几个方法10秒搞定,任意免费复制

工作或者学习过程中,我们很多时候需要在网上找资料,但是想要的资料却要付费或者提示无法下载怎么办?别怕,这几个方法,让你10秒就能搞定付费文档,任意复制。1. 打印界面复制遇到文档需要付费或者无法复制的...

网站整站下载工具-Website Downloader

随着互联网的发展,网站已经成为了信息分享和传播的渠道之一。在某些情况下,我们可能需要将整个网站保存在本地,以便离线浏览、备份或其他目的。这就是 "Website Downloader"...

教你如何把网页中的图片保存下来?

我们在浏览网页的时候想保存一张图片,一般主要点击右键,另存为图片就可以保存到本地了。但是有些网页对内容做了保护措施,这时候我们就无法右键保存图片了。今天发芽谷小编就来教大家怎么保存无法右键保存的图片,...

不再下载垃圾,快速找到下载链接秘诀

还记得上次“软件下载精准查找下载链接终极大招”么?软件下载坑太多,一不小心就被雷倒了。那今天再来看几个大招,让您以后再也不怕网上下载软件了。感谢今日头条网友“老湿鸡带带我”留言提供第一条思路,撒花。1...

网页内嵌PDF获取的办法

最近女王大人为了通过某认证考试,交了2000RMB,官方居然没有给线下教材资料,直接给的是在线教材,教材是PDF的但是是内嵌在网页内,可惜却没有给具体的PDF地址,无法下载,看到女王大人一点点的截图保...