Python实现自动化网页操作

1 准备

推荐使用Chrome浏览器

1.1 安装selenium程序包

激活虚拟环境,打开新的Terminal,输入以下代码:

python -m pip install selenium


如下图所示,表示安装成功,版本为4.7.2


安装成功

关闭虚拟环境,打开新的Terminal

1.2 引入函数模块

#引入time模块,实现延时
import time
#引入selenium库中的webdriver模块,实现对网页的操作
from selenium import webdriver
#引入By Class,辅助元素定位
from selenium.webdriver.common.by import By
#引入ActionChains Class,辅助鼠标移动
from selenium.webdriver.common.action_chains import ActionChains


2 实现

2.1 打开网页

#打开谷歌浏览器
driver = webdriver.Chrome()
#打开网页
driver.get('URL') #将URL替换为需要操作的网址


2.2 元素定位

要想实现对网页的控制,需要首先定位网页上的元素,一般为搜索框、选项、按钮等。

selenium 4.0以上的版本更新了元素定位方式,要用到find_element函数,用法举例如下:

el = driver.find_element(By.NAME, "*")


首先要获取元素的信息:

打开网页后,按F12,打开元素审查窗口



点击窗口中红框标出的图标,即可在页面上选择需要定位的元素,查看其代码。

一般需要定位的元素代码都以input开头,下图为搜索框的代码,从代码中可以提取定位元素所需要的信息:



根据下列信息均可以定位元素,但要保证根据该信息可以唯一定位到该元素:



如果根据其他信息无法唯一定位该元素,可以采取XPath定位,XPath的获取方式比较特殊,需要右键单击该代码行,在下拉列表中选择Copy full XPath,如下图所示:



2.3 元素控制

定位到元素后,可以进行下列操作,实现对元素的控制:


以输入文字为例,代码如下(*为需要输入的文字):

el.send_keys('*')


如果打开网页时,需要控制的元素不在可视范围内,需要滑动鼠标定位,则要借助于ActionChains,否则可能会报错:找不到该元素。

ActionChains(driver).move_to_element(el).click().perform()
el.click()


上述示例为点击操作,其中第二行最好加上,确保点到该元素

另外一种找不到元素的原因可能是网页还没有加载完毕,此时就可以借助于延时功能:

time.sleep(1)


2.4 弹出框的处理

如果点击按钮后,不是打开一个新的页面,而是弹出了一个窗口,需要在新的窗口中操作,则需要通过如下代码转到新的frame下,否则可能会报错:找不到该元素。

driver.switch_to.frame(0)

随后继续按2.2定位元素即可。

相关文章

如何用Python搭建自己的网站

看看如何使用Python工具搭建自己的网站吧,使用Python开发网站通常需要以下几步:搭建步骤选择Web框架:Python有许多Web框架可供选择,如Django、Flask等。选择适合自己的框架非...

不容易!找到一个python的超简易网站搭建神器

作者: 清香客来源:Python 技术相信很多学习python的酱友们,大部分和我一样是为了提升工作效率,但是在提升自己的工作效率时,也会想着做同样工作的同事能不能也用上自己写的脚本(视工作环境而定)...

30天学会Python编程:20. Python Web开发简介

20.1 Web基础概念20.1.1 HTTP协议20.1.2 请求/响应周期客户端发送HTTP请求服务器解析请求应用处理业务逻辑生成HTTP响应返回给客户端20.2 WSGI规范20.2.1 WSG...

5分钟学会用Python Jinja2模板引擎渲染HTML网页

在深入Python Web开发的过程中,HTML模板渲染是构建动态Web应用的重要环节。今天将详细探讨如何使用Python中最流行的模板引擎之一——Jinja2来进行高效且灵活的模板渲染。通过具体的代...

Python开发web指南之创建你的RESTful APP

上回我们说到了:Python Flask开发web指南:创建REST API 。我们知道了 Flask 是一个 web 轻量级框架,可以在上面做一些扩展,我们还用 Flask 创建了 API,也说到了...

Python大屏看板最全教程之Pyecharts图表

阅读本文大约需要3分钟主要内容:数据分析。适用人群:Python初学者,数据分析师,或有志从事数据分析工作的人员。准备软件:Anaconda(Spyder:代码编译)、Navicat Premium...