python3爬虫

linux selenium chrome 加载用户配置文件

Run 2020-06-01 17:07:00 selenium

 315°

 20

linux selenium chrome 用户配置文件保存了用户名,密码, 加载用户配置文件可实现免密登录,本文将在linux上实现加载用户配置文件登录

python selenium chrome 加载本地用户配置

Run 2020-03-13 13:53:00 selenium

 583°

 20

python selenium chrome 加载本地用户配置,当浏览器保存了cookie后，可使用免密登陆,并把cookie保存到本地

python重试装饰器(Python function retry decorator)

Run 2020-03-11 18:51:47 requests

 690°

 20

python函数执行的时候可能会因为各种原因导致异常,特别是请求接口或者html很容易超时,用装饰器来进行重试，不需要对源代码进行修改这是非常方便的。

python selenium滑动验证防检测

Run 2020-01-20 18:14:59 selenium

 2533°

 20

python selenium在滑动验证过程中,被检测出来，导致验证失败,通常是因为chromedriver驱动被检测出来了,chromedriver驱动中有个key,通过更改key可以破解大部分的滑动验证.

Selenium cookies for requests

Run 2019-11-28 14:50:58 requests

 996°

 20

使用selenium模拟登录,保存cookies,在用requests带上cookies请求接口.

requests-html HTTPSConnectionPool

Run 2019-09-27 16:29:27 requests_html

 801°

 20

requests-html HTTPSConnectionPool(host='hk.zaful.com', port=443): Read timed out. (read timeout=0.1)

requests-html async异步使用

Run 2019-06-06 14:43:56 requests_html

 2534°

 20

requests-html async异步同时访问网站,结果列表中的返回顺序不是固定的

requests-html京东图片上传找电商分类

Run 2019-05-14 22:33:07 requests_html

 1143°

 20

对于图片上传,使用selenium无疑是可以实现的,但是效率确是很低的,本篇文章将介绍利用requests-html提交post请求,获取图片电商分类信息

requests-html爬虫利器介绍

Run 2019-05-11 15:30:14 requests_html

 4031°

 20

requests_html全面支持解析JavaScript,支持CSS ,XPath 选择器,自定义user-agent,自动追踪重定向.连接池与cookie持久化

requests项目实战--抓取猫眼电影排行

Run 2019-05-06 00:25:44 requests

 1132°

 20

利用requests库和xpath抓取猫眼电影TOP100的相关内容

requests-代理设置,超时设置,登陆验证,Prepared Requests

Run 2019-05-03 11:05:00 requests

 1486°

 20

对于某些网站，大规模频繁请求，网站可能会弹出验证码，或者跳转到登陆认证页面，甚至可能会被直接封客户端ip，导致短时间内无法访问，这个时候就需要用到代理ip

requests--证书验证

Run 2019-05-02 18:19:24 requests

 1559°

 20

requests证书验证

requests上传文件Cookies设置

Run 2019-05-02 18:20:20 requests

 1245°

 20

requests的一些高级用法,如文件上传，Cookies设置

requests基本用法

Run 2019-05-02 15:42:00 requests

 1081°

 20

requests比起urllib更加方便简单，有了它，cookies,登陆验证，代理设置等操作都很容易解决

python selenium redis队列提高效率

Run 2019-04-21 22:24:04 selenium

 1334°

 20

对于基于js动态加载的页面，往往使用selenium进行页面的解析，而selenium的效率并不高，本篇文章将借助于redis队列来提高效率

python selenium chrome使用验证代理

Run 2019-04-13 10:53:54 selenium

 1851°

 20

python selenium chrome验证代理的配置

Appium安卓和iOS开发环境安装

Run 2019-03-16 16:49:45 selenium

 1072°

 20

Appium是移动端的自动化测试工具，类似于Selenium，利用它可以驱动Android,iOS等设备完成自动化测试，比如模拟点击，滑动，输入等操作

selenium--chrome配置参数

Run 2019-03-05 16:27:03 selenium

 1727°

 20

selenium--chrome配置参数

selenium爬取博客园文章保存到mysql并自动发布

Run 2019-02-23 15:02:11 selenium

 1335°

 20

python爬虫在爬取数据后，如何将数据完美的整合

urllib异常处理

Run 2018-09-06 20:19:15 urllib

 3512°

 20

爬虫请求的发送过程，在网络不好的情况下，如果出现了异常，程序很可能因报错而终止运行，所以异常处理十分重要.