-
auto
2019-05-13 21:33:21
python
2027°
20
框架流程图 Scrapy 使用了 Twisted 异步非阻塞网络库来处理网络通讯,整体架构大致如下(绿线是数据流向): 简单叙述一下每层图的含义吧: Spiders(爬虫):它负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Sch ...
-
Run
2019-05-12 22:16:31
django
7266°
20
django+selenium 12306接口车票查询,现在只支持热门城市查询,后续会添加全国城市,web可视化界面,登陆抢票接口,未完待续......
-
auto
2019-05-12 20:16:15
python
2559°
20
好多网站对于爬虫中没有进行浏览器伪装的会进行反爬, 以糗事百科网站为例 下面提供了三种方法添加headers,使爬虫能够伪装成浏览器访问。 备注: 方法二和方法三中省略了 方法一:通过opener添加header 方法二:通过opener批量添加header 方法三:通过Request添加heade ...
-
auto
2019-05-12 20:16:15
python
1943°
20
【题目】 从1,2,3,4四个数字中组成互不相同且不重复的三位数,要求全部列出 【题目分析】 用列表生成式一步到位 【解答】 1 #!/Users/minutesheep/.pyenv/shims/python 2 # -*- coding: utf-8 -*- 3 4 ans = [i*100+j ...
-
auto
2019-05-12 20:16:15
python
1995°
20
到此为止,Python基础完结撒! 其实,任何一门程序语言的基础无非不过:输入输出语句、数据结构、变量定义、选择结构、循环结构、定义函数,只要掌握这些部分,基础就打牢靠了! 编写Python程序时可能会用到许多陌生模块,不要害怕,多去查查就会使用了。 语言这个东西如逆水行舟,不进则退,只有多看,多练 ...
-
auto
2019-05-12 20:16:15
python
1887°
20
一般使用for循环的顺序: 先创建一个迭代器:列表,并且列表内已存在数据 接着使用 for循环遍历列表 但这样存在一个问题,假如列表内的数据量很大,这样还未使用for循环便已经被列表占用很大的资源 这时我们就可以将这个迭代器做成一个生成数据的迭代器,而非只是占用大资源的数据,从而减少资源占用 pyt ...
-
auto
2019-05-12 20:16:15
python
2091°
20
看到这道题,不难理解,就是找出两个值的和等于特定值的下标。 笔者没有太多的想法,用python暴力法先实现一遍 上代码(未通过-超出时间限制) 分析原因:代码两层for循环,时间复杂度为O(n^2),所以遇到数据量大的情况耗时较久。 优化:上代码(通过-6800ms)击败20% 解释一下: 两层fo ...
-
auto
2019-05-12 20:16:15
python
1927°
20
43、模仿静态变量(static)另一案例。 程序分析:演示一个python作用域使用方法。 44、两个 3 行 3 列的矩阵,实现其对应位置的数据相加,并返回一个新矩阵: 程序分析:创建一个新的 3 行 3 列的矩阵,使用 for 迭代并取出 X 和 Y 矩阵中对应位置的值,相加后放到新矩阵的对应 ...
-
auto
2019-05-12 20:16:15
python
2180°
20
协程的特点是利用任务的阻塞时间去处理其他任务 处理任务的是线程,而协程是单线程,占用资源由大到小排:多进程>多进程>协程 gevent模块封装greenlet模块,greenlet模块封装yield 在gevent里使用tiem.sleep会失效,需要使用gevent.sleep,或者使用monke ...
-
auto
2019-05-12 20:16:15
python
2005°
20
1 import requests 2 import re 3 # from bs4 import BeautifulSoup 4 from urllib import request 5 # import threading 6 import gevent 7 from gevent import... ...
-
auto
2019-05-12 20:16:15
python
1485°
20
距离上次的小项目已经休息了很长一段时间,是时候来继续本系列教程了。这一节开始我们将深入python中的数据结构。 ...
-
auto
2019-05-12 20:16:15
python
1942°
20
In [2]: import pandas as pd import matplotlib.pyplot as plt import numpy as np %matplotlib inline 一、获取数据集 (一)认识数据、分析数据,确定研究方法 1.数据集简介: 这个信用卡欺诈数据集是从kag ...
-
auto
2019-05-12 20:16:15
python
1969°
20
很容易ABC Guido van Rossum 吉多·范罗苏姆-python创建者 Guido van Rossum 吉多·范罗苏姆-python创建者 Python中的字母表和编程语言有什么共同之处?对,两者都以ABC开头。如果我们在Python语境中讨论ABC,很明显编程语言ABC就是这个意思。 ...
-
auto
2019-05-12 20:16:15
python
1891°
20
导语: PEP(Python增强提案)几乎是 Python 社区中最重要的文档,它们提供了公告信息、指导流程、新功能的设计及使用说明等内容。对于学习者来说,PEP 是非常值得一读的第一手材料,学习中遇到的大部分难题,都能在 PEP 中找到答案或者解决思路。 我翻译了几篇 PEP,这么做的目的一方面是 ...
-
auto
2019-05-12 20:16:15
python
1961°
20
本篇和大家分享的是一个清除过期日志的python脚本,年后第二篇希望对大家有帮助; 该python脚本创建的由来 代码及分析 crontab定时任务 该python脚本创建的由来 此由来,是在过年假期时突然被反馈告警服务器磁盘空间占用比例增大,当时通过df等命令定位到,是使用了某个开源任务调度框架日 ...
-
auto
2019-05-12 20:16:15
python
2406°
20
使用Python远程连接并操作InfluxDB数据库 by:授客 QQ:1033553122 实践环境 Python 3.4.0 CentOS 6 64位(内核版本2.6.32-642.el6.x86_64) influxdb-1.5.2.x86_64.rpm 网盘下载地址: https://pan ...
-
auto
2019-05-12 20:16:15
python
2286°
20
1.概述 jupyter记事本是一个基于Web的前端,被分成单个的代码块或单元。根据需要,单元可以单独运行,也可以一次全部运行。这使得我们可以运行某个场景,看到输出结果,然后回到代码,根据输出结果对代码做出相应的调整(说白了就是可以直接在浏览器中编写Python程序,然后执行程序并输出结果,是不是感 ...
-
auto
2019-05-12 20:16:15
python
3447°
20
Anaconda的安装步骤不在本文的讨论中,我们主要是学习一下如何配置conda的镜像,以及一些问题的解决过程 配置镜像 在conda安装好之后,默认的镜像是官方的,由于官网的镜像在境外,我们使用国内的镜像能够加快访问的速度。这里我选择了清华的的镜像。镜像的地址如下:点我进入tuna 在命令行中运行 ...
-
auto
2019-05-12 20:16:15
python
2023°
20
collections模块 namedtuple #命名元组 #生成可以使用名字来访问元素内容的tuple from collections import namedtuple Point = namedtuple('point',['x','y']) #一个点的命名元组 p = Point(1,2... ...
-
auto
2019-05-12 20:16:15
python
2074°
20
1、不能直接使用win+r运行cmd并使用pip,必须点击开始->windows系统->命令提示符,右键->以管理员身份运行 2、运行pip install pyautogui后提示You are using pip version 10.0.1, however version 19.0.1 is ...