• MIT人工智能实验室
  • 大数据分析平台
  • 游戏开发《骑马与砍杀》
  • 量化金融分析
  • python爬虫
  • python django web框架
MIT人工智能实验室 大数据分析平台 游戏开发《骑马与砍杀》 量化金融分析 python爬虫 python django web框架
  • Scrapy 框架流程详解

    auto 2019-05-13 21:33:21 python

    2027°

    20

    框架流程图 Scrapy 使用了 Twisted 异步非阻塞网络库来处理网络通讯,整体架构大致如下(绿线是数据流向): 简单叙述一下每层图的含义吧: Spiders(爬虫):它负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Sch ...
  • django+selenium 12306接口车票查询

    Run 2019-05-12 22:16:31 django

    7266°

    20

    django+selenium 12306接口车票查询,现在只支持热门城市查询,后续会添加全国城市,web可视化界面,登陆抢票接口,未完待续......
  • 01_爬虫伪装成浏览器的四种方法

    auto 2019-05-12 20:16:15 python

    2559°

    20

    好多网站对于爬虫中没有进行浏览器伪装的会进行反爬, 以糗事百科网站为例 下面提供了三种方法添加headers,使爬虫能够伪装成浏览器访问。 备注: 方法二和方法三中省略了 方法一:通过opener添加header 方法二:通过opener批量添加header 方法三:通过Request添加heade ...
  • #1 组成互不相同且不重复的三位数

    auto 2019-05-12 20:16:15 python

    1943°

    20

    【题目】 从1,2,3,4四个数字中组成互不相同且不重复的三位数,要求全部列出 【题目分析】 用列表生成式一步到位 【解答】 1 #!/Users/minutesheep/.pyenv/shims/python 2 # -*- coding: utf-8 -*- 3 4 ans = [i*100+j ...
  • #22 结语

    auto 2019-05-12 20:16:15 python

    1995°

    20

    到此为止,Python基础完结撒! 其实,任何一门程序语言的基础无非不过:输入输出语句、数据结构、变量定义、选择结构、循环结构、定义函数,只要掌握这些部分,基础就打牢靠了! 编写Python程序时可能会用到许多陌生模块,不要害怕,多去查查就会使用了。 语言这个东西如逆水行舟,不进则退,只有多看,多练 ...
  • 迭代器的应用以及说明的问题

    auto 2019-05-12 20:16:15 python

    1887°

    20

    一般使用for循环的顺序: 先创建一个迭代器:列表,并且列表内已存在数据 接着使用 for循环遍历列表 但这样存在一个问题,假如列表内的数据量很大,这样还未使用for循环便已经被列表占用很大的资源 这时我们就可以将这个迭代器做成一个生成数据的迭代器,而非只是占用大资源的数据,从而减少资源占用 pyt ...
  • python(leetcode)-1.两

    auto 2019-05-12 20:16:15 python

    2091°

    20

    看到这道题,不难理解,就是找出两个值的和等于特定值的下标。 笔者没有太多的想法,用python暴力法先实现一遍 上代码(未通过-超出时间限制) 分析原因:代码两层for循环,时间复杂度为O(n^2),所以遇到数据量大的情况耗时较久。 优化:上代码(通过-6800ms)击败20% 解释一下: 两层fo ...
  • Python练手例子(8)

    auto 2019-05-12 20:16:15 python

    1927°

    20

    43、模仿静态变量(static)另一案例。 程序分析:演示一个python作用域使用方法。 44、两个 3 行 3 列的矩阵,实现其对应位置的数据相加,并返回一个新矩阵: 程序分析:创建一个新的 3 行 3 列的矩阵,使用 for 迭代并取出 X 和 Y 矩阵中对应位置的值,相加后放到新矩阵的对应 ...
  • 协程

    auto 2019-05-12 20:16:15 python

    2180°

    20

    协程的特点是利用任务的阻塞时间去处理其他任务 处理任务的是线程,而协程是单线程,占用资源由大到小排:多进程>多进程>协程 gevent模块封装greenlet模块,greenlet模块封装yield 在gevent里使用tiem.sleep会失效,需要使用gevent.sleep,或者使用monke ...
  • 05_多协程爬取斗鱼高颜值美女图片-2.

    auto 2019-05-12 20:16:15 python

    2005°

    20

    1 import requests 2 import re 3 # from bs4 import BeautifulSoup 4 from urllib import request 5 # import threading 6 import gevent 7 from gevent import... ...
  • python教程(四)·序列

    auto 2019-05-12 20:16:15 python

    1485°

    20

    距离上次的小项目已经休息了很长一段时间,是时候来继续本系列教程了。这一节开始我们将深入python中的数据结构。 ...
  • 基于逻辑回归的利用欠采样处理类别不平衡的

    auto 2019-05-12 20:16:15 python

    1942°

    20

    In [2]: import pandas as pd import matplotlib.pyplot as plt import numpy as np %matplotlib inline 一、获取数据集 (一)认识数据、分析数据,确定研究方法 1.数据集简介: 这个信用卡欺诈数据集是从kag ...
  • python的历史

    auto 2019-05-12 20:16:15 python

    1969°

    20

    很容易ABC Guido van Rossum 吉多·范罗苏姆-python创建者 Guido van Rossum 吉多·范罗苏姆-python创建者 Python中的字母表和编程语言有什么共同之处?对,两者都以ABC开头。如果我们在Python语境中讨论ABC,很明显编程语言ABC就是这个意思。 ...
  • [译]PEP 380--子生成器的语法

    auto 2019-05-12 20:16:15 python

    1891°

    20

    导语: PEP(Python增强提案)几乎是 Python 社区中最重要的文档,它们提供了公告信息、指导流程、新功能的设计及使用说明等内容。对于学习者来说,PEP 是非常值得一读的第一手材料,学习中遇到的大部分难题,都能在 PEP 中找到答案或者解决思路。 我翻译了几篇 PEP,这么做的目的一方面是 ...
  • 清除过期日志的py脚本

    auto 2019-05-12 20:16:15 python

    1961°

    20

    本篇和大家分享的是一个清除过期日志的python脚本,年后第二篇希望对大家有帮助; 该python脚本创建的由来 代码及分析 crontab定时任务 该python脚本创建的由来 此由来,是在过年假期时突然被反馈告警服务器磁盘空间占用比例增大,当时通过df等命令定位到,是使用了某个开源任务调度框架日 ...
  • Python 使用Python远程连接并

    auto 2019-05-12 20:16:15 python

    2406°

    20

    使用Python远程连接并操作InfluxDB数据库 by:授客 QQ:1033553122 实践环境 Python 3.4.0 CentOS 6 64位(内核版本2.6.32-642.el6.x86_64) influxdb-1.5.2.x86_64.rpm 网盘下载地址: https://pan ...
  • jupyter记事本的安装和简单应用

    auto 2019-05-12 20:16:15 python

    2286°

    20

    1.概述 jupyter记事本是一个基于Web的前端,被分成单个的代码块或单元。根据需要,单元可以单独运行,也可以一次全部运行。这使得我们可以运行某个场景,看到输出结果,然后回到代码,根据输出结果对代码做出相应的调整(说白了就是可以直接在浏览器中编写Python程序,然后执行程序并输出结果,是不是感 ...
  • 使用清华镜像在python中pip 安装

    auto 2019-05-12 20:16:15 python

    3447°

    20

    Anaconda的安装步骤不在本文的讨论中,我们主要是学习一下如何配置conda的镜像,以及一些问题的解决过程 配置镜像 在conda安装好之后,默认的镜像是官方的,由于官网的镜像在境外,我们使用国内的镜像能够加快访问的速度。这里我选择了清华的的镜像。镜像的地址如下:点我进入tuna 在命令行中运行 ...
  • python常用模块

    auto 2019-05-12 20:16:15 python

    2023°

    20

    collections模块 namedtuple #命名元组 #生成可以使用名字来访问元素内容的tuple from collections import namedtuple Point = namedtuple('point',['x','y']) #一个点的命名元组 p = Point(1,2... ...
  • windows环境下用pip安装pyau

    auto 2019-05-12 20:16:15 python

    2074°

    20

    1、不能直接使用win+r运行cmd并使用pip,必须点击开始->windows系统->命令提示符,右键->以管理员身份运行 2、运行pip install pyautogui后提示You are using pip version 10.0.1, however version 19.0.1 is ...