Python3网络爬虫实战-5、Web库

发布时间：2019-09-25 08:20:07编辑：auto阅读（1912）

    Web 想必我们都不陌生，我们现在日常访问的网站都是 Web 服务程序搭建而成的，Python 同样不例外也有一些这样的 Web 服务程序，比如 Flask、Django 等，我们可以拿它来开发网站，开发接口等等。

    在本书中，我们主要要用到这些 Web 服务程序来搭建一些 API 接口，供我们的爬虫使用。例如，维护一个代理池，代理保存在 Redis 数据库中，我们要将代理池作为一个公共的组件使用，那么如何构建一个方便的平台来供我们取用这些代理呢？最合适不过的就是通过 Web 服务提供一个 API 接口，我们只需要请求接口即可获取新的代理，简单、高效、实用。

    在本书中用到的一些 Web 服务程序主要有 Flask、Tornado。

    本节来分别介绍它们的安装方法。

    1.5.1 Flask的安装

    Flask 是一个轻量级的 Web 服务程序，简单、易用、灵活，在本书中我们主要用它来做一些 API 服务，本节我们来了解下它的安装方式。

    1. 相关链接

    2. Pip安装

    pip3 install flask

    运行完毕之后就可以完成安装。

    3. 验证安装

    安装成功之后可以运行如下实例代码测试一下：

    from flask import Flask
app = Flask(__name__)

@app.route("/")
def hello():
    return "Hello World!"

if __name__ == "__main__":
    app.run()
Python资源分享qun 784758214 ,内有安装包，PDF，学习视频，这里是Python学习者的聚集地，零基础，进阶，都欢迎

    直接运行代码，可以发现系统会在 5000 端口开启 Web 服务，控制台输出如下：

    * Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)

    直接访问：http://127.0.0.1:5000/，可以观察到网页中呈现了 Hello World!，如图 1-41 所示：
    [图片上传失败...(image-e4fea-1563957930486)]
    图 1-41 运行结果
    这样一个最简单的 Flask 程序就运行成功了。

    4. 结语

    在后文我们会利用 Flask+Redis 维护动态代理池和 Cookies 池。

    1.5.2 Tornado的安装

    Tornado 是一个支持异步的Web框架，通过使用非阻塞 I/O 流，它可以支撑成千上万的开放连接，效率非常高，本节我们介绍一下它的安装方式。

    1. 相关链接

    *GitHub：https://github.com/tornadoweb...
    PyPi：https://pypi.python.org/pypi/...
    官方文档：http://www.tornadoweb.org

    2. Pip安装

    pip3 install tornado

    执行完毕之后即可完成安装。

    3. 验证安装

    同样在这里我们也可以用一个 Hello World 程序测试一下，代码如下：

    import tornado.ioloop
import tornado.web

class MainHandler(tornado.web.RequestHandler):
    def get(self):
        self.write("Hello, world")

def make_app():
    return tornado.web.Application([
        (r"/", MainHandler),
    ])

if __name__ == "__main__":
    app = make_app()
    app.listen(8888)
    tornado.ioloop.IOLoop.current().start()
Python资源分享qun 784758214 ,内有安装包，PDF，学习视频，这里是Python学习者的聚集地，零基础，进阶，都欢迎

    直接运行程序，可以发现系统在 8888 端口运行了 Web 服务，控制台没有输出内容，此时访问：http://127.0.0.1:8888/，可以观察到网页中呈现了 Hello, world，如图 1-42 所示：

    Python3网络爬虫实战-5、Web库的安装：Flask、Tornado

    图 1-42 运行结果
    出现上述情景就说明 Tornado 成功安装了。

    4.结语

    在后文我们会利用 Tornado+Redis 来搭建一个 ADSL 拨号代理池。

关键字：

上一篇： Python3网络爬虫实战-19、代理基

下一篇： Python3网络爬虫实战-30、PyQ