Tornado异步

300次阅读

共计 3259 个字符，预计需要花费 9 分钟才能阅读完成。

因为 epoll 主要是用来解决网络 IO 的并发问题，所以 Tornado 的异步编程也主要体现在网络 IO 的异步上，即异步 Web 请求

tornado.httpclient.AsyncHTTPClient

Tornado 提供了一个异步 Web 请求客户端 tornado.httpclient.AsyncHTTPClient 用来进行异步 Web 请求
fetch(request, callback=None)

用于执行一个 web 请求 request，并异步返回一个 tornado.httpclient.HTTPResponse 响应

request 可以是一个 url，也可以是一个 tornado.httpclient.HTTPRequest 对象。如果是 url，fetch 会自己构造一个 HTTPRequest 对象
HTTPRequest

HTTP 请求类，HTTPRequest 的构造函数可以接收众多构造参数，最常用的如下
- url(string) – 要访问的 url，此参数必传，除此之外均为可选参数
- method (string) – HTTP 访问方式，如“GET”或“POST”，默认为 GET 方式
- headers (HTTPHeaders or dict) – 附加的 HTTP 协议头
- body – HTTP 请求的请求体
HTTPResponse

HTTP 响应类，其常用属性如下：
- code: HTTP 状态码，如 200 或 404
- reason: 状态码描述信息
- body: 响应体字符串
- error: 异常（可有可无）

说明

此装饰器用于回调形式的异步方法，并且应该仅用于 HTTP 的方法上（如 get、post 等）

此装饰器不会让被装饰的方法变为异步，而只是告诉框架被装饰的方法是异步的，当方法返回时响应尚未完成。只有在 request handler 调用了 finish 方法后，才会结束本次请求处理，发送响应

不带此装饰器的请求在 get、post 等方法返回时自动完成结束请求处理

协程异步

import tornado.web
import tornado.httpclient


class IndexHandler(tornado.web.RequestHandler):
    @tornado.gen.coroutine
    def get(self):
        http = tornado.httpclient.AsyncHTTPClient()
        response = yield http.fetch("http://www.baidu.com")
        if response.error:
            self.send_error(500)
        else:
            print(response.body.decode('utf-8'))
            f = open('baidu.html', 'wb')
            f.write(response.body)
            f.close()
            self.write("操作成功")

也可以将异步 Web 请求单独出来

import tornado.web
import tornado.httpclient


class IndexHandler(tornado.web.RequestHandler):
    @tornado.gen.coroutine
    def get(self):
        rep = yield self.get_body_info("http://www.baidu.com")
        if rep['ret'] == 1:
            print(rep['body'])
        self.write("成功")

    @tornado.gen.coroutine
    def get_body_info(self, url):
        rep = {"ret":1}
        http = tornado.httpclient.AsyncHTTPClient()
        response = yield http.fetch(url)
        if response.error:
            rep = {"ret":0}
        else:
            rep['body'] = response.body.decode('utf-8')
            f = open('baidu.html', 'wb')
            f.write(response.body)
            f.close()
            self.write("操作成功")
        raise tornado.gen.Return(rep)  # 此处需要注意

代码中我们需要注意的地方是 get_body_info 返回值的方式，在 python 2 中，使用了 yield 的生成器可以使用不返回任何值的 return，但不能 return value，因此 Tornado 为我们封装了用于在生成器中返回值的特殊异常 tornado.gen.Return，并用 raise 来返回此返回值

并行协程

Tornado 可以同时执行多个异步，并发的异步可以使用列表或字典

import tornado.web
import tornado.httpclient


class IndexHandler(tornado.web.RequestHandler):
    @tornado.gen.coroutine
    def get(self):
        self.urls = ["http://www.baidu.com","http://www.webometrics.info/en/Asia"]
        rep1, rep2 = yield [self.get_url_info(self.urls[0]), self.get_url_info(self.urls[1])]
        self.write_response(self.urls[0], rep1, 'baidu.html')
        self.write_response(self.urls[1], rep2, 'Asia.html')

    def write_response(self, url, response, name):
        self.write(url)
        self.write(":<br/>")
        if 1 == response["ret"]:
            f = open(name, 'wb')
            f.write(response['body'])
            f.close()
            self.write("操作成功")
        else:
            self.write("获取数据失败 <br/>")

    @tornado.gen.coroutine
    def get_url_info(self, url):
        rep = {"ret": 1}
        http = tornado.httpclient.AsyncHTTPClient()
        response = yield http.fetch(url)
        if response.error:
            rep = {"ret": 0}
        else:
            rep['body'] = response.body
        raise tornado.gen.Return(rep)  # 此处需要注意