发布时间:2020-11-05 13:59:53编辑:admin阅读(4398)
默认Scrapy callback只能接函数名,不能传参数,我如果想给callback传递多个参数呢?
回调方法示例:
yield Request(url=self.base_url + 'QueryInfo', headers=self.request_headers, method="POST", body=json.dumps(request_params), callback=self.page_query_schools, cb_kwargs=add_params)
callback对应的是page_query_school()即为回调的方法。
如何向回调方法中传递参数呢?
在scrapy1.7之后,是基于cb_kwargs方式传递dict类型,可以在回调方式中直接访问对应的参数值。
add_params = {} add_params['province_code'] = province_code add_params['province_name'] = name yield Request(url=self.base_url + 'QueryInfo', headers=self.request_headers, method="POST", body=json.dumps(request_params), callback=self.page_query_schools, cb_kwargs=add_params) def page_query_schools(self, response, province_code, province_name): # logic definition
从上述方法中可知, add_params初始化为dict, 放入province_code/province_name两个值。在page_query_schools()方法中,其中的key值直接以参数传入方法: province_code/province_name.
本文参考链接:
https://blog.csdn.net/blueheart20/article/details/108352214
下一篇: Scrapy全站抓取-个人博客
50174
49450
40094
37125
31534
28368
27321
22115
22077
20412
74°
659°
484°
470°
686°
606°
1205°
2277°
2101°
1637°