发布时间:2019-07-08 18:00:57编辑:auto阅读(1490)
1,引言
GooSeeker早在9年前就开始了Semantic Web领域的产品化,MS谋数台和DS打数机是其中两个产品。对web内容做结构化转换和语义处理的主要路线是 XML -> RDF -> Ontology Engineering。所以这两款产品的输出信息是XML格式的,实现第一步:结构化转换。单纯作为一个网页采集器来说,输出XML格式也有好处,这是一种标准格式,后续的数据处理可以很容易地接入,任意发挥。
在web集成和网站前端领域,json越来越普遍,在Scrapy架构中,Scrapy dict数据结构本质上就是json,所以,由XML格式转换成JSON格式很有必要。
无论哪种编程语言,XML转Json都有很多现成的程序包,但是,就像前面说的,GooSeeker定义的XML格式主要用来做实体建模,有自己规定的一套语义结构描述标准。所以,不能直接使用现成的转换程序,或者需要在现成的转换程序上做些修改。
本文是一个实验过程,并没有考虑GooSeeker要求的语义结构,只是验证一下XML到Json的转换。
2,实验用的XML文件
我们使用《python爬虫实战(2):爬取京东商品列表》一文的结果文件,python爬虫爬取的结果保存在 京东手机列表_1.xml 文件中。内容如下图所示
下面针对这个结果文件先做个xml转json的测试,为提取器gsExtractor添加输出Json文件的功能做技术准备。
3,测试过程
测试使用的模块:xml.parsers.expat, json
测试输入: 以python爬虫实战(2):爬取京东商品列表一文的xml结果文件 京东手机列表_1.xml 作为输入
代码如下:
#! /usr/bin/env python # -*- coding:utf-8 -*- # xml 转 json # xml2json.py # Version 1.0 from xml.parsers.expat import ParserCreate import json class Xml2Json: LIST_TAGS = ['COMMANDS'] def __init__(self, data = None): self._parser = ParserCreate() self._parser.StartElementHandler = self.start self._parser.EndElementHandler = self.end self._parser.CharacterDataHandler = self.data self.result = None if data: self.feed(data) self.close() def feed(self, data): self._stack = [] self._data = '' self._parser.Parse(data, 0) def close(self): self._parser.Parse("", 1) del self._parser def start(self, tag, attrs): assert attrs == {} assert self._data.strip() == '' self._stack.append([tag]) self._data = '' def end(self, tag): last_tag = self._stack.pop() assert last_tag[0] == tag if len(last_tag) == 1: #leaf data = self._data else: if tag not in Xml2Json.LIST_TAGS: # build a dict, repeating pairs get pushed into lists data = {} for k, v in last_tag[1:]: if k not in data: data[k] = v else: el = data[k] if type(el) is not list: data[k] = [el, v] else: el.append(v) else: #force into a list data = [{k:v} for k, v in last_tag[1:]] if self._stack: self._stack[-1].append((tag, data)) else: self.result = {tag:data} self._data = '' def data(self, data): self._data = data if __name__ == '__main__': xml = open("京东手机列表_1.xml", 'r', encoding='UTF-8').read() result = Xml2Json(xml).result; outputfile = open("京东手机列表_1.json", 'w', encoding='UTF-8') outputfile.write(str(result)) outputfile.close()
在控制台运行: $ python xml2json.py
测试输出:京东手机列表_1.json。运行后在当前文件夹下可以看到新生成的json文件
4,接下来的工作
升级gsExtractor提取器类,加入新的方法,支持把提取结果从xml转换为json格式
转换成的json结构必须符合GooSeeker要求的语义描述结构,为直接存入MongoDB做准备
5,相关文档
1,Python即时网络爬虫项目: 内容提取器的定义
2,Python爬虫实战(2):爬取京东商品列表
6,集搜客GooSeeker开源代码下载源
1, GooSeeker开源Python网络爬虫GitHub源
7,文档修改历史
2016-06-20:V1.0,首次发布
上一篇: Python3.5 tab补全 yum
下一篇: iBatis3基于方言(Dialect)
47476
45774
36778
34296
28948
25583
24429
19600
19085
17621
5452°
6035°
5551°
5626°
6552°
5363°
5364°
5870°
5843°
7157°