python 抓网页内容分析

发布时间：2019-09-10 09:14:46编辑：auto阅读（1590）

    用Python语言写搜索引擎蜘蛛的脚本非常简单、轻松。给大家分享两种抓网页内容的方法

    一、用urllib2/sgmllib包，将目标网页的所有URL列出。


    import urllib2

    from sgmllib import SGMLParser

    class URLLister(SGMLParser):
        def reset(self):                           
            SGMLParser.reset(self)
            self.urls = []

        def start_a(self, attrs):                   
            href = [v for k, v in attrs if k=='href']
            if href:
                self.urls.extend(href)

    f = urllib2.urlopen("http://www.baidu.com/")

    if f.code == 200:
        parser = URLLister()
        parser.feed(f.read())
        f.close()
        for url in parser.urls: print url




    二、用python调用IE抓取目标网页（Require win32com, pythoncom）的所有图像的url和大小

    import win32com.client, pythoncom
    import time
    ie = win32com.client.DispatchEx('InternetExplorer.Application.1')
    ie.Visible = 1
    ie.Navigate("http://news.sina.com.cn")
    while ie.Busy:
        time.sleep(0.05)
    doc = ie.Document
    for i in doc.p_w_picpaths:
        print i.src, i.width, i.height

    这种方法可以利用IE本身的Javascript. DHTML的支持，来做自动提交Form,和处理Javascript。
    有关样例可以参考http://win32com.de

关键字：

上一篇： Python小九九--Python 2

下一篇： Skype For Business 2