web自动化爬虫selenium ce

发布时间:2019-10-14 09:21:14编辑:auto阅读(2533)

    基本环境:centos7,python3.x

    1.安装selenium

    pip3 install selenium

    2.安装chrome-browser

    wget https://dl.google.com/linux/d... --no-check-certificate

    yum install ./google-chrome-stable_current_x86_64.rpm

    3.下载chromedriver(注意要和chrome-browser版本对应)

    1254109F0E439D718CC399416C7238D3.png

    由于下载的chrome-browser是70版本的,所以chromedriver 选择了2.43版本

    wget http://chromedriver.storage.g...

    解压此文件,并将文件移动到/usr/bin目录下

    unzip chromedriver_linx64.zip

    mv chromedriver /usr/bin/

    4.测试selenium是否可用,请执行以下python脚本,如返回html内容,则说明安装成功

    from selenium import webdriver
    url='http://bing.com'
    option = webdriver.ChromeOptions()
    option.add_argument('--no-sandbox')
    option.add_argument('--headless')
    driver = webdriver.Chrome(chrome_options=option)
    driver.get(url)
    print(driver.page_source)
    注意需要加上,禁止在沙箱中运行

    option.add_argument('--no-sandbox')
    option.add_argument('--headless')

    补充:

    安装firefox支持

    yum install firefox

    yum install Xvfb

    yum install libXfont

    pip3 install pyvirtualdisplay

    测试脚本

    !/usr/bin/python3

    from selenium import webdriver
    from pyvirtualdisplay import Display
    display = Display(visible=0, size=(800,600))
    display.start()
    driver = webdriver.Firefox()
    driver.get('https://www.baidu.com')
    print(driver.title)
    driver.quit()
    display.stop()

关键字