Python爬虫之Phantomjs

PhantomJS是一个基于webkit的无头浏览器，没有界面但可以像浏览器解析网页，功能非常强大。 PhantomJS官方参考文档：http://phantomjs.org/documentation/

安装PhantomJS

官网下载地址：http://phantomjs.org/download.html 下载对应系统的安装包，解压后在bin目录下找到phantomjs的可执行文件，拷贝到环境变量可以搜索到的地方就安装好了。 注意：selenium 3.X已经不支持PhantomJS，所以我们需要安装selenium 2.X。这里是个坑，安装的时候要注意手动选择版本号。pip install selenium==2.42.1

快速开始

from selenium import webdriver
driver = webdriver.PhantomJS()
driver.get('http://www.baidu.com')
print(driver.title)
driver.close()

参数的使用

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
## 性能优化
service_args=[]
service_args.append('--load-images=no')  ##关闭图片加载
service_args.append('--disk-cache=yes')  ##开启缓存
service_args.append('--ignore-ssl-errors=true') ##忽略https错误
# 伪装成火狐浏览器
dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"] = \
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0) Gecko/20100101 Firefox/25.0 "

d=webdriver.PhantomJS("/usr/bin/phantomjs",service_args=service_args, desired_capabilities=dcap)
d.get("http://www.baidu.com")
print(d.title)
d.quit()

Phantomjs正确打开方式

看到一篇文章介绍了Phantomjs的API的使用：https://thief.one/2017/03/31/Phantomjs%E6%AD%A3%E7%A1%AE%E6%89%93%E5%BC%80%E6%96%B9%E5%BC%8F/