Selenium爬虫

发表于 | 分类于 | | 阅读次数

爬虫研究

Selenium是一个浏览器自动化测试API，不过目前也可以作为爬虫使用
早在2013年的时候就在自动化测试中使用过Selenium，所以对他的API也算熟悉

不过目前Selenium针对浏览器的开发支持程度不一样，一般都需要插件进行辅助

  • chrome 开发最佳
  • firefox 开发也不错
  • IE 没有xpath获取的插件，开发困难

除了网站登录认证，其实用HttpClient直接请求就可以爬取数据
但是有时候这种方式并不直接，直接网站上的信息所见即所得，还能截图看个清楚

------ 本文结束 ------

版权声明

dawell's Notes by Dawell is licensed under a Creative Commons BY-NC-ND 4.0 International License.
由Dawell创作并维护的dawell's Notes博客采用创作共用保留署名-非商业-禁止演绎4.0国际许可证。
本文首发于dawell's Notes 博客（ http://dawell.cc ），版权所有，侵权必究。

坚持原创技术分享，您的支持将鼓励我继续创作！