webKit 实现爬虫 java

Question

做爬虫得时候遇到一个比较难搞定的网站，同事介绍说可以用webkit试下，我的具体需求是模拟真实浏览器，取出登录之后的页面内容。不知道webkit能否实现，有没有大神对webkit熟悉的。。。

Answer 1

webkit和ie是两种浏览器的内核。
要模拟访问网站，我们一般不直接用浏览器内核（你又不是开发浏览器）
我们可以用webbrowser（C#、VB）、selenium（python）、JxBrowser（java）等。
因为上面说的就是在你的程序里调用真实的浏览器，除了验证码比较麻烦一点，别的和人操作都没有区别，人能做的，程序肯定能做。