Python Mechanize-带哈希标记的打开URL

Question

我正在使用Python Mechanize打开具有这种格式的URL ...https://www.simplewebsite.com?view=discussions#/?page=2当页面打开时...它得到了...https://www.simplewebsite.com?view=discussions完全绕过“＃”标记之后的内容...任何线索如何打开URL？我花了很多时间在网上搜索...没有一个肯定的答案...

Answer 1

井号之后出现的URL部分是对HTML锚的引用，这些锚由客户端（通常是Web浏览器）处理，并且永远不会发送到服务器。

该网站可能会加载在页面加载时运行的Javascript代码。该代码将解析锚名称并基于该名称更新页面。在这种情况下，很明显，JavaScript代码必须将ajax请求发送到服务器以获取第2页，然后更新HTML文档以显示该数据。

不幸的是，mechanize无法处理这种类型的网站，因为它依赖于在客户端上运行Javascript代码。您可能可以使用phantom.js（可以运行客户端脚本的无头Web浏览器客户端）执行类似的操作。