我想爬取下面这个网站的ip列表https://free-proxy-list.net/因为每一页都会更新ip，所以需要翻页，一开始用selenium做，可以弄，可是觉得成本太大。所以想用requests弄。点击了那个 next 按钮控件，在浏览器的监视器的network里，发现没有JavaScript执行。也没有数据被传输。看了下那些控件，比如那个first<li class="fg-button ui-button ui-state-default first" id="proxylisttable_first"><a href="#" aria-controls="proxylisttable" data-dt-idx="0" tabindex="0">First</a></li>感觉好像是通过aria-controls来更新table的，可是我查了下，完全没有头绪。如果没有从服务器get数据，那么数据应该是保存在哪里了？搜了下html文件，发现似乎也没有其他页面的ip数据。
添加回答
举报
0/150
提交
取消