刮擦JavaScript生成的网页数据

Question

我的问题是：如何从该网站http://vtis.vn/index.aspx抓取数据，但是直到您单击例如“ Danhsáchchậm”，该数据才显示。我已经非常认真地尝试，当您单击“ Danhsáchchậm”时，这是onclick事件，它触发了一些javascript函数js函数之一是从服务器获取数据并将其插入到标签/占位符中，并在这时，您可以使用firefox之类的方法检查数据，是的，数据会在网页上显示给用户/查看者。因此，我们又该如何以编程方式废弃此数据？我编写了一个抓取函数，但是它当然无法获取我想要的数据，因为只有在单击“ Danhsáchchậm”按钮之后，该数据才可用                <?php                      $Page = file_get_contents('http://vtis.vn/index.aspx');                $dom_document = new DOMDocument();                  $dom_document->loadHTML($Page);                              $dom_xpath_admin = new DOMXpath($dom_document_admin);                   $elements = $dom_xpath->query("*//td[@class='IconMenuColumn']");                              //                          foreach ($elements as $element) {                            $nodes = $element->childNodes;                            foreach ($nodes as $node) {                                         echo (mb_convert_encoding($node->c14n(), 'iso-8859-1', mb_detect_encoding($content, 'UTF-8', true)));                               }                          }                         }谢谢您，StackOverflow是个好地方。D．

Answer 1

您需要查看PhantomJS。

从他们的网站：

PhantomJS是带有JavaScript API的无头WebKit。它具有对各种Web标准的快速本机支持：DOM处理，CSS选择器，JSON，Canvas和SVG。

使用API，您可以编写脚本来使“浏览器”与该页面进行交互并抓取所需的数据。然后，您可以使用它来做所需的任何事情。包括在必要时将其传递给PHP脚本。

话虽这么说，如果可能的话，尽量不要“刮”数据。如果页面正在进行ajax调用，也许有可以替代的API？如果没有，也许您可以说服他们做一个。当然，这比屏幕抓取要容易得多，并且更易于维护。