如何使用 Python 3 登录站点并抓取

Question

我想登录到 facebook messenger 并解析 HTML。import requestsfrom bs4 import BeautifulSoupimport webbrowserpage = requests.get("https://www.messenger.com", auth=('username', 'password'))soup = BeautifulSoup(page, 'html.parser')print(soup)我从另一个堆栈问题中得到了这个，但它向我抛出了这个错误：    File "C:/Code/Beautiful Soup Web Scraping.py", line 7, in <module>    soup = len(BeautifulSoup(page, 'html.parser'))  File "C:\Users\Ethan\AppData\Local\Programs\Python\Python37\lib\site-packages\bs4\__init__.py", line 246, in __init__    elif len(markup) <= 256 and (TypeError: object of type 'Response' has no len()我怎样才能让它发挥作用？

Answer 1

您必须将网页的内容传递给 BeautifulSoup，而不是由Response返回的对象requests.get。要获取内容，请使用该Response.content属性。

在您的示例中使用： soup = BeautifulSoup(page.content, 'html.parser')

Answer 2

我建议使用Selenium，这将允许您登录 Facebook，导航到所需的页面，并检索 html。然后，您可以将 HTML 传递给BeautifulSoup. 看看这个博客文章开始。