python3上的scrapy如何获取javascript上的文本数据

Question

https://www.reddit.com/r/gameofthrones/在此页面中，我尝试从诸如“14 天前”之类的时间文本中获取时间信息。在浏览器中，当我将鼠标指向该文本时，它会显示基于日期时间的信息。但是如果我查看网页源代码，我找不到它。所以我认为它基于 Javascript 工作。我不是网络开发人员，我不确定如何追踪问题。我的问题是：如何使用 chrome dev-tools 和 scrapy shell 跟踪基于 javascript 工作的数据？

Answer 1

$ scrapy shell https://www.reddit.com/r/gameofthrones/ 

...

>>> response.css('[data-click-id="timestamp"]::text').get()

'15 days ago'

Answer 2

您需要使用 Reddit 的只读（无参与）子域：

https://np.reddit.com/r/gameofthrones/

请注意，它是np和不是www。在此视图中，您<time>无需运行 Javascript 即可获得标签中HTML 中的完整日期和时间（在任何浏览器中）：

例子：

scrapy shell 'https://np.reddit.com/r/gameofthrones/'

>>> response.css('time::attr(datetime)').get()

'2010-03-02T22:52:12+00:00'

Answer 3

在资源管理器上捕获的此图片结果。