如何将信息从网站提取到我的项目中？

Question

我有一个问题，它是关于从网站获取信息到我的 python 项目中（当项目运行时）。由于我是此类编程的初学者，因此我还没有编写任何代码。我想问您我需要哪些模块以及如何使用它们，如果你们中的一些人可以，我将不胜感激一些代码示例。

Answer 1

您必须了解如何通过不同的库将信息获取到 python 脚本或项目中的概念。例如 - Flask 或 Django 等。

您可以使用 API 文档将所有必需内容获取到您的 Python 项目中。

Answer 2

您必须使用 API，具体取决于网站，他们通常会提供 api 文档，然后您可以使用 python 库将其拉入项目中。

Answer 3

我认为您正在谈论网络抓取：

1. 您可以使用 BeatifulSoap 从网站提取信息

2. 你必须了解Python中的get、request、dump和load函数

3. 研究 HTTP Get 请求

在您的项目中，您的要点必须是：

1. 选择您要抓取数据的网站

2. 查看robot.txt（这是一个告诉谷歌机器人矿工是否可以提取数据的文件，只需谷歌即可）
   3）一旦您知道可以从网站上抓取数据，请查看页面的html（使用firefox和f12） ）并识别标签/id

<title id="article"> Free code for everyone</title> 
<title id ="article"> Found gold in mines ! </title>

你会发现自己有一个像这样的数组

array_articles =['Free code for everyone','Found gold in mines !']