为了账号安全,请及时绑定邮箱和手机立即绑定

多线程模式下aiosqlite和SQLite有什么区别?

多线程模式下aiosqlite和SQLite有什么区别?

函数式编程 2023-07-27 09:53:14
我正在尝试异步处理多个文件,并且处理每个文件需要对 SQLite 数据库进行一些读取和写入。我一直在寻找一些选项,并找到了 aiosqlite 模块。但是,我在阅读了 SQLite 文档,它说它支持多线程模式。事实上,默认模式是“序列化”,这意味着它“可以不受限制地被多个线程安全地使用”。我不明白有什么区别。aiosqlite 文档说:aiosqlite 允许在主 AsyncIO 事件循环上与 SQLite 数据库进行交互,而不会在等待查询或数据获取时阻止其他协程的执行。它通过每个连接使用一个共享线程来实现这一点。我知道 aiosqlite 和 sqlite 上的“多线程”模式之间存在差异,因为多线程模式每个线程只需要一个连接,而在 aiosqlite 中,您可以跨多个线程重用此单个连接。但这不是和序列化模式一样“可以不受限制地被多个线程使用”吗?编辑:我现在的问题是“我目前的理解是否正确?”:“序列化”模式下的 Sqlite 可以同时被多个线程使用,因此如果我threading在 python 中使用该模块并生成多个线程,则会使用此模式。在这里,我可以选择每个线程使用单独的连接或跨多个线程共享连接。aiosqlite 与 asyncio 一起使用。因此,由于 asyncio 有多个共享一个线程的协程,aiosqlite 也可以使用一个线程。因此,我创建了一个在所有协程之间共享的连接。由于 aiosqlite 基本上是 sqlite 的包装器,因此我可以结合 1 和 2 的功能。因此我可以拥有多个线程,其中每个线程都有一个带有多个协程的 asyncio 事件循环。因此,基本的 sqlite 功能将处理多线程,而 aiosqlite 将处理协程。
查看完整描述

1 回答

?
哆啦的时光机

TA贡献1779条经验 获得超6个赞

首先关于线程:

Sqlite ...可以同时被多个线程使用

由于GIL的原因,它仍然不会同时运行,线程总是并发运行(不是并行)。使用 GIL 唯一的问题是你不知道线程何时会被中断。但是 asyncio 允许您“手动”在线程之间切换并等待某些 IO 操作(例如数据库通信)。


让我解释一下不同模式之间的区别:

  • 单线程- 创建单个数据库连接,无需任何互斥体或任何其他机制来防止多线程问题。

  • 多线程- 使用互斥锁创建单个共享数据库连接,互斥锁为每个与数据库的操作/通信锁定该连接。

  • 序列化- 每个线程创建多个数据库连接。

回答更新中的问题:

  1. 是的

    “序列化”模式下的 Sqlite 可以同时被多个线程使用,因此如果我在 python 中使用线程模块并生成多个线程,则会使用此功能。在这里,我可以选择每个线程使用单独的连接或跨多个线程共享连接。

  2. 是的,它将在它们之间共享一个连接。

    aiosqlite 与 asyncio 一起使用。因此,由于 asyncio 有多个共享一个线程的协程,aiosqlite 也可以使用一个线程。所以我创建了一个在所有协程之间共享的连接

  3. 是的。

    由于 aiosqlite 基本上是 sqlite 的包装器,因此我可以结合 1 和 2 的功能。因此我可以拥有多个线程,其中每个线程都有一个带有多个协程的 asyncio 事件循环。因此,基本的 sqlite 功能将处理多线程,而 aiosqlite 将处理协程。


查看完整回答
反对 回复 2023-07-27
  • 1 回答
  • 0 关注
  • 173 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信