为了账号安全,请及时绑定邮箱和手机立即绑定

你会如何定义一个 goroutines 池来一次执行?

你会如何定义一个 goroutines 池来一次执行?

Go
米琪卡哇伊 2021-06-27 09:42:16
请转到最后一部分并告诉我您将如何解决此问题。今天早上我开始使用来自 Python 的 Go。我想从 Go 调用一个闭源可执行文件多次,有一点并发,有不同的命令行参数。我生成的代码运行良好,但我想得到您的意见以改进它。由于我处于早期学习阶段,我还将解释我的工作流程。为了简单起见,这里假设这个“外部闭源程序”是zenity一个 Linux 命令行工具,可以从命令行显示图形消息框。从 Go 调用可执行文件所以,在 Go 中,我会这样:package mainimport "os/exec"func main() {    cmd := exec.Command("zenity", "--info", "--text='Hello World'")    cmd.Run()}这应该工作得恰到好处。请注意,这.Run()是一个功能等价于.Start()后跟.Wait()。这很好,但是如果我只想执行一次这个程序,那么整个编程的东西就不值得了。所以让我们多次这样做。多次调用可执行文件现在我有了这个工作,我想用自定义命令行参数多次调用我的程序(这里只是i为了简单起见)。package main    import (    "os/exec"    "strconv")func main() {    NumEl := 8 // Number of times the external program is called    for i:=0; i<NumEl; i++ {        cmd := exec.Command("zenity", "--info", "--text='Hello from iteration n." + strconv.Itoa(i) + "'")        cmd.Run()    }}好的,我们做到了!但是还是看不出Go over Python的优势……这段代码其实是串行执行的。我有一个多核 CPU,我想利用它。所以让我们用 goroutines 添加一些并发性。Goroutines,或一种使我的程序并行的方法a) 第一次尝试:只需在任何地方添加“go”让我们重写我们的代码,使调用和重用更容易,并添加著名的go关键字:package mainimport (    "os/exec"    "strconv")没有什么!问题是什么?所有的 goroutine 都被一次性执行。我真的不知道为什么不执行 zenity 但 AFAIK,Go 程序在 zenity 外部程序甚至可以初始化之前就退出了。这通过使用time.Sleep: 等待几秒钟就足以让 zenity 的 8 实例自行启动。我不知道这是否可以被视为一个错误。更糟糕的是,我真正想要调用的真正程序需要一段时间才能执行。如果我在我的 4 核 CPU 上并行执行这个程序的 8 个实例,它会浪费一些时间做很多上下文切换……我不知道普通 Go协程的行为,但exec.Command 会在 8 个不同的线程中启动 zenity 8 次. 更糟糕的是,我想执行这个程序超过 100,000 次。在 goroutine 中一次完成所有这些工作根本没有效率。不过,我想利用我的 4 核 CPU!b) 第二次尝试:使用 goroutines 池在线资源倾向于推荐sync.WaitGroup用于此类工作。这种方法的问题在于,您基本上是在处理成批的 goroutine:如果我创建了 4 个成员的 WaitGroup,则 Go 程序将等待所有4 个外部程序完成,然后再调用新的 4 个程序批次。这效率不高:CPU 又一次被浪费了。这看起来很丑。频道并非用于此目的:我正在利用副作用。我喜欢这个概念,defer但我讨厌必须声明一个函数(甚至是一个 lambda)来从我创建的虚拟通道中弹出一个值。哦,当然,使用虚拟通道本身就是丑陋的。完毕。我的问题你知道任何其他适当的方法来限制一次执行的 goroutines 的数量吗?我不是指线程;Go 如何在内部管理 goroutines 并不相关。我的意思是限制一次启动的 goroutine 的数量:exec.Command每次调用时都会创建一个新线程,所以我应该控制它被调用的次数。你觉得这段代码好吗?您知道在这种情况下如何避免使用虚拟通道吗?我无法说服自己这样的虚拟频道是要走的路。
查看完整描述

3 回答

  • 3 回答
  • 0 关注
  • 188 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信