为了账号安全,请及时绑定邮箱和手机立即绑定

在 IPython 中使用 memit magic 时返回 MemitResult 对象和函数调用

在 IPython 中使用 memit magic 时返回 MemitResult 对象和函数调用

牛魔王的故事 2023-07-11 14:48:43
所以我遇到的问题是我想测量 Google Colab 上 iPython 中细胞系的内存消耗和时间,该细胞系也返回一个对象。我正在使用 执行此操作memory-profiler,因此我可以将基准测试的所有结果自动存储在文件中。我发现这memit -o给了我一个MemitResult对象,但问题是对象分配给出了一个 undefined m̀odel:NameError: name 'model' is not defined 简短的 MWE:%%time import pmdarima as pm trainMemory =  %memit  -o  model= pm.auto_arima(df["y"], seasonal=True, m=12, maxiter=10, njobs = -1)理想情况下,我会在一个训练函数调用中分配时间、内存和对象的所有 3 个变量,以节省训练时间。
查看完整描述

1 回答

?
扬帆大鱼

TA贡献1799条经验 获得超9个赞

最后,我使用权重和偏差来同时跟踪 GPU 和内存消耗。

设置非常简单,但是我还没有找到如何提取最大值、最小值等信息。

设置:

import wandb
import pmdarima as pm
wandb.init()  
model= pm.auto_arima(df["y"], seasonal=True, m=12, maxiter=10, njobs = -1)

然后在网站上,您可以看到运行一段时间内的消耗情况

//img2.sycdn.imooc.com/64acfb790001d40909760749.jpg

事实证明,您可以通过 api 获得最大使用量,而无需查看图表


import wandb 

api = wandb.Api() 

run = api.run(f"YOURNAME/{wandb.run.name}/{wandb.run.id}") 

system_metrics = run.history(stream = 'events') print(system_metrics["system.gpu.0.memory"].max())

system_metrics.to_csv("metrics.csv")

然后您可以访问 system_metrics 对象的属性


查看完整回答
反对 回复 2023-07-11
  • 1 回答
  • 0 关注
  • 84 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信