测量 python 脚本的执行时间

Question

我目前正在研究一个 ML NLP 项目，我想测量某些部分的执行时间，并可能预测执行需要多长时间。 例如，我想测量 ML 训练过程（包括像数据预处理部分这样的子过程）。 我一直在网上寻找，我遇到了不同的 python 模块，它们可以测量函数的执行时间（比如 time 或 timeit 的）。 但是，我仍然没有找到具体的解决方案来预测 function 执行所需的时间。 我曾考虑过多次运行代码，保存 (data_size, time) 值，然后用它来推断未来的数据。 我还考虑过用运行 function 的几个子部分所花费的时间来更新这个估计（比如查看计算了多少过程，花了多长时间，然后使用它来调整剩余时间）。

但是，我不确定这些，我想看看是否有更好的选择，我不知道，所以如果有人有更好的想法，如果你能分享，我会很感激。

Answer 1

您是否考虑过使用分析？ 它应该给出 function 执行次数、调用次数等的详细分类。您必须使用 profiling 执行脚本，然后您将获得详细分类。 https://docs.python.org/3/library/profile.html#module-cProfile

如果你想要及时的进度报告，我看过几个库。 https://pypi.org/project/tqdm/ https://pypi.org/project/progressbar2/

希望这些帮助！