用于部署 Python 机器学习模型的通用 Web 服务器/框架？

Question

我注意到Databricks MLFlow和Amazon Sagemaker都使用了Nginx，Gunicorn和Flask的组合。我想知道这是否往往是部署机器学习模型（例如 Scikit-learn、Tensorflow、Keras）的标准堆栈。如果是这样，是否有理由将其用于诸如“龙卷风”之类的替代方案？如果没有，是否存在“标准堆栈”

Answer 1

我想，选择 Flask 而不是 Tornado 作为包装 ML 的网络框架的主要原因是 Flask 的简单但功能丰富（使用插件）。ML 通常受 CPU 和 RAM 限制，Tornado 的主要优点是有效处理受 IO 限制的操作，而 ML 则不然。但选择 Tornado 进行 ML 意味着更复杂的开发，以实现从零到零的收益。如果您在 Tornado 中有主应用程序（如果您确实需要）并使用带有 Flask 的 ML 作为主应用程序的微服务，那将是更明智的选择。