将模型与数据预处理步骤集成

Question

这可能是一个愚蠢的想法，但如果我采取了错误的方法，请耐心等待并指导我。 我正在研究一个机器学习项目，其模型将提供最终输出，ML 模型的此输出将由另一个用 Java 编写和维护的项目使用。

一个典型的 REST 调用流程如下：

---

1. 用户在 UI 上请求一些分类分数。
2. UI 系统调用 Java API。
3. Java API 从存储系统获取数据。
4. 然后它对数据进行预处理并将其呈现给训练模型，该模型完全用 Python 编写、开发和训练。

问题：在制作 ML 模型时，我们有用 Python 编写的预处理步骤，数据传入并进行预处理，然后开始模型训练。 在这个模型被持久化到java可以使用它进行实时预测的位置之后。

思考：是否可以将模型的预处理步骤打包为一个包。 以便在java端可以避免预处理？

我希望您对此提出所有意见，以便更好地处理这种情况。 我不想在两个地方（Python 和 Java）编写和维护特征工程/预处理步骤。

请指导。

Answer 1

可以通过使用TensorFlow for Java将预处理步骤模型打包到一个包中， TensorFlow for Java是一种可以补充 Python 模型的机器学习模型。 考虑到您已将 Java API 连接到 UI 和系统存储，无需重写它们或可以重用，从而可以节省时间。

• 使用 Maven 项目构建您的项目

• 导入相关库，例如 Spring RESTful webservice、Spring JPA Data、Spring Thymeleaf / Angular (UI) 和 ML 模型的张量流库

    <dependency>
       <groupId>org.tensorflow</groupId>
       <artifactId>tensorflow</artifactId>
       <version>1.12.0</version>
    </dependency>

我希望这对你有用。