【PaddlePaddle Hackathon】31. 为 Paddle Inference 添加新的前端语言

[chenyanlann]

PR types

New features

PR changes

APIs

Describe

为 Paddle Inference 添加 Java Apis

Task: #35977

Paddle Inference java API

Paddle Inference java API 基于 capi 和 jni 实现，需要您提前准备好C预测库。

安装(Linux)

1.下载C预测库

您可以选择直接下载paddle_inference_c预测库，或通过源码编译的方式安装，源码编译方式参考官网文档，注意这里cmake编译时打开-DON_INFER=ON,在编译目录下得到paddle_inference_c_install_dir。

2.准备预测部署模型

下载 resnet50 模型后解压，得到 Paddle Combined 形式的模型。

wget https://paddle-inference-dist.bj.bcebos.com/Paddle-Inference-Demo/resnet50.tgz
tar zxf resnet50.tgz

#### 获得 resnet50 目录结构如下
resnet50/
├── inference.pdmodel
├── inference.pdiparams
└── inference.pdiparams.info

3.准备预测执行目录

git clone github.com/paddlepaddle/paddle/paddle/fluid/inference/javaapi

3. 编译动态链接库和jar包

在javaapi目录下执行

./build.sh {c预测库目录} {jni头文件目录} {jni系统头文件目录}

以笔者的目录结构为例
./build.sh /root/paddle_c/paddle_inference_c_2.2/paddle_inference_c/ /usr/lib/jvm/java-8-openjdk-amd64/include /usr/lib/jvm/java-8-openjdk-amd64/include/linux

执行完成后，会在当前目录下生成JavaInference.jar和libpaddle_inference.so

5.运行单测，验证

在javaapi目录下执行

./test.sh {c预测库目录} {.pdmodel文件目录} {.pdiparams文件目录}

以笔者的目录结构为例
./test.sh "/root/paddle_c/paddle_inference_c_2.2/paddle_inference_c"  "/root/paddle_c/resnet50/inference.pdmodel" "/root/paddle_c/resnet50/inference.pdiparams"

在Java中使用Paddle预测

首先创建预测配置

Config config = new Config();
config.setCppModel(model_file, params_file);

创建predictor

Predictor predictor = Predictor.createPaddlePredictor(config);

获取输入Tensor

String inNames = predictor.getInputNameById(0);
Tensor inHandle = predictor.getInputHandle(inNames);

设置输入数据(假设只有一个输入)

inHandle.Reshape(4, new int[]{1, 3, 224, 224});
float[] inData = new float[1*3*224*224];
inHandle.CopyFromCpu(inData);

运行预测

predictor.Run();

获取输出Tensor

String outNames = predictor.getOutputNameById(0);
Tensor outHandle = predictor.getOutputHandle(outNames);
float[] outData = new float[outHandle.GetSize()];
outHandle.CopyToCpu(outData);

[chenyanlann]

@TCChenlong

[TCChenlong]

还在review中哈~

[DannyIsFunny]

编译过程的中间产物需要从PR中删除： JavaInference.jar、libpaddle_inference.so 、Config.class 等等

[DannyIsFunny]

PaddlePaddle 编译体系基于CMake工具构建、建议将build.sh中的 gcc 的编译流程修改为CMakeLists.txt
eg.

# CMakeLists.txt
add_library(paddle_inference SHARED com_baidu_paddle_inference_Predictor.cpp com_baidu_paddle_inference_Config.cpp com_baidu_paddle_inference_Tensor.cpp)
target_link_libraries(paddle_inference paddle_inference_c)

[DannyIsFunny]

JAVA API 请 @winter-wang review一下

[DannyIsFunny]

当前产出的java api动态库仍然需要动态依赖 C API的动态库、能否直接产出独立的JAVA API动态库

[winter-wang]

我在所有java涉及到的接口中没有看见对 PD_TensorDestroy函数和PD_PredictorDestroy函数的调用。请问在java接口使用过程中，底层的Tensor对象和Predictor对象如何回收尼？

[winter-wang]

此处不能显式free。 params_file指向的内存是底层std::string对应的内存。

[winter-wang]

C接口函数调用错误。此处应该调用 PD_ConfigGetParamsFile函数。

[winter-wang]

此处不能显式free. prog_file对应的内存是底层std::string的内存。

[winter-wang]

此处不能显式free. model_dir对应的内存是底层std::string的内存

[winter-wang]

这种GetStringUTFChars得到的内存不能用free函数是释放吧？

[winter-wang]

其它地方也类似。

[paddle-bot-old]

Sorry to inform you that 5cf5259's CIs have passed for more than 7 days. To prevent PR conflicts, you need to re-run all CIs manually.

[CLAassistant]

All committers have signed the CLA.

[chenyanlann]

@winter-wang 感谢，已修复

[chenyanlann]

@DannyIsFunny 感谢，已删除中间产物，添加CMakeLists.txt

[paddle-bot-old]

Sorry to inform you that 34ec990's CIs have passed for more than 7 days. To prevent PR conflicts, you need to re-run all CIs manually.

[winter-wang]

LGTM

[Shixiaowei02]

@chenyanlann 您好！首先感谢您为飞桨贡献代码！

作为修改建议的最后一步，请将相关代码移入 experimental 名称空间或目录中，并参考已有的 C++ 部分 贡献 Java 接口文档和示例。

用户接口是框架最重要的代码，我们将发起评审并正式合入。谢谢！

[Superjomn]

LGTM

[winter-wang]

LGTM

[raindrops2sea]

LGTM