春暖花开,万物复苏,正是踏青好时候。周末,阿珍组织班级里的小朋友去公园踏青,程序员阿强,作为护花使者也一同前往。
阿强本以为,可以肆意在林间草地自由地奔跑,回忆一下逝去的童真时光,没想到却成了小朋友们的“植物识别器”,整个踏青之旅变成大型科普现场。面对大自然,小朋友们满脑子都是“这啥花这啥草”,配以崇拜的小眼神真诚发问,让阿强即使手忙脚乱地偷偷上网搜索,也要给出正确答案。
但其实,植物科普不必这般费力,平时对大自然的了解甚少,也有办法轻松hold住小朋友稀奇古怪的发问。执行力满满的阿强,开发出一款拍照识花App,只需拿起手机拍摄一张完整花朵的照片,即可快速识别花卉种类,在App的协助下,秒变植物专家。
Demo示例
实现原理
拍照识花功能用到了华为机器学习服务的图片分类能力,通过对图片中的实体对象进行分类并添加标注信息,帮助定义图片题材和适用场景等。图片分类支持端侧识别和云测识别,端侧识别支持超过400个类别,云测识别支持12000个分类,同时,该服务提供了自定义模型能力,支持用户自定义图片分类模型。
开发准备
1、在华为开发者联盟网站创建应用并配置签名证书
2、配置华为 Maven仓地址,在应用级的“build.gradle”文件中添加编译SDK依赖
-
dependencies{
-
// 引入基础SDK
-
implementation
'com.huawei.hms:ml-computer-vision-classification:2.0.1.300'
-
// 引入图片分类模型包
-
implementation
'com.huawei.hms:ml-computer-vision-image-classification-model:2.0.1.300'
-
}
3、设置自动更新机器学习模型
添加如下语句到AndroidManifest.xml文件中,用户从华为应用市场安装您的应用后,将自动更新机器学习模型到设备:
-
<manifest
-
...
-
<
meta-data
-
android:name=
"com.huawei.hms.ml.DEPENDENCY"
-
android:value=
"label"/>
-
...
-
</manifest>
-
4、配置混淆脚本
上述步骤具体可参考开发者网站中的开发准备介绍:
5、在AndroidManifest.xml文件里面声明系统权限
为了可以通过相机和相册进行图片的获取,需要在Manifest文件中申请相关的权限:
-
<uses-permission android:name="android.permission.CAMERA" />
-
<uses-permission android:name="android.permission.INTERNET" />
-
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
-
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
-
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" />
-
<uses-feature android:name="android.hardware.camera" />
-
<uses-feature android:name="android.hardware.camera.autofocus" />
开发步骤
1.创建并配置云端图片分类分析器
创建图片分类分析器类
public class RemoteImageClassificationTransactor extends BaseTransactor<List<MLImageClassification>>
之后在该类中,通过图像分类自定义类MLRemoteClassificationAnalyzerSetting创建分析器,并设置对应的参数配置,同时配置Handler
-
private
final MLImageClassificationAnalyzer detector;
-
private Handler handler;
-
MLRemoteClassificationAnalyzerSetting options = new MLRemoteClassificationAnalyzerSetting.Factory().setMinAcceptablePossibility(
0f).create();
-
this.detector = MLAnalyzerFactory.getInstance().getRemoteImageClassificationAnalyzer(options);
-
this.handler = handler;
2.调用asyncAnalyseFrame方法进行图像处理
使用异步处理方式,对传入的MLFrame对象进行分类处理
-
@Override
-
protected Task<List<MLImageClassification>> detectInImage(MLFrame image) {
-
return
this.detector.asyncAnalyseFrame(image);
-
}
3.获取分类成功后的结果
在RemoteImageClassificationTransactor中重写onSuccess()方法,将识别到的物体名称显示到图片中
-
@Override
-
protected void onSuccess(
-
Bitmap originalCameraImage,
-
List<MLImageClassification> classifications,
-
FrameMetadata frameMetadata,
-
GraphicOverlay graphicOverlay) {
-
graphicOverlay.clear();
-
this.handler.sendEmptyMessage(Constant.GET_DATA_SUCCESS);
-
List<String> classificationList =
new ArrayList<>();
-
for (
int i =
0; i < classifications.size(); ++i) {
-
MLImageClassification classification = classifications.
get(i);
-
if (classification.getName() !=
null) {
-
classificationList.
add(classification.getName());
-
}
-
}
-
RemoteImageClassificationGraphic remoteImageClassificationGraphic =
-
new RemoteImageClassificationGraphic(graphicOverlay,
this.mContext, classificationList);
-
graphicOverlay.addGraphic(remoteImageClassificationGraphic);
-
graphicOverlay.postInvalidate();
-
}
如果错误的话,进行对应的错误处理和Log显示
-
@Override
-
protected void onFailure(Exception e) {
-
this
.handler
.sendEmptyMessage(
Constant
.GET_DATA_FAILED);
-
Log
.e(
RemoteImageClassificationTransactor
.TAG, "
Remote
image
classification
detection
failed: " +
e
.getMessage());
-
}
4.识别完成释放资源
识别完成后,需要将原有的分析器停止,并释放检测资源,在RemoteImageClassificationTransactor中重写stop()方法
-
@Override
-
public void stop() {
-
super.stop();
-
try {
-
this.detector.stop();
-
}
catch (IOException e) {
-
Log.e(RemoteImageClassificationTransactor.TAG,
-
"Exception thrown while trying to close remote image classification transactor" + e.getMessage());
-
}
-
}
>>访问华为开发者联盟官网,了解更多相关内容
>>获取开发指导文档
关注我们,第一时间了解华为移动服务最新技术资讯~
转载:https://blog.csdn.net/HUAWEI_HMSCore/article/details/115406199