HaaS年度经典案例：二次元穿越小电视

2021-02-09 07:46 322人阅读评论(0)

1、背景

最近抖音上测一测你的动漫人物有点火啊。感觉不过瘾，我想要随时穿越二次元，动手用HaaS开发板打造一台二次元穿越小电视，大家排队来穿越吧！

关于我穿越二次元这件事

2、人物动漫化原理

在安防、新闻媒体等行业，为保护图像中的人物隐私，将人物卡通化，可避免识别出原人物是谁。与马赛克等处理方法相比，更具趣味性，更易于用户接受提升用户体验。由于生成对抗网络（GAN）在图像生成领域和视频生成领域具有巨大的发展潜力，许多研究者尝试从GAN入手，实现动漫图像的自动生成。

目前已有的动漫图像生成方式主要分为两种，第一种，是基于已有的真实人脸图片，进行人脸风格迁移，利用图像处理技术将原始图像内容与动漫风格图形相融合，实现动漫风格转换，如下图。虽然风格迁移技术已经有丰富研究成果，但有一些缺陷依然无法避免，例如：生成的卡通图像表情单一、面部特征畸变、网络结构复杂等问题。

第二种方法，是将已有的动漫人物图像，输入到训练好的生成对抗神经网络模型中，对动漫图像的面部进行特征提取，最后训练出一组网络模型，实现自动生成新的动漫人物图像。

现在用于动漫化的GAN神经网络有多种可以选择，比如清华大学研究人员提出的CartoonGAN，以及GoodFellow 2014年提出的DCGAN，加州伯克利大学分校提出的CycleGAN等等，各有优缺点。本例使用阿里达摩院算法，基于cycleGAN构建了风格引导的门控循环映射网络（Gated Cyclic Mapping），使得网络更容易学习到真人到卡通人物转换中夸张的几何形变，从而实现更加真实自然的效果。

3、整体方案

3.1、方案设计

看过前面给大家带来的“老板来了”这个监控老板的案例《HaaS AI 应用实践“老板来了”系列之一：整体方案》，应该比较熟悉如何使用HaaS AI来打造案例了，通过这个个案例，举一反三再来一个人物动漫化也不在话下。

3.2、材料清单

材料清单		购买链接
WiFi摄像头		ESP32-EYE: 链接 ESP32-CAM: 链接
LCD屏		链接
杜邦线		母对母10CM：链接1、链接2、链接3
废弃纸箱		NA

3.3、制作过程

3.2.1、硬件连线

通过母对母的杜邦线将HaaS扩展口与SPI LCD屏连接起来。

3.2.2、机箱制作

响应国家提倡环保，我们把废弃的HaaS开发板包装二次利用，用来做小电视的机箱，下面是完工后的造型：

3.2.2、摄像头画面采集

通过ESP32-EYE连接WiFi摄像头，HaaS100将WiFi天线扣上，确保WiFi信号良好。如何进行画面采集请参考

《HaaS AI 应用实践“老板来了”系列之二：WiFi摄像头人像采集》

3.2.3 人物动漫化实现

人物动漫化功能开通

人物动漫化使用阿里云视觉智能开放平台进行。先来开通人物动漫化功能：

只要开通了人脸人体功能，无需再开通，免费开通既有2QPS的不限量免费调用。先来网站上体验一下吧！

人物动漫化功能的详细介绍参考：https://help.aliyun.com/document_detail/188840.html

OSS图像上传

现在我们要使用云端AI能力来实现人物动漫化，前面整体方案已经提到使用OSS上传本地采集的图像，并使用视觉智能平台进行人物动漫化。那么如何将采集的画面上传OSS请参考：

《HaaS AI 应用实践“老板来了”系列之三：OSS图像上传》

HaaS设备端开发

采集到人物图片后，先上传图片到OSS，再进行人物动漫化处理：


  
   
    
     
    
    
     
      int ucloud_ai_facebody_generate_human_anime_style(char *path, facebody_generate_human_anime_stype_cb_t cb)
     
    
   
    
     
    
    
     
      {
     
    
   
    
     
    
    
         
      int ret;
     
    
   
    
     
    
    
         
      int len;
     
    
   
    
     
    
    
         
      char *tmp_upload_url, p_upload_url[
      128];
     
    
   
    
     
    
    
      
     
    
   
    
     
    
    
         
      /*上传采集到到人物图片*/
     
    
   
    
     
    
    
     
          tmp_upload_url = upload_local_file(path, OSS_ACCESS_KEY, \
     
    
   
    
     
    
    
     
                                             OSS_ACCESS_SECRET, 
      NULL , OSS_ENDPOINT, OSS_BUCKET);
     
    
   
    
     
    
    
         
      if (!tmp_upload_url) {
     
    
   
    
     
    
    
     
              LOGE(TAG, 
      "url is null\n");
     
    
   
    
     
    
    
             
      return 
      -1;
     
    
   
    
     
    
    
     
          }
     
    
   
    
     
    
    
     
          len = 
      strlen(tmp_upload_url);
     
    
   
    
     
    
    
         
      memcpy(p_upload_url, tmp_upload_url, len);
     
    
   
    
     
    
    
     
          p_upload_url[len] = 
      '\0';
     
    
   
    
     
    
    
      
     
    
   
    
     
    
    
         
      /*调用人物动漫化云端模型实现人物动画化*/
     
    
   
    
     
    
    
     
          ret = facebody_generate_human_anime_style_ai(p_upload_url, cb);
     
    
   
    
     
    
    
         
      return ret;
     
    
   
    
     
    
    
     
      }

人物动漫化云端模型调用步骤：


  
   
    
     
    
    
     
      int facebody_generate_human_anime_style_ai(char *url, facebody_generate_human_anime_stype_cb_t cb) {
     
    
   
    
     
    
    
         
      /*初始化SDK*/
     
    
   
    
     
    
    
     
          InitializeSdk();
     
    
   
    
     
    
    
         
      /*设置云端访问参数*/
     
    
   
    
     
    
    
     
          configuration.setRegionId(CLOUD_AI_REGION_ID);
     
    
   
    
     
    
    
     
          configuration.setEndpoint(CLOUD_AI_FACEBODY_ENDPOINT);
     
    
   
    
     
    
    
         
      FacebodyClient client(key, secret, configuration);
     
    
   
    
     
    
    
     
          Model::GenerateHumanAnimeStyleRequest request;
     
    
   
    
     
    
    
         
      string tmpImageURL, outImageURL;
     
    
   
    
     
    
    
         
      int ret;
     
    
   
    
     
    
    
      
     
    
   
    
     
    
    
         
      /*设置请求方式为POST*/
     
    
   
    
     
    
    
     
          tmpImageURL = url;
     
    
   
    
     
    
    
     
          request.setScheme(
      "http");
     
    
   
    
     
    
    
     
          request.setMethod(HttpRequest::Method::Post);
     
    
   
    
     
    
    
     
          request.setImageURL(tmpImageURL);
     
    
   
    
     
    
    
      
     
    
   
    
     
    
    
         
      /*请求进行人物动漫化*/
     
    
   
    
     
    
    
         
      auto outcome = client.generateHumanAnimeStyle(request);
     
    
   
    
     
    
    
         
      cout << 
      endl << 
      "facebody describeInstances returned:" << 
      endl;
     
    
   
    
     
    
    
         
      cout << 
      "error code: " << outcome.error().errorCode() << 
      endl;
     
    
   
    
     
    
    
         
      cout << 
      "requestId: " << outcome.result().requestId() << 
      endl << 
      endl;
     
    
   
    
     
    
    
         
      cout << 
      "image url:" << outcome.result().getData().imageURL << 
      endl;
     
    
   
    
     
    
    
      
     
    
   
    
     
    
    
         
      /*返回人物动漫化后的图片地址，并进行通过cb函数实现图片下载*/
     
    
   
    
     
    
    
     
          outImageURL = outcome.result().getData().imageURL;
     
    
   
    
     
    
    
         
      if (!outImageURL.empty() && cb) {
     
    
   
    
     
    
    
     
              ret = cb((
      char *)outImageURL.c_str());
     
    
   
    
     
    
    
     
          }
     
    
   
    
     
    
    
         
      /*关闭SDK*/
     
    
   
    
     
    
    
     
          ShutdownSdk();
     
    
   
    
     
    
    
         
      return ret;
     
    
   
    
     
    
    
     
      }

callback函数实现人物动漫化图片下载及显示：


  
   
    
     
    
    
     
      int generate_human_anime_styple_callback(
      char *out_url)
     
    
   
    
     
    
    
     
      {
     
    
   
    
     
    
    
     
          int ret;
     
    
   
    
     
    
    
     
          long size;
     
    
   
    
     
    
    
     
          int recv_len = 0;;
     
    
   
    
     
    
    
      
     
    
   
    
     
    
    
     
          if (!out_url) {
     
    
   
    
     
    
    
     
              LOGE(TAG, "out_url is null\n");
     
    
   
    
     
    
    
     
              return -1;
     
    
   
    
     
    
    
     
          }
     
    
   
    
     
    
    
     
          /*下载人物动漫化图片*/
     
    
   
    
     
    
    
     
          LOG("out_url: %s\n", out_url);
     
    
   
    
     
    
    
     
          /*get image by url*/
     
    
   
    
     
    
    
     
          ret = ucloud_ai_connect(
      out_url)
      ;
     
    
   
    
     
    
    
     
          if(
      HTTP_SUCCESS != ret) {
     
    
   
    
     
    
    
     
              LOGE(
      TAG, 
      "ucloud_ai_connect failed, ret: %d\n", ret)
      ;
     
    
   
    
     
    
    
     
              return 
      -1
      ;
     
    
   
    
     
    
    
     
          }
     
    
   
    
     
    
    
      
     
    
   
    
     
    
    
     
          recv_len = ucloud_ai_get_stream(
      out_url)
      ;
     
    
   
    
     
    
    
     
          LOG(
      "image recv_len: %d", recv_len)
      ;
     
    
   
    
     
    
    
     
          ucloud_ai_disconnect()
      ;
     
    
   
    
     
    
    
     
          if (!recv_len) {
     
    
   
    
     
    
    
     
              LOGE(
      TAG, 
      "recv_len is %d\n", recv_len)
      ;
     
    
   
    
     
    
    
     
              return 
      -1
      ;
     
    
   
    
     
    
    
     
          }
     
    
   
    
     
    
    
      
     
    
   
    
     
    
    
     
          /*save human anime style image*/
     
    
   
    
     
    
    
     
          ret = ucloud_ai_save_image(
      "/data/humananime.png")
      ;
     
    
   
    
     
    
    
     
          if (
      ret < 
      0) {
     
    
   
    
     
    
    
     
              LOGE(
      TAG, 
      "save_captured_image fail\n")
      ;
     
    
   
    
     
    
    
     
              return 
      -1
      ;
     
    
   
    
     
    
    
     
          }
     
    
   
    
     
    
    
      
     
    
   
    
     
    
    
     
          /*显示人物动漫化图片到LCD屏*/
     
    
   
    
     
    
    
     
      #ifdef AOS_COMP_SDL2
     
    
   
    
     
    
    
     
          /*draw image to lcd screen*/
     
    
   
    
     
    
    
     
          graphics_draw_image(
      "/data/humananime.png", 
      0, 
      0)
      ;
     
    
   
    
     
    
    
     
      #endif
     
    
   
    
     
    
    
     
          return ret
      ;
     
    
   
    
     
    
    
     
      }

4、Demo体验

讲了那么多，很想要快速体验吧，按照下面几个步骤来就可以了。

4.1、下载代码

参考《HaaS100快速开始》下载AliOS Things代码。

git clone https://github.com/alibaba/AliOS-Things.git -b dev_3.1.0_haas

4.2、设备端配置

前面通过开通OSS，视觉智能开放平台功能获取到账号及域相关信息，配置到sdkconfig.h中，并选择AI_MODEL，同时将前面获取到的WiFi摄像头IP也更新进来。

4.3、代码编译


  
   
    
     
    
    
     
      1. $aos make distclean
     
    
   
    
     
    
    
     
      2. $aos make ucloud_ai_demo@haas100 -c config
     
    
   
    
     
    
    
     
      3. $aos make

4.4、代码烧录

如果是使用的Window烧录工具参考《HaaS100快速开始》，烧录的文件位于：


  
   
    
     
    
    
     
      1. $./out/ucloud_ai_demo@haas100/binary/ucloud_ai_demo@haas100.bin
     
    
   
    
     
    
    
     
      2. $./platform/mcu/haas1000/release/write_flash_tool/ota_bin/littlefs.bin

将文件ucloud_ai_demo@haas100.bin和littlefs.bin分别替换write_flash_gui/ota_bin/ota_rtos.bin和write_flash_gui/ota_bin/littlefs.bin。

如果使用的是docker环境请参考《一步搞定AliOS Things开发环境安装》4.3烧录固件。

4.5、网络连接

因为HaaS开发板需要连接到云端，因此需要连接到一个可以上外网的路由器，WiFi摄像头也只能使用Station模式连接到同一台路由器，例如：

$netmgr -t wifi -c haas_open 12345678

5、效果展示

网络连上后就可以直接体验效果了：

6、开发者技术支持

如需更多技术支持，可加入钉钉开发者群，或者关注微信公众号

更多技术与解决方案介绍，请访问阿里云AIoT首页https://iot.aliyun.com/

转载：https://blog.csdn.net/HaaSTech/article/details/113753701

查看评论

小言_互联网的博客