Video Telephony接口和流程梳理

未经允许不能转载

本文内容主要是IMS ThinClient对应用程序公开的api的概述，通过这些api，应用程序可以通过modem进行视频通话，此外，本文仅提供Qualcomm的Android VideoTelephony方案。

第一部分：IMS ThinClient

这部分挑选了部分重要的API接口进行描述

1.initImsThinClient()/initImsThinClient2(unsigned short sessionID)

初始化IMS ThinClient，初始化成功了之后才能接收QMI指令进行更多的操作，返回值如下：

该接口是整个VT call的第一步，这两个api的区别在于后者需要传入唯一的sessionID，为应用唯一识别码

 

2.deInitImsThinClient()

反初始化IMS ThinClient，也就是清空所有数据，关闭ThinClient，这是整个VT流程的最后一步，返回值如下:

 

3.setFarEndSurface(Surfacefar)

设置farend Surface，让设备可以解码和渲染，播放器可以开始工作，简单来说就是可以播放视频，返回值如下：

这里附加一个api 文档的流程图：

可以看到最后把surface的句柄传到了播放器，让其渲染，如果有视频过来就可以播放了

4.void registerAppEventCallback2(IMS_EVENT_NOTIFY_CALLBACK2 fnPtr)

注册APP的callback，其中IMS_EVENT_NOTIFY_CALLBACK2 的返回值如下：

这里先解释一下，为什么这个callback是2，因为在Android L之后，registerAppEventCallback和IMS_EVENT_NOTIFY_CALLBACK就被废弃了，使用了现在这个接口，IMS ThinClient的部分接口需要返回对应的return value才可以使用

如int GetNegotiatedFPS()需要返回PARAM_READY_EVENT才能使用

short getUIOrientationMode()需要返回DISP_MODE_EVENT，具体需要看对应接口的要求

 

5.short getUIOrientationMode()

获取UI的方向是什么模式的，有如下返回值

当返回是CVO_MODE的时候可以使用如下接口：

6.void setDeviceOrientation(unsigned short rotation)

设置设备的方向，有如下rotation可以传入

 

 

 

接下来是流量相关部分：

7.int requestRtpDataUsage2(int mediaID)

mediaID是区分多个通话的唯一id，该接口是向IMS ThinClient申请RTP 的数据使用情况，返回值如下：

请求成功之后才可以获取相关数据，这里附上流程图：

当callback返回VT_RTP_DATA_USAGE_EVENT可以使用如下接口获取所需数据

8.unsigned long getRtpDataUsage2(unsigned short direction, int mediaID)

以及

9.unsigned long getRtpDataUsage3(unsigned short direction, int mediaID, int rat_type)

direction有如下参数

rat_type有如下参数

同样的，这里的接口是带“2”的，也就是Android L及以上的接口

 

Camera相关

使用Camera的相关方法在Camera2中，这里不做相关描述，只描述IMS ThinClient的Camera相关

10.void setCameraInfo(unsigned short facing,unsigned int mount)

在使用Camera的录像功能开启之前，必须使用这个接口设置是使用前置还是后置摄像头，摄像头旋转的角度这两个参数

         这个接口是MSM8998或者更新的芯片可以使用的，老芯片使用的是：void setCameraFacing(unsigned short facing)，参数如上表

 

 

11.int setVideoImageBuffer(int *array, int size,int width, int height)

         在VT call期间，应用希望发送静态图片取代视频流使用的接口，参数分别是：

图片的ARGB_8888 格式的bitmap 数组

图片数组的大小

图片的宽

图片的高

使用该接口最好是关闭Camera，当你不想再发送静态图片的时候可以传null关闭这个接口，这个时候就可以再次打开Camera发送视频流了，该接口返回值如下：

 

 

12.uint32_t getRecorderFrameRate()

        获取帧率的接口，获取了FPS之后，使用camere2的setRepeatingBurst()去计算应该跳过的帧数，如GetNegotiatedFPS()获取到是30，此接口获取到是15，那么需要配置camera为录制15 FPS的视频到解码器，跳过其中的15帧

第二部分：一个完整的VT通话的call flow

A）先上流程图，内容有点多，可以放大看：

这个是api文档的原图，解释如下：

这个接口调用流程图讲的是VT app，IMS的VT和Camera接口，以及SL服务层四者的调用关系

由VT app开始，MO（主叫）用户拨号到MT（被叫）用户开始讲起

1. MO使用RIL接口拨号给MT，SL进行处理之后，MT接收到通话指示
2. MO和MT的初始化IMS thinClient，setFarEndSurface以及注册回调函数registerAppEventCallback2/ registerAppEventCallback，同时使用cameraOpen开启camera
3. IMS内部注册camera的回调，也就是IMS VT interface注册IMS Camera interface的callback
4. MO接收通话指示（进行中/已连接），MT通过RIL接口应答VT通话
5. SL给IMS VT接口发送视频的初始化和配置通知，IMS处理之后通过IMS VT接口通过第2步的回调函数返回了DISP_MODE_EVENT，使得VT app可以获取UI的方向模式（横/竖/自适应）
6. 当IMS ThinClient准备完毕，利用2的回调函数返回PARAM_READY_EVENT事件之后，VT app就能从IMS ThinClient获取FPS，宽，高等内容
7. VT app通过IMS Camera接口设置Camera的相关参数，并且启动Camera预览（startCameraPreview）
8. 当视频解码器/播放器配置成功之后，IMS ThinClient通过2的回调函数返回PEER_RESOLUTION_CHANGE_EVENT，使得VT app能获取到对等通话方的视频的宽和高，这样便能调整视频的显示，使得显示正常
9. 当IMS ThinClient和SL经过一系列请求之后，IMS ThinClient通过2的回调返回RECORDER_START_EVENT（也就是图上的START_READY_EVENT），VT app就可以开始视频的录制了

当播放器开始接收录制的视频的时候，IMS ThinClient通过回调返回PLAYER_START_EVENT，VT app就可以开始播放视频了。

 

B）在整个通话过程中，会遇到不同的情况，比如旋转手机，结束通话，停止录像之类的，看下图：

1. 如果MT旋转屏幕了，MO的VT app接收到PEER_RESOLUTION_CHANGE_EVENT，那么MO就要获取MT的视频宽高，对UI调整，以正确显示视频
2. 停止和开始传输视频，都会有对应的事件通知到VT app调整UI或者显示信息

结束通话需要释放camera和反初始化IMS ThinClient（deinitImsThinClient）

第三部分：升级方案和降级方案

升级方案和第二部分A）中的流程图差不多，区别在于通话指令部分的区别，可以看下图：

这是一个VOLTE升级到VT的flow，可以看到在alt框，也就是有一个MODIFY的指令的区别，其余比如升级到VS的就不一一列举了。

降级方案：

降级方案也是比较简单，先看图：

1.VS receive only 降级到VOLTE，VT接收到降级指令，设置视频为null，IMS ThinClient停止播放

 

2.VS transmit only降级到VOLTE，VT app接收到降级指令之后停止视频录制，IMS ThinClient停止录制视频

 

3.VT降级到VS transmit only，VT app接收到降级指令，停止播放视频，IMS ThinClient也停止播放和预览，但是还继续发送视频

 

4.VT降级到VS receive only，VT接收到指令之后，停止camera的预览和录制，并且释放camera，IMS ThinClient接收到停止录制的指令，然后停止录制

 

5.VT降级到VOLTE，VT接收到指令之后，停止camera，停止播放，IMS ThinClient也是一样的，停止录制，停止播放。

 

附录：

 

转载：https://blog.csdn.net/W498747606/article/details/106091786