YOLO是You-Only-Look-Once的缩写，它无疑是根据COCO数据集训练的最好的对象检测器之一。YOLOv4是最新的迭代版本，它在准确性和性能之间进行了权衡，使其成为最先进的对象检测器之一。在智能视频分析管道中使用任何对象检测器的典型机制包括使用像Tensorflow或PyTorch这样能够在NVIDIA GPU上操作的库来加速模型推理。
OpenCV用于图像/视频流输入，预处理和后处理的视觉效果。如果我告诉你OpenCV现在能够利用NVIDIA CUDA的优点，使用DNN模块本地运行YOLOv4，那会怎样？本文将带你通过使用CUDA和cuDNN构建OpenCV，以使用DNN模块加速YOLOv4推理。
介绍
我认识的大多数爱好者都有支持GPU的设备。我的目标是让GPU加速成为主流。谁不喜欢项目跑快点呢？我已经使用了OpenCV 4.5.1、CUDA 11.2和cuDNN 8.1.0来开始工作，使推理更容易!
首先，你需要设置CUDA，然后安装cuDNN，最后以构建OpenCV结束。此外，这个博客被分成了几个部分，这样更容易理解!
CUDA 11.2和cuDNN 8.1.0安装
最有可能使你的计算机无法启动的部分。开个玩笑啦！把每件事都做好，这应该是轻而易举的事。
安装CUDA 11.2
首先根据你的平台从CUDA存储库下载deb文件。
CUDA存储库：https://developer.nvidia.com/cuda-downloads
正确选择平台后，将会向你提供安装命令。如果你的平台与我的平台相似，则可以按以下方式安装它：
-
wget https:
//developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pinsudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600wget https://developer.download.nvidia.com/compute/cuda/11.2.1/local_installers/cuda-repo-ubuntu2004-11-2-local_11.2.1-460.32.03-1_amd64.debsudo dpkg -i cuda-repo-ubuntu2004-11-2-local_11.2.1-460.32.03-1_amd64.debsudo apt-key add /var/cuda-repo-ubuntu2004-11-2-local/7fa2af80.pubsudo apt updatesudo apt -y install cudasudo reboot
-
如果操作正确，那么在运行nvidia-smi时应该会有以下输出
最后，将以下内容粘贴到.bashrc或.zshrc中
-
# CUDA
-
export CUDA=
11.2
-
export PATH=/usr/local/cuda-$CUDA/bin${PATH:+:${PATH}}
-
export CUDA_PATH=/usr/local/cuda-$CUDA
-
export CUDA_HOME=/usr/local/cuda-$CUDA
-
export LIBRARY_PATH=$CUDA_HOME/lib64:$LIBRARY_PATH
-
export LD_LIBRARY_PATH=/usr/local/cuda-$CUDA/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
-
export LD_LIBRARY_PATH=/usr/local/cuda/extras/CUPTI/lib64:$LD_LIBRARY_PATH
-
export NVCC=/usr/local/cuda-$CUDA/bin/nvcc
-
export CFLAGS=
"-I$CUDA_HOME/include $CFLAGS"CUDA
-
别忘了在后面加上source ~/.bashrc或source ~/.zshrc
安装cuDNN 8.1.0
为此，你需要有一个NVIDIA的账户，所以一定要先注册。完成后，前往以下链接并下载标记的文件。
https://developer.nvidia.com/rdp/cudnn-download
下载deb文件后，运行以下命令-
-
sudo dpkg -i libcudnn8_8
.1
.0
.77
-1+cuda11
.2_amd64.deb
-
sudo dpkg -i libcudnn8-dev_8
.1
.0
.77
-1+cuda11
.2_amd64.deb
-
这标志着NVIDIA CUDA和cuDNN安装的完成！
从源代码构建OpenCV 4.5.1
有趣的是，这让我很兴奋！本节将帮助你用CUDA, GStreamer和FFMPEG从源代码构建OpenCV !有一个很长的命令列表要执行，所以开始吧。
首先，安装python开发人员包
-
sudo apt install python3-dev python3-pip python3-testresources
-
接下来，让我们安装构建OpenCV所需的依赖项
-
sudo apt install build-essential cmake pkg-config unzip yasm git checkinstall
-
sudo apt install libjpeg-dev libpng-dev libtiff-dev
-
sudo apt install libavcodec-dev libavformat-dev libswscale-dev libavresample-dev
-
sudo apt install libgstreamer1
.0-dev libgstreamer-plugins-base1
.0-dev
-
sudo apt install libxvidcore-dev x264 libx264-dev libfaac-dev libmp3lame-dev libtheora-dev
-
sudo apt install libfaac-dev libmp3lame-dev libvorbis-dev
-
sudo apt install libopencore-amrnb-dev libopencore-amrwb-dev
-
sudo apt-get install libgtk
-3-dev
-
sudo apt-get install libtbb-dev
-
sudo apt-get install libatlas-base-dev gfortran
-
sudo apt-get install libprotobuf-dev protobuf-compiler
-
sudo apt-get install libgoogle-glog-dev libgflags-dev
-
sudo apt-get install libgphoto2-dev libeigen3-dev libhdf5-dev doxygen
-
Numpy是此构建的一个关键python包。使用pip安装它
-
pip3 install numpy
-
现在，你应该为构建做好了一切准备。运行以下命令下载并解压源代码
-
mkdir opencvbuild && cd opencvbuild
-
wget -O opencv.zip https:
//github.com/opencv/opencv/archive/4.5.1.zip
-
wget -O opencv_contrib.zip https:
//github.com/opencv/opencv_contrib/archive/4.5.1.zip
-
unzip opencv.zip
-
unzip opencv_contrib.zip
-
mv opencv
-4.5
.1 opencv
-
mv opencv_contrib
-4.5
.1 opencv_contrib
-
让我们准备构建吧!
-
cd opencv
-
mkdir build && cd build
-
确保CUDA_ARCH_BIN根据你的GPU改变。
-
cmake \
-
-D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_C_COMPILER=/usr/bin/gcc
-7 \
-
-D CMAKE_INSTALL_PREFIX=/usr/local -D INSTALL_PYTHON_EXAMPLES=ON \
-
-D INSTALL_C_EXAMPLES=ON -D WITH_TBB=ON -D WITH_CUDA=ON -D WITH_CUDNN=ON \
-
-D OPENCV_DNN_CUDA=ON -D CUDA_ARCH_BIN=
7.5 -D BUILD_opencv_cudacodec=OFF \
-
-D ENABLE_FAST_MATH=
1 -D CUDA_FAST_MATH=
1 -D WITH_CUBLAS=
1 \
-
-D WITH_V4L=ON -D WITH_QT=OFF -D WITH_OPENGL=ON -D WITH_GSTREAMER=ON \
-
-D WITH_FFMPEG=ON -D OPENCV_GENERATE_PKGCONFIG=ON \
-
-D OPENCV_PC_FILE_NAME=opencv4.pc -D OPENCV_ENABLE_NONFREE=ON \
-
-D OPENCV_EXTRA_MODULES_PATH=../../opencv_contrib/modules \
-
-D PYTHON_DEFAULT_EXECUTABLE=$(which python3) -D BUILD_EXAMPLES=ON ..
-
你应该会看到类似这样的成功构建
确保CUDA被检测到并且构建路径是准确的。如果一切正常，继续并执行以下命令来启动构建
-
make -j$(nproc)
-
sudo make install
-
要检查是否成功构建了OpenCV，运行这个命令
-
pkg-config --libs --cflags opencv4
-
在成功安装时，它应该会给你一个类似这样的输出
很高兴看到你能走到这一步！现在你应该已经完成了运行示例应用程序的所有设置。
运行应用程序
继续并克隆这个存储库并获取权重。从安装git-lfs开始
-
sudo apt install git git-lfs
-
使用模型文件克隆存储库
-
# Using HTTPS
-
git
clone https:
//github.com/aj-ames/YOLOv4-OpenCV-CUDA-DNN.git
-
# Using SSH
-
git
clone git@github.com:aj-ames/YOLOv4-OpenCV-CUDA-DNN.git
-
cd YOLOv4-OpenCV-CUDA-DNN/
-
git lfs install
-
git lfs pull
-
你可以在图像，视频摄像头，或RTSP输入运行应用程序。
-
# Image
-
python3 dnn_infernece.py --image images/example.jpg --use_gpu
-
# Video
-
python3 dnn_inference.py --stream video.mp4 --use_gpu
-
-
# RTSP
-
python3 dnn_inference.py --stream rtsp:
//192.168.1.1:554/stream --use_gpu
-
-
# Webcam
-
python3 dnn_inference.py --stream webcam --use_gpu
-
PS：删除--use-gpu标志来禁用GPU。适得其反，不是吗？
极客们的一些基准!
如果收益不是很大，我们就不会这么做。相信我，在GPU上运行使我的FPS增加了10–15倍！
我测试了两种配置
英特尔酷睿i5 7300HQ + NVIDIA GeForce GTX 1050Ti
英特尔至强E5–1650 v4 + NVIDIA Tesla T4
我会让数字来说话的！
-
| Device | FPS | Device | FPS |
-
| :------------: | :----------: | :------------: | :----------: |
-
| Core i5
7300HQ |
2.1 | GTX
1050 Ti |
20.1 |
-
| Xeon E5
-1650 |
3.5 | Tesla T4 |
42.3 |
-
尾注
GPU加速正在渗透到多个库和应用程序中，使用户能够以前所未有的速度运行更重的工作负载！计算机视觉曾经不是一项所有人都能接触到的技术，但随着神经网络的改进和硬件计算能力的提高，这一差距已经显著缩小。随着人工智能发展的速度，我们的硬件也会发展的越来越灵活！
☆ END ☆
如果看到这里，说明你喜欢这篇文章，请转发、点赞。微信搜索「uncle_pn」，欢迎添加小编微信「 mthler」，每日朋友圈更新一篇高质量博文。
↓扫描二维码添加小编↓
转载：https://blog.csdn.net/woshicver/article/details/114909788