好推建站,网站可视化编辑,台州房产网站建设,舟山论坛网站建设目录 前言1. 深度估计总结 前言 杜老师推出的 tensorRT从零起步高性能部署 课程#xff0c;之前有看过一遍#xff0c;但是没有做笔记#xff0c;很多东西也忘了。这次重新撸一遍#xff0c;顺便记记笔记。 本次课程学习 tensorRT 高级-自动驾驶案例项目self-driving-深度估… 目录 前言1. 深度估计总结 前言 杜老师推出的 tensorRT从零起步高性能部署 课程之前有看过一遍但是没有做笔记很多东西也忘了。这次重新撸一遍顺便记记笔记。 本次课程学习 tensorRT 高级-自动驾驶案例项目self-driving-深度估计 课程大纲可看下面的思维导图 1. 深度估计 这节我们学习深度估计模型的分析我们的目的是找到深度估计的 onnx分析其 onnx 的大致使用逻辑然后写出最简洁版本的 predict.py大体可以分为以下三步 1. 打开深度估计的 onnx查看其输入与输出 2. 查看代码找到 onnx 的预处理分析得到预处理的逻辑 3. 针对获得的信息编写 predict.py尝试写出来 我们来观察下其 onnx 模型如下图所示 图1 onnx模型 从导出的 onnx 模型我们可以知道输入的 1x3x256x512输出存在 6 个
我们再分析项目中的 image_processor/depth_engine.cpp 代码可以得出具体的预处理所做的工作(详细分析请参照视频)
1. 输入是 1x3x256x512input.1
2. 输出是 1x1x256x5122499 节点
3. normalize.mean 0.485fnorm 0.229f
4. y (x / 255.0 - mean) / norm
5. resize 部分不搞那么复杂直接 resize
6. 颜色方面需要 cvtColor → \rightarrow → to RGB
我们可以简单的写个预处理程序来验证下代码如下
import onnxruntime
import cv2
import numpy as npsession onnxruntime.InferenceSession(workspace/ldrn_kitti_resnext101_pretrained_data_grad_256x512.onnx, provider_options[CPUExecutionProvider])image cv2.imread(workspace/imgs/dashcam_00.jpg)
image cv2.resize(image, (512, 256))
image cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
image_tensor (image / 255.0)
mean [0.485, 0.456, 0.406]
norm [0.229, 0.224, 0.225]
image_tensor ((image_tensor - mean) / norm).astype(np.float32)
image_tensor image_tensor.transpose(2, 0, 1)[None]prob session.run([2499], {input.1: image_tensor})[0]print(prob.shape)prob prob[0, 0] * -5 255
y int(prob.shape[0] * 0.18)
prob prob[y:]cv2.imwrite(depth.jpg, prob)输出如下图 图2 预处理验证 可以看到输出符合我们的预期输出的深度估计图如下所示 图3 深度估计图 另外我们还可以通过 matplotlib 来可视化代码如下所示
import onnxruntime
import cv2
import numpy as np
import matplotlib.pyplot as pltsession onnxruntime.InferenceSession(workspace/ldrn_kitti_resnext101_pretrained_data_grad_256x512.onnx, provider_options[CPUExecutionProvider])image cv2.imread(workspace/imgs/dashcam_00.jpg)
image cv2.resize(image, (512, 256))
image cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
image_tensor (image / 255.0)
mean [0.485, 0.456, 0.406]
norm [0.229, 0.224, 0.225]
image_tensor ((image_tensor - mean) / norm).astype(np.float32)
image_tensor image_tensor.transpose(2, 0, 1)[None]prob session.run([2499], {input.1: image_tensor})[0]print(prob.shape)prob prob[0, 0]
y int(prob.shape[0] * 0.18)
prob prob[y:]plt.imsave(depth.jpg, prob, cmapplasma_r)输出的深度估计图如下所示 图4 深度估计图(matplotlib) 总结 本次课程学习了开源项目中的深度估计案例主要是对深度估计模型的 onnx 进行了简单分析并通过对项目代码的分析将预处理部分理清楚然后通过 onnxruntime 进行了简单验证并对最终的深度估计结果进行了可视化显示
