参考：TensorRT(1)-介绍-使用-安装 | arleyzhang
1 什么是TensorRT一般的深度学习项目，训练时为了加快速度，会使用多 GPU 分布式训练。但在部署推理时，为了降低成本，往往使用单个 GPU 机器甚至嵌入式平台（比如 NVIDIA Jetson）进行部署，部署端也要有与训练时相同的深度学习环境，如 caffe，TensorFlow 等。由于训练的网络模型可能会很大（比如，inception，resnet 等），参数很多，而且部署端的机器性能存在差异，就会导致推理速度慢，延迟高。这对于那些高实时性的应用场合是致命的，比如自动驾驶要求实时目标检测，目标追踪等。所以为了提高部署推理的速度，出现了很多轻量级神经网络，比如 squeezenet，mobilenet，shufflenet 等。基本做法都是基于现有的经典模型提出一种新的模型结构，然后用这些改造过的模型重新训练，再重新部署。
而 TensorRT 则是对训练好的模型进行优化。 TensorRT 就只是推理优化器。灵巧的唇膏的网络训练完之后，可以将训练模型文件直接丢进 TensorRT中，而不再需要依赖深度学习框架（Caffe，TensorFlow 等），如下：
可以认为 TensorRT 是一个只有前向传播的深度学习框架，这个框架可以将 Caffe，TensorFlow 的网络模型解析，然后与 TensorRT 中对应的层进行一一映射，把其他框架的模型统一全部转换到 TensorRT 中，然后在 TensorRT 中可以针对 NVIDIA 自家 GPU 实施优化策略，并进行部署加速。
如果想了解更多关于 TensorRT 的介绍，可参考官网介绍
2 TensorRT安装TensorRT 的安装方式很简单，只需要注意一些环境的依赖关系就可以，我们以 TensorRT 5.0.4 版本为例，参考官网安装教程，这里简单总结一下步骤
TensorRT 支持的环境和 Python 版本如表所示（来源）
2.1 环境确认 确认 CUDA 版本是 9.0 或者 10.0，可通过运行 nvcc -V 指令来查看 CUDA，如果不是 9.0 以上，则需要先把 CUDA 版本更新一下cudnn 版本是 7.3.1，如果不满足要求，按照《Linux之cudnn升级方法》进行升级需安装有 TensorFlow，uff模块需要2.2 安装 pycuda如果要使用 Python 接口的 TensorRT，则需要安装 Pycuda
pip install 'pycuda>=2017.1.1'我在 ubuntu 16.04 上安装时报错如下
ERROR: Could not build wheels for pycuda which use PEP 517 and cannot be installed directly
目前还没找到解决方法，但在 ubuntu18.04 上安装时没问题
2.3 下载安装包 进入下载链接点击 Download Now（需要登录英伟达账号，没有的注册一个）选择下载的版本完成问卷调查选择同意协议根据自己的系统版本和 CUDA 版本，选择安装包，如图所示（如果是完整安装，建议选择Tar File Install Packages，这样可以自行选择安装位置） 2.4 安装指令安装时只需要把压缩文件解压，相应的库文件拷贝到系统路径下即可
#在home下新建文件夹，命名为tensorrt_tar，然后将下载的压缩文件拷贝进来解压tar xzvf TensorRT-5.0.2.6.Ubuntu-16.04.4.x86_64-gnu.cuda-9.0.cudnn7.3.tar#解压得到TensorRT-5.0.2.6的文件夹，将里边的lib绝对路径添加到环境变量中export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/lthpc/tensorrt_tar/TensorRT-5.0.2.6/lib为了避免其它软件找不到 TensorRT 的库，建议把 TensorRT 的库和头文件添加到系统路径下
# TensorRT路径下sudo cp -r ./lib/* /usr/libsudo cp -r ./include/* /usr/include如果要使用 python 版本，则使用 pip 安装，执行下边的指令
# 安装TensorRTcd TensorRT-5.0.2.6/pythonpip install tensorrt-5.0.2.6-py2.py3-none-any.whl# 安装UFF,支持tensorflow模型转化cd TensorRT-5.0.2.6/uffpip install uff-0.5.5-py2.py3-none-any.whl# 安装graphsurgeon，支持自定义结构cd TensorRT-5.0.2.6/graphsurgeonpip install graphsurgeon-0.3.2-py2.py3-none-any.whl很多人安装某些版本的时候会报错，比如
ERROR: tensorrt-6.0.1.5-cp36-none-linux_x86_64.whl is not a supported wheel on this platform.
这个是因为自己 python 版本不对，输入 pip --version 来查看 python 版本是否是自己想象中的版本，不对的话切换一下
============= 20200618更新 ===============
为了避免安装时各种问题，我们也可以使用 deb 包的方式安装，即在 2.3 步骤中选择自己系统对应的版本，然后使用如下指令安装
# 首先根据自己下载的版本填写os和tag变量# 我下载的版本是 nv-tensorrt-repo-ubuntu1804-cuda10.2-trt7.0.0.11-ga-20191216_1-1_amd64.deb# 得到如下值os="ubuntu1804"tag="cuda10.2-trt7.0.0.11-ga-20191216"sudo dpkg -i nv-tensorrt-repo-${os}-${tag}_1-1_amd64.debsudo apt-key add /var/nv-tensorrt-repo-${tag}/7fa2af80.pubsudo apt-get updatesudo apt-get install tensorrtsudo apt-get install python-libnvinfer-dev # for python2sudo apt-get install python3-libnvinfer-dev # for python3sudo apt-get install uff-converter-tf # for tensorflow安装完之后运行下边指令
dpkg -l | grep TensorRT输出如下，表明安装成功
ii graphsurgeon-tf7.1.0-1+cuda10.2amd64GraphSurgeon for TensorRT packageii libnvinfer-xsddy7.1.0-1+cuda10.2amd64TensorRT xsddyariesii libnvinfer-dev7.1.0-1+cuda10.2amd64TensorRT development libraries and headersii libnvinfer-doc7.1.0-1+cuda10.2allTensorRT documentationii libnvinfer-plugin-dev7.1.0-1+cuda10.2amd64TensorRT plugin librariesii libnvinfer-plugin77.1.0-1+cuda10.2amd64TensorRT plugin librariesii libnvinfer-samples7.1.0-1+cuda10.2allTensorRT samplesii libnvinfer77.1.0-1+cuda10.2amd64TensorRT runtime librariesii libnvonnxparsers-dev7.1.0-1+cuda10.2amd64TensorRT ONNX librariesii libnvonnxparsers77.1.0-1+cuda10.2amd64TensorRT ONNX librariesii libnvparsers-dev7.1.0-1+cuda10.2amd64TensorRT parsers librariesii libnvparsers77.1.0-1+cuda10.2amd64TensorRT parsers librariesii python-libnvinfer7.1.0-1+cuda10.2amd64Python xsddydings for TensorRTii python-libnvinfer-dev7.1.0-1+cuda10.2amd64Python development package for TensorRTii python3-libnvinfer7.1.0-1+cuda10.2amd64Python 3 xsddydings for TensorRTii python3-libnvinfer-dev7.1.0-1+cuda10.2amd64Python 3 development package for TensorRTii tensorrt7.1.0.x-1+cuda10.2 amd64Meta package of TensorRTii uff-converter-tf7.1.0-1+cuda10.2amd64UFF converter for TensorRT package 2.5 环境测试运行 python 测试，导入模块不报错就表明安装正确
注意：导入 uff 的时候需要安装 tensorflow 模块，tensorflow 版本要与 cuda 版本对应，比如 cuda9 要对应 tensorflow1.12 及以下版本，以上版本需要 cuda10，具体参考官网
如果导入 TensorRT 报错如下，则是因为 python 版本不对，应根据 2.1 节上边的那个表调整自己的 python 版本
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/home/xxx/anaconda3/lib/python3.6/site-packages/tensorrt/__init__.py", line 1, in <module>
from .tensorrt import *
ImportError: /home/xxx/anaconda3/lib/python3.6/site-packages/tensorrt/tensorrt.so: undefined symbol: _Py_ZeroStruct
安装后会在 /usr/src 目录下生成一个 TensorRT 文件夹,里面包含 xsddy,data,python,samples 四个文件夹，samples 文件夹中是官方例程的源码；data,python 文件中存放官方例程用到的资源文件，比如 caffemodel 文件，TensorFlow 模型文件，一些图片等；xsddy 文件夹用于存放编译后的二进制文件。
============= 20200618更新 ===============
也可以使用如下方法测试
sudo cp -r /usr/src/tensorrt/ ~/cd ~/tensorrt/samplessudo makecd ../xsddy./sample_int8 mnist 3 使用流程在 /TensoRT-5.0.2.6/samples/python 文件夹下有很多 python 的例子，我们以第一个 end_to_end_tensorflow_mnist 的例子为例，描述 TensorRT 的使用流程，在 README.md 文件里也说得很明白了
3.1 安装依赖需要安装好 numpy、Pillow、pycuda、tensorflow 等环境，如果都有可以跳过
3.2 生成pb文件 mkdir modelspython model.py运行 model.py 后，会下载数据 mnist.npz，并开始训练，完成后在 models 文件夹下生成 lenet5.pb 文件，如果自己已经训练得到 pb 文件，上述过程可以跳过
3.3 格式转化要将 tensorflow 的 pb 文件转化为 uff 格式的文件，首先找到 convert_to_uff 文件，看自己用的是哪个版本的 python，如果是 python3，则在 /usr/lib/python3.5/dist-packages/uff/xsddy 文件夹下，如果是 python2，则在 /usr/lib/python2.7/dist-packages/uff/xsddy 文件夹下
我们在终端中进入 end_to_end_tensorflow_mnist，运行以下指令
python3.5 /usr/lib/python3.5/dist-packages/uff/xsddy/convert_to_uff.py --input_file models/lenet5.pb则会在 models 文件夹中生成 lenet5.uff 文件
需要注意的是：该转化过程只支持在 x86 平台上实现，如果想在 TX2 等嵌入式平台上使用 TensorRT ，需要先在 x86 平台上将 pb 模型转化为 uff 文件，然后再拷贝到 TX2 上使用
3.4 运行文件运行 sample.py 文件，得到如下输出，表明可完整的使用 TensorRT
4 使用自己的模型
前边 3 步相当于是环境的配置，当然还不够，我们需要的是可以转化并运行我们自己的模型，达到加速的效果，因此接下来对相关的工作进行总结，具体转换参考《TX2之TensorRT加速TensorFlow目标检测模型》