简介

  • TensorRT 常用函数

C++ createInferBuilder() 函数 详解

在C++中，createInferBuilder() 函数通常是与NVIDIA TensorRT库相关的，用于创建一个 TensorRT 的推理构建器（InferBuilder）。TensorRT是一个用于深度学习推理的高性能推理引擎，由NVIDIA提供。

以下是对 createInferBuilder() 函数的详解：

1

nvinfer1::IBuilder* createInferBuilder(nvinfer1::ILogger& logger);

在这里，createInferBuilder() 函数返回一个 nvinfer1::IBuilder* 指针，它指向 TensorRT 推理构建器（InferBuilder）。让我们对参数和返回值进行详细解释：

  • 参数：
    • nvinfer1::ILogger& logger：一个 TensorRT 提供的日志记录器（ILogger）引用。日志记录器用于在 TensorRT 运行时记录各种信息，包括警告、错误等。通过传递一个日志记录器引用，您可以捕获 TensorRT 的运行时消息。
  • 返回值：
    • nvinfer1::IBuilder*：返回一个指向 TensorRT 推理构建器的指针。该指针可以用于配置和构建推理引擎。

使用示例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

#include <NvInfer.h>

int main() {
    // 创建一个简单的日志记录器
    nvinfer1::ILogger* logger = new nvinfer1::Logger(nvinfer1::ILogger::Severity::kINFO);

    // 使用 createInferBuilder() 创建 TensorRT 推理构建器
    nvinfer1::IBuilder* builder = createInferBuilder(*logger);

    // 在这里可以配置和构建推理引擎

    // 释放资源
    builder->destroy();
    delete logger;

    return 0;
}

在上面的示例中，首先创建了一个简单的日志记录器，然后使用 createInferBuilder() 函数创建了一个 TensorRT 推理构建器。接下来，您可以使用该构建器配置和构建推理引擎。最后，记得释放资源，包括销毁构建器和释放日志记录器。