TensorRT-LLM介绍

项目介绍

本项目基于开源的TensorRT-LLM，聚焦于大模型推理场景下的高效执行。通过算子优化、访存优化、参数配置等进行了深度的性能增强，显著提升了模型推理的吞吐量和时延表现。

目录结构

tensorrt-llm
├── 001-boostsra-tensorrtllm-1.0.0-optimize_kernel.patch     // tensorrt-llm补丁文件
├── LICENSE                                                  // License文件
├── README.md                                                // 开源仓介绍
└── docs                                                     // 文档

版本说明

关于Kunpeng TensorRT-LLM版本更新情况请参见《版本说明书》。

学习文档

学习资源类别	学习资源名称	学习资源简介
文档	版本说明书	提供Kunpeng TensorRT-LLM每个发布版本的基础信息和特性更新信息。
文档	特性介绍	介绍Kunpeng TensorRT-LLM基于开源TensorRT-LLM的功能点和优化点。
文档	安装指南	提供Kunpeng TensorRT-LLM编译安装指导。

免责声明

此代码仓计划参与TensorRT-LLM社区开源，编码风格遵照原生开源软件，继承原生开源软件安全设计，不破坏原生开源软件设计及编码风格和方式，软件的任何漏洞与安全问题，均由相应的上游社区根据其漏洞和安全响应机制解决。请密切关注上游社区发布的通知和版本更新。鲲鹏计算社区对软件的漏洞及安全问题不承担任何责任。

License

本项目采用Apache License 2.0许可证。详见LICENSE文件

本项目文档适用CC-BY 4.0许可证，具体请参见LICENSE文件。

贡献声明

欢迎大家为社区做贡献，如果使用过程中有任何问题/建议，或者需要反馈特性需求和bug报告，可以提交Issues联系我们，具体贡献方法可参考这里。同时也欢迎大家在讨论专区展开讨论交流。感谢您的支持。

致谢

TensorRT-LLM由华为公司的下列部门联合贡献：

鲲鹏计算Boostkit开发部

感谢来自社区的每一个PR，欢迎贡献TensorRT-LLM！