CANN/ge LLM DataDist CopyKvBlocks API文档

📅 2026/7/4 6:17:02 ✍️ 编辑团队 👁️ 阅读次数
CANN/ge LLM DataDist CopyKvBlocks API文档
# CopyKvBlocks【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 推理系列产品支持Atlas A2 训练系列产品不支持函数功能PA场景下通过block列表的方式拷贝KV Cache。支持D2DD2HH2D的拷贝。D2D场景主要是针对当多个回答需要共用相同blockblock没填满时新增的token需要拷贝到新的block上继续迭代。H2D和D2H的拷贝主要用于对应block_index上Cache内存的换入换出。函数原型Status CopyKvBlocks(const Cache src_cache, const Cache dst_cache, const std::vectoruint64_t src_blocks, const std::vectorstd::vectoruint64_t dst_blocks_list)参数说明参数名称输入/输出取值说明src_cache输入源Cache。dst_cache输入目的Cache。src_blocks输入源Cache的block index列表。dst_blocks_list输入目标Cache的block index列表的列表一组src_blocks可以拷贝到多组dst_blocks。调用示例Status ret llm_datadist.CopyKvCache(src_cache, dst_cache, {1,2}, {{1,2},{3,4}})返回值LLM_SUCCESS成功LLM_PARAM_INVALID参数错误其他失败约束说明该接口调用之前需要先调用Initialize接口完成初始化。不支持Host-Host的拷贝。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

相关新闻