2.4K Star 8.2K Fork 4.4K

GVPMindSpore / mindspore

 / 详情

[LITE][MS][JAVA]ModelParallelRunner并行推理接口运行在ascend后端,推理时,服务器内存短时间涨满,进程内存不足退出

DONE
Bug-Report 成员
创建于  
2023-09-27 19:51
name about labels
Bug Report Use this template for reporting a bug kind/bug

Describe the current behavior / 问题描述 (Mandatory / 必填)

ModelParallelRunner并行推理接口运行在ascend后端,推理时,服务器内存短时间涨满,进程内存不足退出

Environment / 环境信息 (Mandatory / 必填)

  • Hardware Environment(Ascend/GPU/CPU) / 硬件环境:

Please delete the backend not involved / 请删除不涉及的后端:
/device ascend/GPU/CPU/kirin/等其他芯片
ASCEND

  • Software Environment / 软件环境 (Mandatory / 必填):
    -- MindSpore version (e.g., 1.7.0.Bxxx) :
    -- Python version (e.g., Python 3.7.5) :
    -- OS platform and distribution (e.g., Linux Ubuntu 16.04):
    -- GCC/Compiler version (if compiled from source):
    v2.2

  • Excute Mode / 执行模式 (Mandatory / 必填)(PyNative/Graph):

Please delete the mode not involved / 请删除不涉及的模式:
/mode pynative
/mode graph

Related testcase / 关联用例 (Mandatory / 必填)

mep-java长稳用例

Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

1.并行推理接口正常init
2.并行推理接口多线程重复predict
3.观测服务器内存

Describe the expected behavior / 预期结果 (Mandatory / 必填)

内存正常

Related log / screenshot / 日志 / 截图 (Mandatory / 必填)

推理正常,进程内存正常,服务器内存暴涨
输入图片说明

Special notes for this issue/备注 (Optional / 选填)

评论 (6)

nierong 创建了Bug-Report
nierong 添加了
 
kind/bug
标签
nierong 添加了
 
attr/function
标签
nierong 添加了
 
sig/mslite
标签
nierong 添加了
 
v2.2.0
标签
nierong 添加协作者chenjianping
nierong 添加协作者邹丹音
nierong 添加协作者nierong
展开全部操作日志

Please assign maintainer to check this issue.
请为此issue分配处理人。
@nierong

感谢您的反馈,您可以评论//mindspore-assistant更快获取帮助,更多标签可以查看标签列表

  1. 如果您刚刚接触MindSpore,或许您可以在教程找到答案
  2. 如果您是资深Pytorch用户,您或许需要:
    与PyTorch典型区别 / PyTorch与MindSpore API映射表
  3. 如果您遇到动态图问题,可以设置mindspore.set_context(pynative_synchronize=True)查看报错栈协助定位
  4. 模型精度调优问题可参考官网调优指南
  5. 如果您反馈的是框架BUG,请确认您在ISSUE中提供了MindSpore版本、使用的后端类型(CPU、GPU、Ascend)、环境、训练的代码官方链接以及可以复现报错的代码的启动方式等必要的定位信息
  6. 如果您已经定位出问题根因,欢迎提交PR参与MindSpore开源社区,我们会尽快review

精定位,由提交 9547013429f54187bf1d23c1b978d63cb398ee39 引入 @youshu

xiaoxiongzhu 负责人xiaoxiongzhu 修改为youshu

根因分析:因替换aclMallocHost接口对tensor进行内存申请,重复resize会更新data指针地址,未在更新前对原有已存在指针进行释放。
自验证:
host内存无明显增长
输入图片说明

i-robot 添加了
 
foruda
标签
youshu 任务状态TODO 修改为WIP
youshu 任务状态WIP 修改为VALIDATION
youshu 添加了
 
rca/codelogic
标签
youshu 添加了
 
rct/bugfix
标签
youshu 添加了
 
ctl/rdselftest
标签
youshu 里程碑B-SIG-MSLite 修改为B-LiteTest
youshu 添加协作者youshu
youshu 负责人youshu 修改为nierong
youshu 取消协作者nierong

#Appearance & Root Cause
#Fix Solution

Self-test Report & DT Review
是否需要补充ST/UT: 是
原因:门禁需要补充java推理用例

回归通过

nierong 任务状态VALIDATION 修改为DONE
fangwenyi 里程碑B-LiteTest 修改为B-ComponentTest

登录 后才可以发表评论

状态
负责人
项目
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
预计工期 (小时)
参与者(6)
8308341 principal87 1605246719 6575282 jpc chenjianping 1584443114
Python
1
https://gitee.com/mindspore/mindspore.git
git@gitee.com:mindspore/mindspore.git
mindspore
mindspore
mindspore

搜索帮助