2.4K Star 8.2K Fork 4.4K

GVPMindSpore / mindspore

 / 详情

[ST][MS][NET][unet-plus][Ascend/GPU 8p]too many WARNING in train log

REJECTED
Bug-Report
创建于  
2022-05-04 23:48
name about labels
Bug Report Use this template for reporting a bug kind/bug

Describe the current behavior / 问题描述 (Mandatory / 必填)

pangu网络在GPU环境8p训练warning日志超过10条,请优化

Environment / 环境信息 (Mandatory / 必填)

  • Hardware Environment(Ascend/GPU/CPU) / 硬件环境:

Please delete the backend not involved / 请删除不涉及的后端:
/device GPU/

  • Software Environment / 软件环境 (Mandatory / 必填):
    -- MindSpore version (e.g., 1.7.0.Bxxx) :r1.7.0 B120 commit_id:c492d320
    -- Python version (e.g., Python 3.7.5) :
    -- OS platform and distribution (e.g., Linux Ubuntu 16.04):
    -- GCC/Compiler version (if compiled from source):

  • Excute Mode / 执行模式 (Mandatory / 必填)(PyNative/Graph):

Please delete the mode not involved / 请删除不涉及的模式:
/mode graph

Related testcase / 关联用例 (Mandatory / 必填)

test_ms_unet_plus_gpu_train_8p_0001.py

Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

  1. get code from models
  2. sh run_distribute_train_gpu.sh

Describe the expected behavior / 预期结果 (Mandatory / 必填)

Related log / screenshot / 日志 / 截图 (Mandatory / 必填)

输入图片说明

Special notes for this issue/备注 (Optional / 选填)

麻烦走给骆阳

评论 (4)

sunjiawei999 创建了Bug-Report
sunjiawei999 添加了
 
usability
标签
sunjiawei999 添加了
 
kind/bug
标签
sunjiawei999 添加了
 
v1.7.0
标签
sunjiawei999 添加了
 
sig/parallel
标签
sunjiawei999 关联分支master 修改为未关联
sunjiawei999 修改了描述
xiangjiawei007 修改了标题
sunjiawei999 修改了描述
xiangjiawei007 关联分支设置为r1.7
xiangjiawei007 负责人xiangjiawei007 修改为luoyang
xiangjiawei007 里程碑B-SIG-Parallel 修改为B-SIG-Data
luoyang 添加协作者luoyang
luoyang 负责人luoyang 修改为liyong126
sunjiawei999 添加了
 
v1.8.0
标签
sunjiawei999 移除了
 
v1.7.0
标签
liyong126 任务状态TODO 修改为WIP
展开全部操作日志

根据日志告警信息分属不同的进程,需要进一步确认@sunjiawei999

在CI环境上查看日志,issue中显示的日志包含全部8卡的全部日志,其中每张卡上该warning日志出现2次。
rank 0的warnning日志如下:
输入图片说明

liyong126 任务状态WIP 修改为VALIDATION
liyong126 里程碑B-SIG-Data 修改为B-SolutionTest
liyong126 添加协作者liyong126
liyong126 负责人liyong126 修改为sunjiawei999

对齐后发现,用例使用的日志为8张卡打印到一起的日志,单张卡的warning并不多,非问题,问题单关闭。

sunjiawei999 任务状态VALIDATION 修改为REJECTED

登录 后才可以发表评论

状态
负责人
项目
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
预计工期 (小时)
参与者(4)
Python
1
https://gitee.com/mindspore/mindspore.git
git@gitee.com:mindspore/mindspore.git
mindspore
mindspore
mindspore

搜索帮助