Appearance & Root Cause

name	about	labels
Bug Report	Use this template for reporting a bug	kind/bug

Describe the current behavior / 问题描述 (Mandatory / 必填)

[ST][MF][baichuan2_7b][910B 8p]网络训练失败TypeError: init() got an unexpected keyword argument 'use_kvcache_op'
模型仓地址：https://gitee.com/mindspore/mindformers/tree/dev/research/baichuan2

Environment / 环境信息 (Mandatory / 必填)

Hardware Environment(Ascend/GPU/CPU) / 硬件环境:

Please delete the backend not involved / 请删除不涉及的后端:
/device ascend/

Software Environment / 软件环境 (Mandatory / 必填):
-- MindSpore version (e.g., 1.7.0.Bxxx) :
-- Python version (e.g., Python 3.7.5) :
-- OS platform and distribution (e.g., Linux Ubuntu 16.04):
-- GCC/Compiler version (if compiled from source):

CANN版本：MILAN-Florence-ASL/ABL V100R001C17SPC001B240 Alpha
MindSpore版本：MindSpore_master_781a38dd(MindSporeDaily)
MindFormers版本：MindFormers_dev_e0e8ad09(MindFormersDaily)

Excute Mode / 执行模式 (Mandatory / 必填)(PyNative/Graph):

Please delete the mode not involved / 请删除不涉及的模式:
/mode pynative
/mode graph

Related testcase / 关联用例 (Mandatory / 必填)

用例仓地址：/MindFormers_Test/cases/baichuan2/7b/train/
用例：
test_mf_baichuan2_7b_train_belle_8p_0001

Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

get code from mindformers
cd mindformers/research
bash run_singlenode.sh '''python ./baichuan2/run_baichuan2.py --config ./research/baichuan2/run_baichuan2_7b_4096_910b.yaml --load_checkpoint /home/workspace/large_model_ckpt//baichuan2/7b/train/ --auto_trans_ckpt True --use_parallel True --run_mode finetune --train_data /home/workspace/large_model_dataset//baichuan2/belle_4096.mindrecord''' /home/workspace/config/hccl_8p.json [0,8] 8
验证网络是否训练成功

Describe the expected behavior / 预期结果 (Mandatory / 必填)

网络训练成功

Related log / screenshot / 日志 / 截图 (Mandatory / 必填)

Traceback (most recent call last):
 File "/home/miniconda3/envs/ci/lib/python3.7/site-packages/mindformers/tools/cloud_adapter/cloud_monitor.py", line 34, in wrapper
   result = run_func(*args, **kwargs)
 File "./baichuan2/run_baichuan2.py", line 154, in main
   trainer.finetune(finetune_checkpoint=ckpt, auto_trans_ckpt=config.auto_trans_ckpt, resume_training=resume)
 File "/home/miniconda3/envs/ci/lib/python3.7/site-packages/mindspore/_checkparam.py", line 1371, in wrapper
   return func(*args, **kwargs)
 File "/home/miniconda3/envs/ci/lib/python3.7/site-packages/mindformers/trainer/trainer.py", line 521, in finetune
   is_full_config=True)
 File "/home/miniconda3/envs/ci/lib/python3.7/site-packages/mindformers/trainer/causal_language_modeling/causal_language_modeling.py", line 120, in train
   **kwargs)
 File "/home/miniconda3/envs/ci/lib/python3.7/site-packages/mindformers/trainer/base_trainer.py", line 660, in training_process
   "moe_config": config.moe_config})
 File "/home/miniconda3/envs/ci/lib/python3.7/site-packages/mindformers/trainer/base_trainer.py", line 388, in create_network
   return build_network(self.config.model, default_args=default_args)
 File "/home/miniconda3/envs/ci/lib/python3.7/site-packages/mindformers/models/build_model.py", line 76, in build_network
   network = build_model(config, default_args=default_args)
 File "/home/miniconda3/envs/ci/lib/python3.7/site-packages/mindformers/models/build_model.py", line 67, in build_model
   config.arch, MindFormerModuleType.MODELS, default_args=default_args)
 File "/home/miniconda3/envs/ci/lib/python3.7/site-packages/mindformers/tools/register/register.py", line 194, in get_instance_from_cfg
   raise type(e)('{}: {}'.format(obj_cls.__name__, e))
TypeError: Baichuan7BV2ForCausalLM: __init__() got an unexpected keyword argument 'use_kvcache_op'

Traceback (most recent call last):
 File "/home/miniconda3/envs/ci/lib/python3.7/site-packages/mindformers/tools/register/register.py", line 192, in get_instance_from_cfg
   return obj_cls(**args)
 File "/home/miniconda3/envs/ci/lib/python3.7/site-packages/mindformers/version_control.py", line 77, in decorator
   func(*args, **kwargs)
 File "/data/jenkins_workspace/TDT_deployment/MindFormers_Test/cases/baichuan2/7b/train/test_mf_baichuan2_7b_train_belle_8p_0001/research/baichuan2/baichuan2_7b.py", line 359, in __init__
   self.model = Baichuan7BV2Model(config=config)
 File "/data/jenkins_workspace/TDT_deployment/MindFormers_Test/cases/baichuan2/7b/train/test_mf_baichuan2_7b_train_belle_8p_0001/research/baichuan2/baichuan2_7b.py", line 145, in __init__
   parallel_config=config.parallel_config)
TypeError: __init__() got an unexpected keyword argument 'use_kvcache_op'

Special notes for this issue/备注 (Optional / 选填)

走给黄生帅

Please assign maintainer to check this issue.
请为此issue分配处理人。
@sunjiawei999

感谢您的提问，您可以评论//mindspore-assistant更快获取帮助：

如果您刚刚接触MindSpore，或许您可以在教程找到答案
如果您是资深Pytorch用户，您或许需要：

如果您遇到动态图问题，可以设置set_context(pynative_synchronize=True)查看报错栈协助定位
模型精度调优问题可参考官网调优指南
如果您反馈的是框架BUG，请确认您在ISSUE中提供了MindSpore版本、使用的后端类型（CPU、GPU、Ascend）、环境、训练的代码官方链接以及可以复现报错的代码的启动方式等必要的定位信息
如果您已经定位出问题根因，欢迎提交PR参与MindSpore开源社区，我们会尽快review

Appearance & Root Cause

Baichuan2-7B继承LLaMA，未适配训推一体导致报错

Fix Solution

适配训推一体

Relation PR:

https://gitee.com/mindspore/mindformers/pulls/2829

Selftest Result:

单batch精度
2024-04-26 17:39:57,801 - mindformers[mindformers/trainer/base_trainer.py:951] - INFO - output result is: [{'text_generation_text': ['<reserved_106>帮助我制定一份去上海的旅游攻略<reserved_107>当然可以！以下是一份为期三天的上海旅游攻略：\n\n第一天：\n\n1. 上午：抵达上海，从浦东国际机场或虹桥国际机场出发，前往酒店办理入住手续。\n\n2. 中午：在附近的餐厅品尝上海特色小吃，如小笼包、生煎包、油墩子等。\n\n3. 下午：参观上海博物馆，了解上海的历史和文化。\n\n4. 晚上：游览外滩，欣赏黄浦江畔的美景。\n\n5. 晚上：在南京东路步行街购物或品尝当地美食。\n\n\n第二天：\n\n1. 上午：参观东方明珠塔，俯瞰上海市区的美景。\n\n2. 中午：在附近的餐厅享用午餐。\n\n3. 下午：游览豫园，欣赏古典园林建筑。\n\n4. 晚上：游览田子坊，感受上海的艺术氛围。\n\n5. 晚上：在新天地品尝当地美食，欣赏上海的夜生活。\n\n\n第三天：\n\n1. 上午：参观上海科技馆，了解科学的魅力。\n\n2. 中午：在附近的餐厅享用午餐。\n\n3. 下午：游览世博园区，回顾2010年世博会的辉煌。\n\n4. 晚上：在静安寺附近品尝当地美食，结束愉快的上海之旅。\n\n\n这个行程仅供参考，您可以根据自己的兴趣和时间安排进行调整。希望您在上海度过一段愉快的时光！']}]
2024-04-26 17:39:57,801 - mindformers[mindformers/trainer/base_trainer.py:952] - INFO - output result is saved at: text_generation_result.txt
2024-04-26 17:39:57,802 - mindformers[mindformers/trainer/base_trainer.py:953] - INFO - .........Predict Over!.............

多batch精度
2024-04-26 17:54:43,720 - mindformers[mindformers/trainer/base_trainer.py:951] - INFO - output result is: [{'text_generation_text': ['<reserved_106>你是谁？<reserved_107>我是百川大模型，是由百川智能的工程师们创造的大语言模型，我可以和人类进行自然交流、解答问题、协助创作，帮助大众轻松、普惠的获得世界知识和专业服务。如果你有任何问题，可以随时向我提问']}, {'text_generation_text': ['<reserved_106>先有鸡还是先有蛋？<reserved_107>这是一个经典的哲学问题，实际上，这个问题并没有一个确切的答案。根据进化论，鸡是由鸟类进化而来的，而鸟类是由原始鸟类通过基因突变和自然选择逐渐演化成各种不同种类的鸟类。在这个过程中，鸡的基因发生了改变，最终形成了我们现在所知的鸡。\n\n关于“蛋”，它实际上是鸡繁殖后代的一种方式。鸡的卵（蛋）是鸡生殖系统的一部分，用于繁殖和孵化下一代。因此，我们可以认为先有鸡，然后鸡通过产卵（蛋）来繁殖后代。\n\n所以，“先有鸡还是先有蛋”这个问题实际上是一个循环论证，没有确切的答案。']}, {'text_generation_text': ['<reserved_106>介绍一下浙江杭州<reserved_107>杭州，简称“杭”，是浙江省省会，中国东部地区重要的中心城市，中国历史文化名城之一。杭州位于中国东南沿海，浙江省北部，钱塘江下游，地处长江三角洲地区，地理坐标为北纬30°48′-31°23′，东经118°24′-120°37′。总面积16596平方千米，其中市区面积3068平方千米。\n\n杭州历史悠久，距今约7000年前，杭州地区就已经有了人类活动的痕迹。公元前221年，秦朝统一六国后，设立杭州郡。唐朝时期，杭州成为东南地区的政治、经济、文化中心，被誉为“人间天堂”。南宋时期，杭州成为南宋的都城，进一步繁荣昌盛。明清时期，杭州继续保持着繁荣的态势，成为江南地区的经济、文化、商贸中心。\n\n杭州的自然风光秀丽，被誉为“人间天堂”。杭州拥有著名的西湖、钱塘江、千岛湖等自然景观，以及灵隐寺、岳庙、宋城等历史人文景观。此外，杭州还拥有丰富的动植物资源，是著名的生态城市。\n\n杭州的经济实力雄厚，是中国东部地区的重要经济中心之一。杭州的产业结构以服务业为主，拥有电子信息、纺织、化工、机械、医药等支柱产业。同时，杭州还是中国电子商务的发源地，阿里巴巴集团等知名企业在此发展，推动了杭州互联网产业的繁荣。\n\n杭州的交通便利，拥有发达的公路、铁路、航空和水运网络。杭州萧山国际机场是中国重要的航空枢纽之一，连接国内外多个城市。杭州铁路枢纽是中国东部地区的重要铁路枢纽，拥有京沪高铁、沪昆高铁等高速铁路线路。\n\n杭州的教育、医疗等社会事业发达，拥有多所知名高校，如浙江大学、杭州电子科技大学等。杭州的医疗资源丰富，拥有多家三级甲等医院。\n\n总之，杭州是一个历史悠久、自然风光秀丽、经济实力雄厚、交通便利、社会事业发达的城市，是中国东部地区的重要中心城市之一。']}, {'text_generation_text': ['<reserved_106>帮助我制定一份去上海的旅游攻略<reserved_107>当然可以！以下是一份为期三天的上海旅游攻略：\n\n第一天：\n\n1. 上午：抵达上海，从浦东国际机场或虹桥国际机场出发，前往酒店办理入住手续。\n\n2. 中午：在附近的餐厅品尝上海特色小吃，如小笼包、生煎包、油墩子等。\n\n3. 下午：参观上海博物馆，了解上海的历史和文化。\n\n4. 晚上：游览外滩，欣赏黄浦江畔的美景。\n\n5. 晚上：在南京东路步行街购物或品尝当地美食。\n\n\n第二天：\n\n1. 上午：参观东方明珠塔，俯瞰上海市区的美景。\n\n2. 中午：在附近的餐厅享用午餐。\n\n3. 下午：游览豫园，欣赏古典园林建筑。\n\n4. 晚上：游览田子坊，感受上海的艺术氛围。\n\n5. 晚上：在新天地品尝当地美食，欣赏上海的夜生活。\n\n\n第三天：\n\n1. 上午：参观上海科技馆，了解科学的魅力。\n\n2. 中午：在附近的餐厅享用午餐。\n\n3. 下午：游览世博园区，回顾2010年世博会的辉煌。\n\n4. 晚上：在静安寺附近品尝当地美食，结束愉快的上海之旅。\n\n\n这个行程仅供参考，您可以根据自己的兴趣和时间安排进行调整。希望您在上海度过一段愉快的时光！']}]
与[ST][MF][baichuan2_7b][910B 8p]网络训练失败，TypeError: Baichuan7BV2ForCausalLM: init() got multiple values for argument 'dim'
https://e.gitee.com/mind_spore/notifications/infos?issue=I9GNKD根因一致，合并走单

回归版本：Mf：dev_20240428121529_730fcee31a4fea
MS：master_20240428093621_915305f3f8
回归步骤：参考issue步骤
基本问题：已解决

回归人员：孙佳伟

回归时间：2024-4
输入图片说明

GVP MindSpore / mindspore

内容风险标识

[ST][MF][baichuan2_7b][910B 8p]网络训练失败TypeError: init() got an unexpected keyword argument 'use_kvcache_op'

Describe the current behavior / 问题描述 (Mandatory / 必填)

Environment / 环境信息 (Mandatory / 必填)

Related testcase / 关联用例 (Mandatory / 必填)

Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

Describe the expected behavior / 预期结果 (Mandatory / 必填)

Related log / screenshot / 日志 / 截图 (Mandatory / 必填)

Special notes for this issue/备注 (Optional / 选填)

评论 (4)

Appearance & Root Cause

Fix Solution

Relation PR:

Selftest Result:

GVPMindSpore / mindspore

内容风险标识

[ST][MF][baichuan2_7b][910B 8p]网络训练失败TypeError: __init__() got an unexpected keyword argument 'use_kvcache_op'

Describe the current behavior / 问题描述 (Mandatory / 必填)

Environment / 环境信息 (Mandatory / 必填)

Related testcase / 关联用例 (Mandatory / 必填)

Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

Describe the expected behavior / 预期结果 (Mandatory / 必填)

Related log / screenshot / 日志 / 截图 (Mandatory / 必填)

Special notes for this issue/备注 (Optional / 选填)

评论 (4)

Appearance & Root Cause

Fix Solution

Relation PR:

Selftest Result:

搜索帮助

GVP MindSpore / mindspore

[ST][MF][baichuan2_7b][910B 8p]网络训练失败TypeError: init() got an unexpected keyword argument 'use_kvcache_op'