74 Star 357 Fork 214

GVPopenEuler / A-Tune

 / 详情

关于调用train构建自己的负载分类模型

已完成
需求
创建于  
2020-10-29 17:36

A-Tune的开发人员你们好,目前我利用collection收集了几种加密算法的负载运行数据,我想用analysis识别出加密算法的负载场景<该场景是经过加压到100%再collection得到的数据>:
已定义自己的负载类型

我觉得比较奇怪,我们训练模型的时候仅用了下图的4个负载类型的文件(AES、MD5、RSApublic、RSAprivate),共8个文件,每个文件400条记录:
collection得到的csv数据文件

但是analysis的结果却是错误的(hgatk4):
识别的结果

我不太理解,为什么训练的数据只有4个type的负载数据,识别出的却是atune-adm list中其他类型的负载,望解答,谢谢。

附 define、collection、train、analysis使用的命令:

atune-adm define encryption AES chauffeur /home/ljq/encryption/AES.conf

atune-adm collection --filename AES-encry --interval 3 --duration 1500 --output_path /home/ljq/collection-data/AES-data --disk sda --network enp125s0f0 --app_type encryption-AES-chauffeur

atune-adm train --data_path /home/ljq/collection-data/all-data/ --output_file /usr/libexec/atuned/analysis/models/Encry-Only-model.m

atune-adm analysis –model /usr/libexec/atuned/analysis/models/Encry-Only-model.m

评论 (8)

ChunKi Li 创建了需求
ChunKi Li 关联仓库设置为openEuler/A-Tune
展开全部操作日志

Hey linyueQ, Welcome to openEuler Community.
All of the projects in openEuler Community are maintained by @openeuler-ci-bot.
That means the developers can comment below every pull request or issue to trigger Bot Commands.
Please follow instructions at https://gitee.com/openeuler/community/blob/master/en/sig-infrastructure/command.md to find the details.

谢志鹏 负责人设置为hanxinke
谢志鹏 负责人hanxinke 修改为smcopen

请问您使用的是哪个版本的A-Tune?我们多次尝试均未复现这个问题,请问您是否能够确保数据集的标签均正确?或者能否将数据集发给我们进行复现的尝试?liuke64@huawei.com。谢谢!

您好,标签的话是通过collection生成的,这是collection文件的标签:
输入图片说明

然后,这是我们服务器上atune-adm list的结果:
输入图片说明

标签对齐没有问题,但是奇怪的是train命令并没有将数据复制到今天早上你发的/usr/libexec/atuned/analysis/dataset/路径下面,而且训练一瞬间就结束了:
输入图片说明

模型的话倒是有生成的:
输入图片说明

是不是因为我们的配置有问题呢?我排查过,atuned和atune-engine应该都是正常的:
输入图片说明

目前我尝试将数据复制到了/usr/libexec/atuned/analysis/dataset/路径下,然后执行train,再进行analysis,结果还是错误的:
输入图片说明

数据的话已发到您的邮箱里面的,请查收。

标签对齐没有问题,但是奇怪的是train命令并没有将数据复制到今天早上你发的/usr/libexec/atuned/analysis/dataset/路径下面,而且训练一瞬间就结束了:
这个地方有误,是发送到/etc/atuned/training下,但是是会删除的。

@ChunKi Li 我们使用您提供的数据再次尝试后依然没能复现当前问题, 请问您使用的是哪个版本的A-Tune(可以具体到那一次提交)? 谢谢

这个地方有误,是发送到/etc/atuned/training下,但是是会删除的。
@ChunKi Li 我们使用您提供的数据再次尝试后依然没能复现当前问题, 请问您使用的是哪个版本的A-Tune(可以具体到那一次提交)? 谢谢

@Liuke 您好,我们在10月28日重装过A-Tune,版本的话是clone当时的master分支:

输入图片说明
输入图片说明

@Liuke 您好,我们在10月28日重装过A-Tune,版本的话是clone当时的master分支:
输入图片说明
输入图片说明

@ChunKi Li 您好,我们按照您提供的数据集以及相应版本代码再次尝试,依然不能复现问题。下面我将提供我们的测试方法,供您参考并尝试:

  1. 将您提供的数据集复制到/home/liuke/issue/A-Tune/data/目录下
  2. 定义profile atune-adm define encryption AES chauffeur /home/liuke/issue/A-Tune/AES.conf
  3. 执行atune-adm train --data_path /home/liuke/issue/A-Tune/data/ --output_file /home/liuke/issue/A-Tune/models/test.m 进行模型训练
  4. atune-adm analysis --model /home/liuke/issue/A-Tune/models/test.m进行分析。
    最终结果为
    输入图片说明
    并未出现未添加的类型。

@Liuke 您好,非常感谢您对我们的帮助。我们删除并重新安装了A-Tune,然后修改了一下模型输出的训练路径(之前选择的路径可能存在权限问题,导致一些数据的读写存在问题),目前已经能够识别出这几种负载了! :blush:

@Liuke 您好,非常感谢您对我们的帮助。我们删除并重新安装了A-Tune,然后修改了一下模型输出的训练路径(之前选择的路径可能存在权限问题,导致一些数据的读写存在问题),目前已经能够识别出这几种负载了! :blush:

@ChunKi Li 欢迎继续提出问题一起交流 :blush:

hanxinke 任务状态新建 修改为已完成

登录 后才可以发表评论

状态
负责人
项目
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
预计工期 (小时)
参与者(3)
5329419 openeuler ci bot 1632792936
Go
1
https://gitee.com/openeuler/A-Tune.git
git@gitee.com:openeuler/A-Tune.git
openeuler
A-Tune
A-Tune

搜索帮助