openEuler 22.03 RISC-V V2 版本验收测试报告

修订记录

摘要

本文主要描述openEuler 22.03 RISC-V V2版本的整体测试过程，详细叙述测试覆盖情况，并通过问题分析对版本整体质量进行评估和总结。

概述

openEuler 是一款开源操作系统。当前 openEuler 内核源于 Linux，支持 RISC-V 处理器，能够充分释放计算芯片的潜能，是由全球开源贡献者构建的高效、稳定、安全的开源操作系统。

本文主要汇总 openEuler 22.03-V2 RISC-V 版本的总体测试活动，按照社区开发模式进行运作，结合社区 Tarsier 团队制定的版本计划规划相应的测试计划及活动。测试报告覆盖新需求、继承需求的测试执行情况和评估，并结合各类专项测试活动和版本问题单总体情况进行整体的说明和质量评估。

测试版本说明

本文档测试对象是 openEuler 22.03 RISC-V 2022年12月11日和 openEuler 22.03-V2 RISC-V（20221228）发布版本，发布范围相较 22.03 LTS RISC-V 版本主要变动：

• 软件包选型升级
• 软件：Xfce 桌面（预装），Chromium 浏览器（预装），Firefox 浏览器（预装），Libreoffice 办公套件（预装），Tunderbird 电子邮件客户端（预装），GIMP 图片编辑工具（预装）, DDE, MySQL
• 全栈支持 Unmatched 开发板，全栈支持 VisionFive 开发板，部分支持 D1 开发板, 部分支持 Licheerv 开发板
• 修复 Bug

测试环境

环境和测试结果

系统安装

• 使用QEMU安装RISC-V openEuler
• 使用Unmatched开发板安装RISC-V openEuler
• 使用Visionfive开发板安装RISC-V openEuler
• 使用D1开发板安装RISC-V openEuler
• 使用Licheerv开发板安装RISC-V openEuler

openEuler 22.03-V2 RISC-V QEMU和Unmatched，Visionfive、D1、Licheerv版本通过或基本通过测试发布。

用户手册

系统管理

• 基础配置
• 查看系统信息
• 管理用户和用户组
• 配置网络
• 使用DNF管理软件包
• 使用LVM管理硬盘
• 管理进程
• 管理服务
• 搭建FTP服务器
• 搭建repo服务器
• 搭建web服务器
• 搭建数据库服务器

应用软件

• XFCE使用手册
• DDE使用手册
• Chromium使用手册
• Firefox使用手册
• Libreoffice使用手册
  • Libreoffice Base使用手册
  • Libreoffice Writer使用手册
  • Libreoffice Calc使用手册
  • Libreoffice Draw使用手册
  • Libreoffice Impress使用手册
  • Libreoffice Math使用手册
• GIMP使用手册
• Thunderbird使用手册
• MySQL使用手册

版本测试活动策略

openEuler 22.03-V2 RISC-V（20221228）版本

本次版本测试快照构建规则：ORSP004

本次版本测试快照责任人：周嘉诚

缺陷分级定义

• P1 / blocking 指阻塞性bug修复之前什么都不能干。例如用户数据丢失可能列为P1
• P2 / important 指用户几乎总会遇到并影响使用，例如常用用例中程序崩溃、关键功能无法使用等
• P3 / normal 指用户经常遇到并且影响使用体验的bug
• P4 / improvement 不紧急的bug
• P5 / wishlist 期望实现的功能等

测试结论

openEuler 22.03-V2 RISC-V 版本整体测试按照Tarsier团队的计划，共完成了一轮重点特性测试+一轮自动化测试（常用软件和系统设置功能）+一轮回归测试；其中第一轮测试聚焦在新移植软件的安装和基础功能测试；一轮自动化测试验证交付版本的常用软件和系统设置功能；一轮回归测通过测试第一轮报告的缺陷，验证缺陷的修复和影响程度；版本发布验收测试是在版本正式发布至官网后开展的轻量化验证活动，旨在保证发布件和测试验证过程交付件的一致性。

openEuler 22.03-V2 RISC-V 版本系统主要组件共发现缺陷 个，P1 0 个，P2 1 个，P3 3 个，P4 81 个，P5 0 个，其中openEuler 22.03-V1 RISC-V 版本中部分问题已修复，回归测试结果正常，版本整体质量较好。自动化测试共1426个测试用例，通过测试用例 1006 个，未通过测试用例 420 个，软件源包依赖缺陷 90 个。

重点组件测试

对产品所有继承特性进行评价，用表格形式评价，包括特性列表（与特性清单保持一致），验证质量评估，测试报告见组件名称的链接。

• ●： 表示特性不稳定，风险高
• ▲： 表示特性基本可用，遗留少量问题
• █： 表示特性质量良好

常见软件和系统功能自动化测试

• 测试范围：共329个测试套(327个软件包+systemd+os-basic)，1426个测试用例
• 测试框架：mugen-riscv（由第三测试小队开发维护的mugen分支，新增了测试环境自动复原、多线程测试和测试结果自动分析等功能）仓库链接
• 测试方式：测试环境自动复原，测试套间隔离以及自动分配硬盘外设资源的自动化测试 使用qemu_test.py，利用qemu qcow2快照实现在测试每个测试套时单独建立qemu虚拟机进行测试，保证了测试套间不会相互干扰。测试程序运行时会根据测试套文件中"add disk"字段的信息，自动创建硬盘资源并分配给对应的虚拟机。
• 详细测试结果
• 测试结论：本次自动化测试共1426个测试用例，通过测试用例 1006 个，未通过测试用例 420 个，以下为 详细测试报告 与 未通过测试分析。

V1缺陷修复状态

以下为2203-V1版本中失败的测试用例现状，修复了 13 个，排除了 12 个，余下 45 个正在修复中。

软件源包依赖测试

测试环境：

• OpenEuler 22.03 V2 riscv64 preview 安装镜像
• OpenEuler 22.03 V2 riscv64 软件源

测试结论：

• 发现出问题的软件包往往彼此关联，如libreoffice的众多语言包、texlive的若干插件、vdsm的一些钩子等等

• 依赖树顶端的软件包出问题时，整个依赖树都无法正常运转。如大量软件包依赖于vdsm，当它无法正常安装时，那些依赖它的软件包也会无法正常安装

• 部分软件包出现同名多版本共存的现象，导致包管理器无法选择哪一种进行安装

• 大多数依赖问题源于所依赖的软件包版本号不满足条件或无法提供相关功能，或在软件源中找不到所对应的依赖的软件包

• 测试软件包总数22534个，发现缺陷90个。

测试报告

用户反馈开发需求

附件

1. RISC-V openEuler 22.03 1211版本自动化测试报告
2. RISC-V openEuler 22.03 preview V2 自动化测试报告
3. RISC-V openEuler 22.03 1211版本自动化测试说明
4. RISC-V openEuler 22.03 preview V2 自动化测试说明