47 Star 25 Fork 115

Kunpeng / boostkit-bigdata

 / 详情

【omnidata】虚拟负载优化移除额外的cpu开销

待办的
任务 成员
创建于  
2023-08-08 10:42

由于虚拟负载不需要使用迭代返回的数据只需要遍历所以不需要进行数据类型转换, 发生数据类型转换的地方有2个
1.PushDownIterator 的 hasNext 的 dataIoClass.hasNextIterator 方法中调用了pageToColumnarClass.transPageToColumnar
1.PushDownIterator 的 hasNext 的 nextIterator 方法中调用了pageToColumnarClass.transPageToColumnar

我们需要在虚拟负载场景下把这2个地方使用的pageToColumnarClass.transPageToColumnar修改为直接返回Iterator<WritableColumnVector[]>, 这些改动可能会带来其他代码的改变,如PushDownIterator的hasNext方法,computePushDownRDD等方法

评论 (0)

fengyaojie 创建了任务
fengyaojie 修改了描述
展开全部操作日志

登录 后才可以发表评论

状态
负责人
项目
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
预计工期 (小时)
参与者(1)
8295924 fomist 1659752108
1
https://gitee.com/kunpengcompute/boostkit-bigdata.git
git@gitee.com:kunpengcompute/boostkit-bigdata.git
kunpengcompute
boostkit-bigdata
boostkit-bigdata

搜索帮助