首页 > 编程知识 正文

数据压缩传输(数据压缩类型有哪些)

时间:2023-05-05 04:45:56 阅读:104739 作者:630

2020年6月至12月,由莫斯科国立大学和华为联合举办的全球数据压缩大赛吸引了全球软件工程师和研究人员的参与。本次大赛吸引了全球5000位存储专家的关注,大赛获奖者提交的算法作品压缩效果突出,超过行业基准算法25%。

据IDC统计,预计到2025年,全球数据量将达到163ZB。随着数据规模的爆炸式增长,客户面临着存储成本上升的巨大压力。压缩算法作为存储领域的关键根技术,可以大大压缩存储的数据量,从而降低数据的存储成本。

虽然压缩算法将极大地有利于降低数据存储成本,但多年来一直是存储技术中的难题,压缩算法的研究和优化仍然局限于少数算法研究专家。为了突破压缩算法瓶颈,激发数据压缩领域活力,推动数据压缩根技术研究,华为与莫斯科国立大学举办了本次全球数据压缩大赛。

本次比赛从数据类型和处理速度两个维度对参赛选手的数据集算法结果进行评估,即根据文本、图像、混合、分块混合四个数据场景,逐一考察高性能、均衡、高压缩率三个测试类别下的测试结果。

在上述四种数据场景中,混合数据块压缩场景尤为重要。它可以模拟主存产品压缩算法面临的压缩问题,对存储产品中压缩算法的设计具有重要的参考意义。

同时,在以上三个测试类别中,性能不仅影响算法的可用性,还反映了算法需要占用的计算资源,而压缩比则反映了算法的收益。参与者使用一些样本数据集设计和优化压缩算法,比赛评委最终根据他们完整的数据集测试结果进行排名。

这场比赛是一大亮点1

有很多有天赋的选手,

他们是来自世界各地的压缩算法的迷你鸽子。

本次大赛囊括了众多业内顶尖的迷你鸽子,包括《PPMd算法》的作者德米特里什卡琳、《Kanzi compressor》的作者弗雷德里克朗莱特、《BCM》的作者伊利亚穆拉维约夫等。

在比赛中多次获奖的选手彼得坦姆表现特别出色。他设计的pglz算法在压缩比和性能上远远领先于业界公认的基准算法,打破了人们对快速压缩算法的普遍认知,引导了压缩算法的优化方向。

压缩领域的新人Konstantinos Agiannis表现同样出色,其入口算法在文本场景测试中的压缩比和性能都超过了业界公认的基准算法。

选手Andreas Debski的算法在快速图像压缩领域取得了业内公认的具有同等性能水平的基准算法120%的压缩率,展现了深厚的图像压缩算法基础。

本次比赛的亮点2

陪审团阵容非常壮观。

成员都是压缩领域的知名技术专家。

身兼数职的fdccDmitriy Vatolin教授,不仅是莫斯科国立大学图形与媒体实验室主任,也是世界知名的数据压缩与视频处理网站compress.ru的联合创始人,他在数据压缩与图像处理方面拥有20多年的经验,其实验室主办的Video Codecs Comparison已成功举办14届,吸引了众多世界知名企业的积极参与。

评审团成员Alexander Rhatushnyak是压缩领域的知名专家,也是JPEG-XL标准的联合创始人。他曾多次获得压缩领域的知名竞赛——赫特奖。

评审团成员的细心斗士Shelwien是Encode.su的淡泊纸飞机,世界最大的压缩算法论坛,PowerArchiver软件的首席算法专家,PPMY、ASH等压缩算法的作者,其算法在图像压缩领域应用广泛。

比赛引起了业内专家的关注。阎连科,CCM,克里斯蒂安马泰罗克,LZ4和ZSTD算法的作者,等等

“我们对比赛结果非常满意。本次比赛不仅吸引了压缩算法专家的热情参与,也取得了优异的成绩。在某些类别中,与行业基准算法相比,winner算法实现的压缩效果提高了25%。可以看出,同等性能的新压缩算法可以将行业内常见算法的压缩效果提升25%,完全可行。这样的比赛在数据压缩领域很少举办,我们为成功举办本次比赛感到骄傲,这将为数据压缩领域注入新的活力。”

华为数据存储和机器视觉研发负责人Zydmb维管理部说:

“大数据时代,存储资源更加珍贵。提高每个比特的信息量,最大化每个存储单元的价值是数据存储领域的主要目标,而压缩算法是决定存储系统性价比的关键。

核心算法,则是实现这个目标的关键根技术。华为希望通过举办压缩算法大赛吸引更多的专家投入到压缩领域的研究中,推动这个领域的技术进步。我们欣喜地发现这次大赛获得了压缩领域以及非压缩领域专家的高度关注,并涌现出了众多优秀算法成果和领域科研工作者。比赛结果让我们有信心继续赞助该项赛事,持续推动压缩领域的技术创新。”

华为俄罗斯研究院院长ggdyf表示:

“ 数据是智能世界的核心基石,全世界每一秒都会有数以亿计的数据产生,在有限的资源下如何实现更快、更可靠、更低成本的数据存储,这将是未来智能世界的一个核心挑战。压缩算法是提升存储能力的核心技术之一,通过举办压缩算法大赛希望可以搭建一个交流平台,促进全球专家进行思想碰撞,擦出新的火花。本次大赛有幸获得来自十多个国家相关领域专家的关注和参与,大赛成绩同样让人欣喜。我们坚信这只是一个开始,华为未来一定会继续大力支持此类大赛的举办,通过技术创新源源不断地创造知识和价值。”

华为作为数据存储领域的“攻坚者”,正逐年加大对前沿科学研究的投资,此次联合莫斯科国立大学举办的全球数据压缩大赛,便是华为携手产学研攻坚业界难题道路上的剪影。未来,华为公司仍会坚定不移地在数据存储研究领域持续投入,与产学研各界生态伙伴共建融合、智能、开放的数据基础设施。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。