首页 > 编程知识 正文

阿里巴巴用的ai算法框架(java 中的 AI算法)

时间:2023-05-06 20:24:11 阅读:101132 作者:3549

该账号为华为云开发者社区官方运营账号,提供全面深入的云计算前景分析、丰富的技术干货和程序样本,分享华为云前沿信息动态。

本文由华为云社区《AI专家一席谈:复用算法、模型、案例,AIGallery带你快速上手应用开发》分享。作者:华为云社区精选。

你见过哪些有趣又实用的AI开发案例?

比如让静态照片中的人物张嘴唱歌,动漫人物也可以;例如,通过识别各种野生动物和分析种群结构,我们可以保护它们。或者智能检测口罩佩戴的标准化,帮助预防疫情.

这些基于场景的AI案例可以在华为云AI图库中找到,你可以通过不断的训练来实现。有算法、模型、数据、Notebook等丰富优质的AI资产。在AI Gallery中,开发人员可以直接重用这些资产来解决AI应用程序开发的问题。

纵观AI应用的整个开发过程,从数据采集和标注到算法模型的构建,每个环节都有很多可复用的AI资产,AI Gallery的目的就是为了充分发挥这些资产的效用,提高AI开发的效率。

那么,它是如何聚集这些AI资产的,又是如何最大化资产的效用来帮助开发者高效开发AI的呢?

华为云社区邀请AI Gallery负责人谈谈AI Gallery的设计初衷、经典案例和未来规划。

人工智能有三驾马车:数据、算法、算力。从这三点看,当前的AI应用开发进入到了什么阶段?

人工智能是人类不断探索和发展的领域。因为没有预先定义的阶段,所以很难回答我们目前处于哪个阶段。然而,有一种明显的感觉是,与10年前相比,人工智能的发展取得了显著进展,大量应用正在增加。

这个机会是2012年以深度学习为代表的一类算法的突破。在此之前,大家都比较关注算法。大家都在用数据降维和一些分类器做机器学习相关的AI开发,训练数据量也很小。

在2012年的转折点上,在计算能力的加持下,通过算法和大量的数据迭代,可以看到AI开发模型的准确率提升了一个数量级。随着这个量级的提高,可以将AI技术应用到更多的行业和领域,提高生产力。

然而,现阶段人工智能无法像人类一样通过学习少量数据来获得逻辑推演的能力。人工智能本质上是对大量的数据进行拟合和迭代,使其能够“记住”数据然后做一些推理,但不具备逻辑推演的能力。但与过去10年相比,AI的最终精度有所提高,应用领域进一步拓展。

展望未来,我们将在计算能力方面取得进一步突破。加上整个算法和数据的加持,最终可以训练出更高精度的AI,甚至像人类一样,可以获得逻辑推演能力。

一个完整的AI应用开发流程包括哪些环节,其中的挑战是什么?

一般是三个流程。

第一步是数据准备,这需要数据收集、数据清理和数据转换。每个环节都有自己的挑战。以数据为例,在采集阶段会有政策和法律的限制,很难打破数据孤岛。此外,需要对数据进行有效的标注,这需要大量的人力和较高的经济成本。

第二阶段是建模。根据准备好的数据,选择合适的算法并开发相关模型。考虑训练模型的应用场景。比如AI应用无论是放在移动终端还是云服务器上,两者对推理的延迟和准确性都有不同的要求。因此,在AI开发的建模过程中,需要全面了解AI应用的场景,进而选择合适的算法流程架构。它不同于只追求准确性或推理速度的学术领域。我们需要综合考虑,所以挑战比较大。

第三阶段是基于模型的具体AI应用的开发,以具体的应用场景为重点,配合一些IT系统、软件、UI交互等的开发。比如算法工程师负责建模和开发,在应用开发阶段可能由应用工程师承担,角色也在发生变化。作为一名应用开发工程师,我收到了开发的模型,但是这个模型的延时和推理的准确性可能达不到理想的状态。此时,有必要通过压缩和蒸馏技术对其进行进一步优化。如果达不到精度,就要考虑这种应用是否可以通过一些巧妙的设计来避免这些问题。

00-1010如今,很多开发流程都是基于平台的。AI发展的每个阶段都会产生一些数字资产:算法、模型、数据集,可能还有一些处理功能和方法。我们希望有一个地方可以把这些东西都沉淀和积累起来,方便后续的开发者重用之前的一些成果,这也是我们AI Gallery设计的初衷。

随着越来越多的开发者在各种场景中共享AI资产,AI Gallery可以在整个场景中包含各种精度的实验,其他开发者可以根据最终的开发场景直接使用这些资产。

例如,人工智能开发的三个阶段可能涉及不同的角色。如果应用工程师想参与AI开发却缺乏相应的数据和算法工程师怎么办?AI Gallery中有经过训练的模型,应用工程师可以立即使用。从这个角度来看

来看,它可以提高整体的开发效率。

开发者选择算法或者模型首要考量是什么?在这一点上,AI Gallery是如何应对的?

如果是选数据的话,一般是基于它的行业和领域场景,看有没有合适的数据,这个是跟领域和行业强相关的。当前我们提供了数据的分享的机制,有很多开发者已经共享了开源标准场景的数据集,来供大家在ModelArts上快速地验证自己的想法。

算法方面,开发者首要考量的是算法最后产生的模型是不是自己想要的,以及算法在训练时的输入数据格式,训练所需的开销、运行算法的环境等等。

模型方面,先要明确应用开发是部署在云上、边缘侧,还是端侧,这对于最后的应用场景很重要。其次是推理的时延,诸如医疗场景的数据会很大,它的推理就是异步的,但有些场景要求的是实时推理,可能对推理响应的时间要求很高。最后是精度,要评估应用场景对精度的敏感度。

综上,在AI开发的每一个阶段,都有很多需要考虑的指标、量纲。我们要做的就是把这些量纲和指标准化出来,能够让发布AI资产的开发者填写这些指标,方便使用的人去浏览、筛选和检索,快速找到他想要的东西。

AI Gallery有哪些经典案例可以给开发者介绍一下?

对于视觉领域的一些经典算法如YOLO、ResNet50,官方已经做了大量的适配,但这些算法其实没有沉淀到这个领域和行业里面的。因此我们基于内部的一些项目,也去做了一些AI的实践案例。比如说水表读数,安全帽检测等等。这些案例可能是使用同一个具体的算法,但是应用在不同的领域和行业场景。

后续会让我们的伙伴、高校的老师、开发者一起来分享他们的案例,这样,其他的开发者也能通过阅读这些案例快速的复现,加速整个端到端的开发。

在此也为大家推荐一些AI Gallery上的经典案例:

安全帽检测、水表读数识别、工地场景的钢筋盘点、使用PPO算法玩超级马里奥兄弟、与中国象棋AI对战。

像工业安全帽检测、水表读数,都是基于华为在行业内的一些项目沉淀出来的案例。这些案例生产的模型可以达到工业级的要求,它可以直接部署使用。唯一的区别是数据,当前我们只提供一个样例的数据,如果大家能够采集到更多更好的数据,训练出来的模型精度也会非常不错。

在AI Gallery发布AI资产后,开发者能享受到什么权益?

对于ISV伙伴来说,AI Gallery是和华为云云市场打通的,因此他们可以上架云市场,商业售卖资产模型,直接获得商业利益。

对于开发者来说,当前更多的是个人成就和荣誉的提升。后续我们也在积极的引入个人开发者计划,让普通的个人开发者去参与到整个项目之中,真正地进入到实战环节,既能获得实践的锻炼,也能够得到经济上的回报。

AI Gallery是如何助力普惠AI的?

一是资产和案例的积累。 当前已经有很多开发者在AI Gallery上贡献主流的开源数据集,其他人直接验证算法时可以拿来即用。在算法和模型方面,官方也已经把很多常用算法做了预集成。高校也在将一些经典论文的算法发布到AI Gallery分享。

二是分享机制。 开发者可以把算法和模型分享到AI Gallery,然后我们正在尝试采取一些激励的机制,让他们更有动力分享。

三是针对端到端的案例场景,我们上线了案例库。 当前案例虽然还不是很多,但后续华为官方以及ISV、伙伴、个人开发者会陆续将开发和交付的项目案例总结发布进来,让广大开发者通过学习这些案例来加速应用开发过程。

AI Gallery的未来规划是怎样的?

第一个方向是加速行业和企业的AI应用落地。 首先就是通过资产沉淀提高AI开发效率。其次是我们正在做项目的需求广场,以及开发者的认证机制,通过减少开发环节的链路,让更多的开发者和伙伴通过AI Gallery开发和交付AI项目,最终帮助行业和企业解决问题,加速应用的落地。

另一个方向主要是面向学习教育的场景。 现在我们基于大量的算力和数据去做迭代式的训练和开发,但很多高校的硬件可能跟不上,需要在云上进行教学实践。所以面向教育行业,面向个人开发者学习的场景,我们也打算做一些事情,包括教学课程,论文解读等等。

最终我们希望把这两条线打通,既能提供教学培训、学习的一站式解决方案,也能够让开发者把学习到的知识通过真实的交付场景实践出来。

点击关注,第一时间了解华为云新鲜技术~华为云博客_大数据博客_AI博客_云计算博客_开发者中心-华为云​​​

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。