随着数据规模的增长，许多现有的分析解决方案目前无法满足大数据量的计算任务。 利用MADlib项目，制定满足大数据量需求的框架。 该框架的目的是利用现代计算能力，提供能满足业务需求的强大解决方案。 摘要MADlib的实现方案基于商业实践、学术研究、开源开发社区多方面的努力，是嵌入在基于SQL的数据库中的可扩展的开源机器学习库，是Pivotal和UCBerkeley MADlib创立于2011年，当时隶属于EMC/Greenplum。 之后，格林普勒姆成为了皮尔的格林普勒姆。 主要由伯克利学者： Joe Hellerstein发起，Stanford、Wisconsity of UNISIN-Madison和Florida也有参加。 MAD一词来自Magnetic、Agile、Deep三个词的首字母，具有吸引力、快速、准确、深入、三个单词相连、“精彩”的意义，为数据科学家们提供了优秀的机器学习和数据分析平台。 MADlib提供了丰富的分析模型，包括回归分析、决策树、随机森林、贝叶斯分类、向量机、风险模型、k均值聚合、文本挖掘和数据检查。 由于MADlib支持Greenplum、PostgreSQL、Apache HAWQ和In-Database Analytics，因此数据库分析功能得到了极大的扩展，可以利用MPP架构快速填充大量数据集本文介绍了MADlib的基本体系结构、工作原理和功能，并为开发人员提供了快速入门指南。 回顾历史，MADlib创立于2011年，2015年7月MADlib成为Apache软件基金会的孵化器项目，经过两年的发展，于2017年8月成为Apache的顶级项目。 整个项目和代码在Apache中是开源的，到目前为止已经正式发布了MADlib 1.14、MADlib 1.15、MADlib 1.15.1、MADlib 1.16四个正式版本。
2019年7月8日，MADlib 1.16版完成了MAD LIB作为Apache软件基础顶级项目的第六次发布。 新功能包括深度学习-支持较早的Keras、TensorFlow后端和GPU加速。 关注图像分类用例深度学习实用程序-加载模型体系结构和权重，并行加载来自NumPy数组或文件系统的图像，针对梯度下降优化算法对图像进行预处理。 支持Greenplum 6支持PostgreSQL 11的改进点支持：使用k -近邻分类算法-KD树近似方法提高性能。 为了缩短关联规则mad lib1. 15.1版的执行时间，将缺省的最大项目集规则设定为10。 2018年10月15日，MADlib完成了Apache软件底层顶层项目的第五次发布。 新功能支持对Ubuntu 16.04的改进。 弹性网-支持按非数值列分组。 k-近邻分类算法-接受点表达式 vec2cols-允许不同长度的数组。
Apache MADlib模式MADlib有三个主要部件： Python驱动函数c实现函数c数据库抽象层
1 ) Python驱动函数Python驱动函数为https://github.com/Apache/incubator-mad lib /树/主/src /端口/端口/模块2 ) c实现函数大多位于以下子目录： 3359 github.com/Apache/incubator-mad lib /树/主/src /模块这些函数是特定算法所需的核心函数和集合的c定义。 出于性能原因，它们不是用Python实现的，而是用c实现的。 3 ) c数据库抽象层大多为https://Github.com/Apache/Incubator-mad lib /树/主/src /数据库，以及https://Github.com/Apache 它试图提供一个抽象所有postgres内部详细信息的编程接口，而MADlib支持不同的后端平台，并提供一种专注于内部功能而不是平台集成逻辑的机制。 MADlib体系结构的主要理念：
在本地数据库中操作数据。 无需在多个运行时环境之间移动不必要的数据。 利用最好的breed数据库引擎，将机器学习逻辑与数据库固有的实现细节分离，利用MPP共享技术，例如Greenplum数据库，提供并行性和可扩展性。 开放的实施维护措施与Apache社区和正在进行的学术研究密切相关。