使用matlab处理和分析大数据
使用MATLAB处理和分析大数据
马文辉高级APP应用工程师，MathWorks中国
1
大数据是什么？
bigdataisatermfordatasetsthataresolargeor
完成数据处理
applicationsareinadequatetodealwiththem."
维基百科
2
大数据会带来什么样的挑战？
传统的工具和方法不能有效发挥作用
数据获取和处理越来越困难；
需要学习新的工具和编程方法；
需要改写算法和更改代码以适应数据规模和复杂性的增长。
计算结果的质量受到影响
例如，在许多情况下，必须使用子集进行计算。
3
大数据工作流程
数据访问
数据大小超过了内存限制
扩展计算
数据处理和分析
扩展到大数据系统，例如
使用传统工具或新的大数据工具Hadoop
4
大数据所需的解决方案
无论数据存储在哪里，都可以方便快捷地访问数据。
用小数据集实现原型算法的开发
用于数据处理和分析的大数据集扩展；
使用MATLAB语法，而不考虑数据集的大小；
5
多个数据源
财务和工程数据MATLAB数据存储
数据库数据存储器
key value数据存储器
存储库
是数据库(SQL )
no SQL图像数据库
硬件操作系统
文件I/o数据存储所有数据存储
文本
• Spreadsheet
图像