首页 > 编程知识 正文

大数据的概念,大数据的特征有哪些

时间:2023-05-04 16:16:32 阅读:53109 作者:1840

时空大数据的使用

通过这篇论文,时空大数据的应用一定是从聚合、统计推理三个方面展开的

、建模。

根据我们项目的计划,是从这三个方面开始的。 只是时空大数据在意时空聚合、统计推理、建模,我们当初幻想的时候没有注意到时间

的使用框架如上图所示,那么具体该如何处理数据呢

时空轨迹数据预处理时空轨迹数据预处理包括:道路匹配和轨迹压缩两个基本阶段

道路匹配

道路匹配是指修正定位技术的精度偏差和本设备可靠性所对可视化在电子地图上时,移动对象位置会出现偏离路网道路的情况的影响

因此,即使收集了移动对象的轨迹数,也必须首先进行道路匹配作业,修正存在偏差的位置数据的轨迹压缩

轨迹数据通常由智能移动终端定位模块在不同采样频率下实时生成,但由于采样d频率一般较高,会生成大量冗馀的位置点数据,严重影响挖掘算法的效率。 因此,轨道预处理阶段的一项重要工作是轨道的压缩

最常用的是杜氏(DP )算法,它通过用线段列替换数据点列来保持原始轨迹的几何特征。

在线处理方法适用于轨迹实时处理场景(例如移动对象的实时监视),根据基于滑动窗口的算法在变长的滑动窗口中指定的偏离错误率的指导,对冗馀的位置点置换时空轨迹模式的时空轨迹

时空轨迹点序列

元组序列Sv={v0,…,vi,…,vn}。 其中,vi=〈xi,yi,ti >是空间中的坐标点,ti是该点的时间戳时空轨迹边缘序列

时空轨迹边缘序列Se是由时空轨迹点序列变换而来的元组序列。 Se={e1,…,ei,…,en}其中ei=〈(xi-1,yi-1,ti-1,(xi,yi,ti ) )是空间中的边缘。

频繁模式时空轨迹频繁模式是指从时空轨迹集合中发现的频繁重复的序列。 在进行轨迹频繁模式挖掘之前,需要预处理时空轨迹数据,在用网络匹配和轨迹压缩技术处理的同时提取兴趣点序列,找到频繁兴趣点子序列

常规算法:

基于挖掘由感兴趣区域(Region of interest,ROI )构成的频繁序列的时间周期的最频路径) time period-basedmostfrequentpath,TPMFP )查询算法时空轨迹的细粒度序列模式挖掘通过分析目标群体的行为特征和规律,有助于实现时空环境下的群体跟踪、热点事件发现等

定义:给定的m、kN、r为大于零的常数。 给出了时空轨迹的集合,各轨迹由条线段构成。 伴随模式是指,在时间区间I=ti、tj中,至少包含m个移动对象,在时间区间I各时刻,所有位置点集中在半径r的圆形区域内

一般算法

群体模式算法伴随模式算法干涉移动聚类算法(Coherent moving cluster,CMC )利用轨迹简化技术发现伴随模式)

快照集群:是由在某个时间点上移动的对象形成的集群,其中集群中的所有移动对象密度都是由一定数量的快照集群形成的集群: 此外,如果在集体中出现至少kp次移动对象聚集模式:则在任何相邻时间点快照集群之间的距离等于或小于预定距离阈值的参与者:在集体中至少出现kp次移动对象离群轨迹段:

常规算法:

基于关联规则剪枝的集合模式挖掘算法

基于关联规则的剪枝集合模式挖掘算法基于FP-Growth的有效组图结构挖掘算法轨迹的组图模式挖掘(apriori trajectory-basedgrouppatternming,atgroup

基于密度的空间聚类(density-basedspatialclusteringofapplicationswithnoise,DBSCAN )算法的异常模式包括时空轨迹数据集D={TR1,trn ii和pj是来自TRi的任意点

http://www.sina.com:如果其他轨道段没有足够靠近轨道段,则称为偏离轨道段

异常模式:轨迹的异常模式是指O={O1,…,Om},其中Oi为离群轨迹段

常用算法:

静态数据集的轨迹异常检测 基于R-Tree的异常轨迹检测算法实时轨迹异常检测算法 轨迹数据流的异常检测 基于滑动窗口定义了轨迹流的异常检 大数据模式

对于时空轨迹大数据,时空轨迹模式挖掘除了需要经典的数据挖掘技术(关联分析、分类、聚类、异常检测等)以外,通过还有特殊的技术

云计算技术
主要是对数据进行并行的计算分析处理,常用MapReduce、Storm、Spark、Flink等等轨迹数据压缩和消减技术
其基本思想是,将原有的轨迹点序列转化成线段序列,同时保留关键性的“拐点”。例如,如果移动对象经过路口,那么此路口的坐标应该作为结点被保留在线段序列中;如果移动对象改变了交通工具,导致行为方式或者移动速度发生变化,那么这样的行为“拐点”也应该被保留下来。时空轨迹数据可视化技术 欢迎交流学习

个人博客

掘金主页

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。