首页 > 编程知识 正文

大数据预处理方法(大数据预处理常见的方法有哪些)

时间:2023-05-05 13:52:19 阅读:82746 作者:1570

在园里不久,一年多了,遇到了问题。 最先想到的是去园里借鉴丰富的大树经验,不要让自己走弯路。 渐渐地自己也有了一定程度上独立处理问题的能力。 大神们不要叫我标题党。 标题是疑问。 传统刺猬没有天赋,遇到了一些数据同步问题和解决方案的错误。 我需要向大神们求助。 如果你不着急的话,读完这篇文章,留一句话两句就行了。 传统的刺猬会感谢你的。 是的,不太荒唐。 请快点说对话。

1、项目介绍

下图是目前项目的整体框架图,大致如下。

这是一个winform系统,使用. net框架3.5和SQL Server2008的创作和存储。 这是一个车辆监控管理系统,分为前端收集车辆信息,保存在后台数据库服务器中。 整个系统的大致流程是,用交换机统一接口前端收集的图像数据,保存数据的中央服务软件(以下简称“服务软件”)。 然后服务软件将接收到的数据保存在数据库)数据库保存在SQLServer2008 )中,客户端通过网络访问数据库的信息这是一个大的过程,上图中有n个中心,每个中心过程是一样的。 然后,将中心的数据与总服务器同步。 主要同步的对象为来自照相机的照片(照片转换为二进制并保存在数据库所在的表中) )和一些相关数据,总点可以看到各点的数据信息。

二、目前的问题

由于图像保存在数据库表中,数据量太大,平均每天需要保存20万件左右的信息。 峰值达到每秒15-20次左右的记录,图像被压缩为150KB左右的高清图像,服务器运行24*365天,所以压力很大,现在的问题是服务器的磁盘IO出现了瓶颈(这是偶尔发生的。

3、个人解决方案

研究表明,这种情况最大的问题是服务器磁盘I/o出现瓶颈,频繁写入,写入操作超时。 因此,我们通过注射证据药物来解决磁盘I/o的压力。 由于以前的图像存储在数据库表中,因此在占用数据库大量空间的同时,客户端访问服务器的速度也降低了。 有时并不是所有的事情都可以用软件解决。 在升级硬件的同时,更改系统的存储战略,分别存储图像,解决服务器的IO瓶颈,减轻服务器写入工作的压力。

四、面临的问题

上图的方案似乎可以解决问题,但是出了问题。 如果将各中心的数据同步到主服务器(主要是图像服务器),则当前的图像保存格式为年月日文件夹/照相机IP文件夹/照片编号。 JPG如何能够迅速将图像同步到主服务器,同时保证图像数据的完整性,在同步过程中不发生丢失或其他问题? 我曾考虑过利用数据库中记录的图像路径远程访问图像信息。 这样可以省去同步图像的麻烦,但效率太低,对网络要求太高。 另一个可能的方法是利用FTP进行图像同步,自己编写同步代码,定制同步机制。

5、求助

各位,如果遇到过类似的问题或者有经验的人,请谈谈自己的建议和意见。 针对当前面临的情况,请不仅提供同步,还包括这个解决方案的可行性在内的意见和建议。 在你们毫不吝惜的指导中,传统刺猬可能会找到一些答案。

1、对于上述方案,是否有更好的解决方案;

2、对于不同的方案,是否有更好、详细的解决方案;

3、对上述方案,对存储和同步是否有更好的意见和建议;

传统刺猬在这里感谢园里的兄弟姐妹。 请大家踊跃发言,多花一个人的力量,看到后留下一句话,一句话。 传统刺猬在线等留言,谢谢!

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。