(19 )中华人民共和国国家知识产权局) 12 )发明专利申请) 10 )申请公众号) 43 )申请公众号(21 )申请公众号201810048206.X (22 )申请日2018.01.18 ) 71 )。 申请人成都无糖信息技术有限公司地址610000四川省成都市成都高新技术产业开发区天府大道中段530号1栋25楼2509号(72 )发明人zrdhl优秀期待tzdycGDDHB ) 51 ) int.cl.g06f9/50 ) 2006.01 ) 54 ) ) ) ) ) ) ) ) ) ) ) )本发明提供一种大数据分布式任务处理装置(57 )任务信息格式模块、任务信息格式模块、任务信息格式模块在包括子任务处理单元基于python的大数据分布式任务处理装置中，任务信息格式模块、分布式处理队列模块、分布式处理队列模块、任务处理引擎、任务处理引擎、子任务处理模块在现有的基础上，根据插件模板创建新的任务处理插件，就可以对同一类型的任务进行大量的分布式处理。 另外，能够有效地控制不同的工作器的处理时间、处理同时数。 也可以实时监视各任务的处理情况、进展情况和结果。 包括用户任务提交模块、任务信息格式模块、分布式处理队列模块、任务处理引擎和子任务处理单元，所述用户任务交付模块与任务信息格式模块连接， 任务信息格式化模块还连接到分布式处理队列模块，分布式处理队列模块还连接到任务处理引擎，任务处理引擎还连接到子任务处理单元。 2 .上述子任务处理单元包括判断模块、插件加载模块、处理模块和结果上传模块，判断模块与插件加载模块连接，插件加载模块与处理模块连接2 .根据权利要求1所述基于python的大数据分布式任务处理装置，其特征在于，处理模块与结果上传模块相连接。 权利要求1/1页基于cn108153595a2python的大数据分布式任务处理装置技术领域[0001]本发明涉及数据处理技术，特别涉及基于python的大数据分布式任务处理装置。 本发明提供了一种分布式队列任务处理程序和装置，其能够提供分布式处理python任务，包括爬虫和其他处理任务。 在现有的基础上，根据插件模板创建新的任务处理插件，就可以对同一类型的任务进行大量的分布式处理。 另外，能够有效地控制不同的工作器的处理时间、处理同时数。 也可以实时监视各任务的处理情况、进展情况和结果。 本发明的目的是为了解决上述背景技术中提出的问题，提供一种基于python的大数据分布式任务处理装置。 为了实现上述目，本发明提供一种用户任务提交模块、分布式处理队列模块、连接任务处理引擎、任务处理引擎、子任务处理单元一种基于python的大数据分布式任务处理装置，包括任务处理引擎和子任务处理单元。 作为本发明的再一技术手段，上述子任务处理单元包括判断模块、插件加载模块、处理模块和结果上传模块，判断模块与插件加载模块连接，插件加载模块[0006]和现有技术