大数据开发工程师、BI工程师、数据仓库工程师、ETL工程师，有什么区别？
今天我们来看看大神怎么解释。
毕，商业情报。 BI工程师是从事商务智能行业的工程师。 从需求分析师到数据仓库架构师、etl工程师、数据分析，报表开发工程师、数据挖掘工程师、etc .都可以称为BI工程师。
etl工程师：从事系统编程、数据库编程、设计，掌握各种常用编程语言的专业技术人员。 也称为数据库工程师。
大数据的概念很模糊，我想深入知道什么是大数据，能做什么，学习的时候，应该走什么路线学习，会向哪个方面发展。
欢迎想学习的学生加入大数据学习qq群。 458345782、有大量晾衣架(零度基点和高级古典实战)
来自清华大学的资深大数据讲师免费授课，与大家分享目前国内最完整的大数据高端实战实用学习流程体系。
1
光解释数据仓库的概念可能就没意思了。 从不同的角色开始吧
老板：我是一家手机公司的老板。 今天向董事局报告。 准备报告，介绍过去三年用户的增加、用户的剩余、用户的活跃度、手机中每个APP的使用率等。 如果下面没有我下面的BI，我一定会被逼得走投无路。
比)我是非技术BI。 我每天看竞品分析报告，看双十一销量，看各种评论，知道自己的产品有什么短板，有什么优点，分析南北地域差异，国内外客户偏好，总之在手机领域有较强的行业解读能力和数据解读能力。 我能画出非常漂亮的图表和PPT。 今天，为了让上司提交报告书，让ETL工程师提交这次报告书的数据，需要洗脸。 根据这个数据进行一定的解读。 为什么这个月手机不如上个月卖得好，为什么用户流失越来越严重，这些都得由我来做。
ETL工程师：我是食物链最底层的辛苦人的ETL工程师。 我能写shell、hadoop/hive/hbase和超复杂逻辑的sql。 今天，那个自己无法计算数据的BI又要跑一些数据了。 我本想让她提出需求流程，但她说那是老板想要的。 (！要赶紧处理，我只能放下手头的工作让她跑数据。 我花了半个小时把数据发给她。 希望你就这样交往吧。
大数据工程师是我们认识的大数据开发工程师，主要从事大数据平台的建设。 个人对技术要求很高，员工必须有java的基础。 另外，还必须具备hadoop、hive、hase、flume、storm、kafka、spark等技术能力。 是非常巨大的技术集群。
如果你以为我每天都做这么多事，那你就错了。 我平时的工作不仅仅是完成上级交给我的任务。 数据ETL流程、数据建模、定时任务分配、有时Hadoop集群的维护等也必须由我来完成。 所有的事情都可以单独拿出来写书。
用ETL过程来说，必须将原始数据从各种数据库、各种服务器的不同业务日志规范化为相同类型的格式，并约定分隔符，然后导入到分布式文件系统HDFS中。 此外，定义业务系统和数据格式并给出规格，数据采集完成后，还会出现中间表、数据过滤、格式统一、ID统一、维度统一、不同数据现象产生的数据。 结束后，你呢
总之需要收集各种各样的数据，进行各种处理，导入各种各样的导出。 有意思吗？
2
但是这些数据仓库非常初级，其中ETL工程师能发挥的空间太多了
1、一般情况下，BI-ETL老板会发布报告，在此期间bi可以直接计算数据吗？ sql太复杂了，可以标记所有的数据吗？ BI和上司想要什么？
2、ETL工程师可以自动化数据采集，规范业务日志格式，一切都可以配置，但这些都是基于N 1的。 也就是说，今天发生了什么，要到明天才能看到。 那么，有可以实时或准实时进行数据分析的系统吗？ 参考双11大屏幕，xrpdyd如果不能知道12日前是否成交，不打破该组数据就不足为奇了。
3、目前大多数分析系统都是基于离线计算(HADOOP/ODPS )的。 那么，这里有问题。 运营和BI想看数据，但是必须离线慢慢跑来看。 那么，有没有能支持更大数据量、复杂逻辑和毫秒数据输出的系统？
没有提到算法工程师、大数据运输工程师等。
3
数据仓库的概念很广，但在大数据APP应用面前没有价值。
如果对数据的价值进行分层，这里有很多分层的方法，所以只列举一个。 曾经有人把它分成五个阶层
第一层：向上司提供传统财务报表等决策支持
第二层：为数据化非常彻底的淘宝运营商等运营提供决策支持
第三层：支持产品。 例如，有些产品经理们拿着报告每天看着自己按钮的放置位置进行研究，对吧
第4层)数据用于生产。 例如，直接连接广告系统以产生利润。 例如，直接连接推荐系统向用户推荐商品，实现千人千人，利用手机APP直接向不同用户发送推送消息
第五层：大数据交换，数据直接利好
大多数公司如果能达到前两个水平就已经很好了。 如果能达到第三水平的话，就已经很棘手了。 达到了第四个水平和第五个水平，国内互联网公司不超过两家，大数据应用太大，不知道从何说起
，以后聊吧。4
针对评论中的一些问题做些统一的解释
问：数据交换的理念
有人提到数据交换，数据交换不是简单的我给你一点，你给我一点；也不是我给你钱，你给我点数据。
原因是这些模式基本走不通
1、数据很难定价，无法简单的将数据定义为商品，数据供给方也无法去衡量一份数据能产生多大的价值，只有在具体的应用场景中才能大概估计它的价值，因此几乎没有一种简单公平的机制去为交易双反指定交易规则。
2、数据拷贝成本几乎没有
如果是一部iPhone，如果想要造出一模一样的一部iPhone成本奇高，所以苹果公司可以放心大胆的把手机卖给你而不怕你仿制，但是数据不行，因为数据几乎没有拷贝成本。
那么带来一个问题，如果我把这份数据一百万卖给你，我几乎除了『你的诚信』之外没有任何方法去限制你不把数据折价买个其它更多第三方，那这份数据的市场价值很快荡然无存。
3、隐私
商业有很多隐私规则，用户也有很多隐私，这些都是不能简单的通过拷贝的去交换的，如果给对方一份数据，例如：用户的在某APP的浏览行为，那么如果被第三方运用在电话骚扰，广告弹窗之类的场景中，肯定是不行的。
所以数据的交易一定不是通过价格衡量，也不能简单的数据拷贝
数据交换 最理想的方式应该是，双方共同拿出一些东西，然后服务飞快的小丸子个场景，而数据导出等行为都是被禁止的，双方不能看到对方的数据也不能导出对方的数据，可被导出的结果一定是无害、不侵犯隐私的、不对原数据价值产生影响的东西。
而这样一种数据交换的方式却需要非常大的体系建设，平台建设，制度建设。
这样的体系和平台，需要长时间的摸索和市场培育，数据人任重而道远。
对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解
想学习的同学欢迎加入大数据学习qq群：458345782，有大量干货（零基础以及进阶的经典实战）分享给大家
并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系 。