商务智能。 商业智能工程师是商业智能行业的工程师。 从需求分析师到数据仓库架构师、ETL工程师、数据分析工程师、报告开发工程师、数据挖掘工程师等可以称为BI工程师。
ETL工程师：从事系统编程、数据库编程、设计，掌握各种常用编程语言的专业技术人员。 也称为数据库工程师。
盲目解释数据仓库的概念可能没意思。 从不同的角色开始吧。 我是手机公司的老板。 今天向董事会报告。 准备关于用户增长、用户保留率、用户活动以及过去三年手机各APP应用的利用率的报告。 如果下面没有BI，我就不得不这么做。
我是非技术商业情报。 我每天看竞争产品的分析报告，看双十一的销售额，看各种评论，知道我的产品有哪些缺点和优势，分析南北地区的差异，国内外客户的喜好，总之，我有很强的行业解读能力和数据解读能力。 在手机领域，可以画出非常漂亮的图表和PPT。 今天上司让我做了报告。 另外，为了找到ETL工程师用完报告中的数据，还需要刷脸。 基于这些数据，我想给出一定的解释，比如为什么这个月手机的销售不如上个月，为什么用户流失越来越严重。
很多伙伴对大数据的概念不明确。 我想深深地知道什么是大数据，能做什么，学习的时候，应该在哪个课程学习，进入了哪个方面。 欢迎想学习的学生加入大数据学习Qun:775908246。 有大量的晾衣架(零度基点和高级古典实战)。 清华大学毕业的资深大数据讲师免费上课。
ETL工程师：我是食品链最底层压力大的ETL工程师。 您可以编写shell、使用hadoop/hive/hbase或使用超复杂的逻辑编写SQL。 今天，不能单独计算数据的BI。 请让我再执行一点数据。 我想请她说一下需求的流程，她说想要上司。 (操作时使用的杀意)！ 为了紧急应对，我不得不放弃工作，为她执行数据。 我为她花了半个小时执行数据，希望不是。
众所周知，大数据技术人员是大数据开发技术人员。 主要从事大数据平台的建设。 实践者需要Java的基础。 还需要hadoop、hive、hase、flume、storm、kafka、spark等技术力量。 这是一个非常大的技术集群。
如果你认为我每天都这么做，那你就错了。 我通常的工作不仅仅是完成分配给我的任务。 他还负责数据ETL流程、数据建模、定时任务分配，有时还负责Hadoop集群的维护等。 我必须这么做。 所有的东西都可以单独取出来写书。
以ETL流程为例，需要将来自不同数据库、不同服务器的不同业务日志的原始数据规范化为同一格式。 必须同意分隔符并将其导入到分布式文件系统hdfs中。 还需要定义业务系统的数据格式以创建规范。 在收集数据后，还可以获取中间表、数据过滤、统一格式、统一ID和维。 精度统一，通过不同的数据现象执行数据。 完成后，可以得到日报和周报等数据。 此时，有必要根据需要将数据整理成一定的格式，引导成mysql和hbase等。
总之，您只需收集、处理、导入和导出各种数据。但是这些数据仓库非常简单，ETL工程师有太多的空间可以玩。
1、一般情况下，bossbiETL会给出报告。 商业智能可以直接计算中间的数据吗？ SQL太复杂了，能标记所有的数据吗？ BI，甚至上司可以选择他想要的东西吗？ 2、ETL工程师可以自动化数据采集，标准化业务日志格式，构成所有内容，但都基于N 1。 也就是说，今天发生的事明天必须看到。 有使数据分析实时或准实时的系统吗？ 说到双十一屏，只有当MA 12日到达时，他才能知道不分割这些数据就做了多少交易。 3、当前许多分析系统基于离线计算(hadoop/odps )。 这里有问题。 想要在Operation或BI上显示数据时，需要放慢脱机速度再显示。 是否有可以使用更大的数据量和更复杂的逻辑以毫秒为单位生成数据的系统？ 没有提到算法工程师、大数据操作工程师等。 数据仓库的概念非常广泛，但如果要面对大规模的数据APP应用，它就毫无价值了。
如果我们对数据的价值进行分层，有很多方法可以进行分层。我只列出一种方法，有些人有五个等级。
第一层：向传统财务报表第二层这样的上司提供决策支持。 为淘宝运营商这样的运营提供决策支持。 这些运营商完全数字化了。 第三层：支持产品。 例如，产品经理每天都会在报告中检查其中一个按钮的位置。 第4层)与广告系统直接对接以产生收入的生产数据，例如直接对接为用户推荐产品，实现数千人，然后例如使用其移动APP直接推送不同用户的消息。 五级)大数据交换，大多数直接受益于数据生成的企业只要能达到前两个级别就可以了。 如果能达到第三个水平，就已经很有说服力了。 要达到4级和5级，国内互联网公司不超过两家，大数据应用太大。
转载于：https://my.oschina.net/u/4072707/blog/3007223