我们可以不再使用ETL了吗?(windows中mongodb重启的命令是什么)

我们可以不再使用ETL了吗?

说到ETL,很多开发伙伴可能会有些陌生,我也是在近几年的工作过程中才接触到ETL的,现在的项目是比较依赖于ETL,可以说是项目中重要的一部分。

创新互联是专业的宜丰网站建设公司,宜丰接单;提供网站制作、成都网站制作,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行宜丰网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

先看一看ETL是做什么用的:ETL是将各个业务系统的数据,通过抽取、清洗、转换之后,加载到数据仓库的过程;ETL可以将分散、零乱、标准不统一的数据整合到一起。完整的ETL功能有很多(ETL是三个三次的缩写...),我只从我实际使用的场景出发,说明我对ETL的理解和实际应用。

我接触过的项目,使用ETL工具的场景有这个几种:

在公司建设的初期,业务比较少,系统也比较少,一台数据库就搞定了;

随着公司业务的增加,业务系统被拆成很多系统;

随着数据量的继续增加,单个系统的数据增加到一定程度的时候,也做了分库分表;

这时候领导、业务人员在用数据做分析的时候,数据来源可能是多个系统的多张表,这时候企图通过一个复杂的SQL跑出来结果就很困难了;通常公司会建立一个数据仓库,通过ETL工具把数据抽取到数据仓库中,再做数据的拟合和展示。

目前来说是不行的,ETL任然是大数据时代下数据迁移不可缺少的

首先说一下什么是ETL,ETL是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。也就是说几乎所有的数据的移动都需要ETL的参与!

目前用到的ETL工具常见的有Datastage,informatica,kettle三种,前两者是收费的,并且占据了大多数国内市场,而kettle是来源免费的!但是在大数据量下Informatica 与Datastage的处理速度是比较快的,比较稳定。Kettle的处理速度相比之下稍慢。所以很多公司尤其是金融机构选Informatica 与Datastage。但是kettle由于是开源的所以有很强的扩展性。

数据要想有价值,就必须把它进行分析,挖掘出来它潜藏的价值,人们日常活动产生的数据一般是放在业务系统中,而在业务系统中的数据是不能直接进行分析处理的,这个时候我就得把这些数据搬运到一个仓库里,再进行分析!也就是所说的数据仓库,在而这个数据的搬运工就是ETL,在搬运的过程中我们还要做一些初步的清洗,去掉一些无用的不全的数据,这也是ETL的功能!最后我们那这些处理过的数据进行商业分析!这就是一个ETL的过程。

在数据就是价值的今天我们更加离不开ETL,当然这个过程也在不断的改进,运用也越来越智能越来越方便

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据, ETL是BI(商业智能)项目重要的一个环节。通常情况下,在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。

ETL的设计分三部分:

  • 数据抽取(Extract
  • 数据的清洗转换(Transform
  • 数据的加载(Load

目前常用的ETL工具有:

  • SSIS
  • Kettle
  • DataStage
  • Informatica

Datastage和Informatica是收费的,并且占据了大多数国内市场,而Kettle是来源免费的。但是在大数据量下Informatica 与Datastage的处理速度是比较快的,比较稳定。Kettle的处理速度相比之下稍慢。所以很多公司尤其是金融机构选Informatica与Datastage。但是kettle由于是开源的所以有很强的扩展性。所以在这个巨大的市场条件下,基本是不会被淘汰的,除非出现更加划时代的产物。

不可以。

哈哈,是不是离你的预期答案差很多?

先说说为什么会有不想再使用ETL的想法?

因为尽管在ETL上花费了大量时间和金钱,公司仍然会遇到很大的问题:比如数据不准确、查询不够彻底等。

那这些问题现在有办法解决吗?

暂时是没有的,ETL还是得用,在具有成熟业务的公司里不可或缺,但这并不代表这是一个好岗位。

etl工程师主要进行数据采集、转换等方面的数据预处理,也称数据清洗。这个工作打个不恰当的比喻,是洗菜工而不是厨师,所以和工作年限和年龄无关,和自己的发展规划相关。

所以做了几年之后,发展的空间不够大,但是养活自己是没有问题的。

到此,以上就是小编对于mongodb 重启的问题就介绍到这了,希望这1点解答对大家有用。

分享题目:我们可以不再使用ETL了吗?(windows中mongodb重启的命令是什么)
分享URL:http://www.csdahua.cn/qtweb/news39/268539.html

网站建设、网络推广公司-快上网,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 快上网