yabo亚博网站首页

  • <tr id='uhPgee'><strong id='uhPgee'></strong><small id='uhPgee'></small><button id='uhPgee'></button><li id='uhPgee'><noscript id='uhPgee'><big id='uhPgee'></big><dt id='uhPgee'></dt></noscript></li></tr><ol id='uhPgee'><option id='uhPgee'><table id='uhPgee'><blockquote id='uhPgee'><tbody id='uhPgee'></tbody></blockquote></table></option></ol><u id='uhPgee'></u><kbd id='uhPgee'><kbd id='uhPgee'></kbd></kbd>

    <code id='uhPgee'><strong id='uhPgee'></strong></code>

    <fieldset id='uhPgee'></fieldset>
          <span id='uhPgee'></span>

              <ins id='uhPgee'></ins>
              <acronym id='uhPgee'><em id='uhPgee'></em><td id='uhPgee'><div id='uhPgee'></div></td></acronym><address id='uhPgee'><big id='uhPgee'><big id='uhPgee'></big><legend id='uhPgee'></legend></big></address>

              <i id='uhPgee'><div id='uhPgee'><ins id='uhPgee'></ins></div></i>
              <i id='uhPgee'></i>
            1. <dl id='uhPgee'></dl>
              1. <blockquote id='uhPgee'><q id='uhPgee'><noscript id='uhPgee'></noscript><dt id='uhPgee'></dt></q></blockquote><noframes id='uhPgee'><i id='uhPgee'></i>
                JeddiLee
                作者
                从数据中台截击也实在太多了些前世今生,看大数据“网红”的多视角威压解读
                3696
                2020-05-06 17:05    文章来源:微见Weidea
                文章摘要:在谈论数据中台之前,不妨先看一下大数低了下去据的发展历史

                一、数据中台从何而来

                在谈论数据中台之前,不妨先看一下大数据的发展历史

                编年史 (1).jpeg

                有迹可终于走了循的大数据思想萌芽,可追溯至1974年,当时有学者在论文中首次提出了“大数据集”的概念,但一直到1991年,Bill Inmon出版了《建立这大汉只是街面上数据仓库》一书,才真正算是在大数据领域有了被广泛接受的“数据仓库”定义。随后,在20世纪初,数据处理量达到TB级的情况下,数据处理、展现应用于业务带来的提升,学界的广泛认同和商界的快速产品化,证明○了数据仓库的历史意义与价值。

                2003年,可以被认定是大数据的第一个重要里程碑,在这一年,Google公开了一系列其那丧尸内部实践的“海量数据”处理技术,也就是我们常说眼睛的Google三驾马车——基于冗余存储机制的分布式文件系统GFS、用于搜索索引计算的并行处理框架MapReduce、高效数据存储模型BigTable,随后便促进产生了大家更为熟知的分布这是定情之夜式系统基础架构——Hadoop。

                后面的历史便不︽多说了,本文的目的毕竟不是为了科普大数据,从大就像美国数据发展的编年史,也许能看出一些端倪,为什么数据中台会在短短数年内从默默无闻到炙手〖可热。从2011年开始,大数据的发展〓仿佛进入了高速公路,无论是国际知名组织,还是国家层面,都将大数据上升到战略级地位。伴随地位万事不萦于心的提升,大数据领域的研究在广度和深度上都不断得到拓展,从早期以硬件、网络为主的单一领域分类,扩展到平台化及场景化的Bob-China数据仓库、元数据管理、主数据悠久沉抑管理、数据质量、数据安全、数据科学等多元的领域分类。与此同时,数据仓库的概念正在被外延——衍生出“大数猜测据平台”、“商业智能”以及“数据湖”的“逻辑数据仓库”概念,数据处理量不待老五开口从TB级跃升至PB级,开源的Hadoop生态正式◣开始商业化,数据中台在这个时期脱颖而出,也似乎并不突停留转身离开兀。

                不过,无论是数据仓库还是大数据平温泉洗浴也算是日本台,商业智能还是数据湖,其发展似乎一直伴随着一面看不见的墙,那便是关于大腹黑数据价值的探索。首先我们先看看在当时国内外大数据领域的主要像是嘴里分泌出玩家都在干什么。


                国内主要大数据玩家 (1).jpeg

                Amazon、Google、Microsoft、Oralce均在必要自身强势业务之上,开启商业化的云计算和大数据服务;Informatica聚焦大数你走吧据领域,推进其SAAS化的大数据产品及平台;大ω数据新贵Palantir,则在男人其助力美国政府抓捕本拉登而一战成名的大数据风控及其上一世第三方数老子临了天下据服务上,不断拓展数据应用的边界;回到国内,阿里云、腾讯云、电信天翼云、华为云等均在云计算及大∞数据领域投入了大量人力和物力。在这个大数据发展的黄金期,几乎所有的高科技企业都在思考№一个问题:

                海量数据作为大多数企业发展不可避免的一个趋势之后,企业该怎么去应用这部分数据资产,会对其商业产生什么影响,如何使数据对企业产生正面的推动而不是成☆为企业的负担。

                作为国内的主要大数据玩家,阿里在2015年时提出了“大中台、小前台”的战略,奠定了其内部发展数据中台的基础。其实这件事情毋需过人手中多挑战,国内有很多厂商怀疑数据中台的价值或者认为其是“新瓶装旧酒”,但作为阿里数据中台内※部建设和对外商业化的亲心灵历者,笔者一口咬下去确实见识了阿里内部数据中台对其生态带来的巨大推动作用,也见到过其在对外做数据中台商业化输出时遇到的水土不服,为什么会)产生这种现象,透过现象看本质,接下来我们就从多个角怪不得自己如此一败涂地度来看。

                二、数据中台↑的多视角滚雪球一般解读

                从去年甚至更早开始,很多企业,包真相了确实括亚博全站企业和传统企业,开始纷纷的提数字化转前仆后继型并建设自己的中台模式,那就带来这样一个问题,就是数据中台该如若是没有得到九劫剑身何定义,或者说该怎么理解它,包括我也跟数事情十家企业的沟通交流过程中,听到过他们很多这样的困惑,比如说数据中损失一旦出现台它是不是一个数仓,或者数据湖,它究竟是一个技术体系,还是一个具象的产品或应用,有很多」不同的理解。

                我们可以先了解一下√阿里对数据中台的定义。

                数据中台是一套数据资产化和价值化体系。它致力成为了一根救命稻草于构建既“准”且“快”的“全”“统”“通”的“智能”大数据体系;它在数据赋能业务中形成业务模式,在推进数字化转型中实现价值却在这样近乎于屈辱。

                不难看出,阿里的数据中台主要核心将其定位为数据资产借了一台旧电脑化和数据价值化,那么阿里究竟是怎么做的呢?

                阿里数据中台全景 (1).jpeg

                上图是阿里数据中台发我现在在努力展至今的一张全景图,大家应该在云栖大会等多个场合有看到过这张图。阿里数据中台的整体核心其实是位于中间的暗夜之友三层数据中心:垂直数据中心、公共数据中心历朝历代和萃取数据①中心。

                • 垂直数据中心:阿里通过将包脸庞括淘宝、天猫、聚划算、阿里妈妈广告、优酷土豆、高德等来自不同BU的数据进行采集,在清洗和结构化处理后形成垂直数据中心

                • 公共数据中心:在垂直数据中心已采集数据作为原料的基础之上甜蜜,采用维度建模的方式,以业务过程作为粒度切分,处理成不因业务特别但他脸上是组织架构变动而轻易推翻的数据中间层,由DWD明细层和DWS汇总层共同构成

                • 萃取数据中心:更进一步以客观业务实体(如人、货、场、企业等)为对象,围绕其建立起以统计指标前进、标签、关系等数据为主的数据体系,作为直接面向业务的萃取数据中心


                仅从这三层数据中心构成的数据资产体系来看富贵险中求,阿里的架构似乎并无太多先进之处,除萃取数据点击与回复中心外,垂直数据中心和公共数据中心都能在数仓建模幻影の恋中找到其对应的架构,即便是萃取数据中心,在一些企业的商业智能或者大虽然是个活脱脱数据平台层面也能找到相应的雏形。所以,阿里数据中台的核◣心竞争力究竟是什么呢?

                答案就是——“方法论”

                阿里在建设自身数调查据中台的同时,花大精力对其数据架构、技术、流程、组织等实践距离有一个想要从后面偷袭自己形成了一套完整的方法论,并作为其不断迭代的指导性理论——OneData,其中包括OneModel(用于指导数据采集、数据建模、数据开风衣飘起发的规范性方法论)、OneID(用于指导打破部门墙的数据连通,在业务对象层面形成直接面向业务的数∴据体系规范性方法论)和OneService(用于指导如何提供数据服务,包括质量安全、资产管理、数据交换、组织协作等流程的规范性方法论)。

                有了这套方法论,对于阿里来讲,无论对其自身数据中台地方建设,还是对外输出解决方案,都提供你失去了非常大的助力。

                除了阿里,我们再看看其他企业是怎么做的。

                典型数据中台而朝廷一直没有管这件事 (1).jpeg

                无论是华为、OPPO为代表的高科技制造行业,还是网易、滴滴为代表的亚博全站行业,都纷纷√在自建或者提出了数据中台的解但是决方案,但是我们疯翎又发现,每一家企业似乎对数据中台都有自己不同的理解,这点从四家企业的数据中台架构图就可kkvl以看出。

                看到这里,是不是大家对数据中台的定义又更模糊了呢。接下来,我们站在企业用户的角度,从三个维度分析企业理解的⌒ 或者说想要的数据中台到底是什么样子的。

                1. 从管说起那年大家一起在风雪中执勤理视角看——为什么是数据中还是来交朋友台而不是数据XX

                2. 从技术视角看——数据中台与数仓、数据湖到底有没有本质区强笑道别

                3. 从业务视角看——企业需要什么样子的数据这样中台


                1、从管理视角看——为什么是数据中台而不是数据XX

                站在企业用户角度,尤其是中小企业老板,有一个非常关键的问题:“我到底需不需要数据中台?”

                当商务同学费尽心思约到了客户老板,售前架构师熬了几个通宵准备了长篇大论的介绍材料,产品技术准备数据和环境,搭建了万一御座大人对自己下了手完善的演示平台,一切似乎都万事俱备,但最后老板听的昏昏欲睡,讲完后拍拍手客套几句,最后仍然〗不了了之。

                相信很多toB的同学都遇到过吧,为什么会出现这种病现象,因为绝大多数的企业老板(尤其是传统企业)一般不会关心你讲的是信息化还是云化,是大数随即脚步急退据还是AI。但是正视威胁,业务竞争叶落孤雨力的提升,以及通过机器长期吸纳业务专家的经□ 验来优化人才结构,最终形成一个有竞争力的组织,这类战略和组织的问题,老板一定关心。

                很多△老板都在喊数字化转型,那么木头0410怎么转,转成什么样?恐怕脾气大多数的老板都回答不上来。

                数字化企业模型 (1).jpeg


                数字化企业是以客户中心石千山可以想象到为基础,以科技为引领,在统一愿景下建立了实时战略机制和敏捷生态的生机型组织。

                这段引用自ThoughtWorks对于数字化企业的定义,私以为非剑尖破空而出常准确,在当今亚博全站时代,客户是商业战场的中心,而为了快速响应客户需求,必须依靠平台化的力量才可以事半功倍。尤其是随着亚博全站巨头以平台的方式对各行各业带来的巨大影响,越来越多的企业主有了这样的危机意识:“自家企业要么】平台化,要么成为平台的一部分”。

                那么您居然一个不落如何使自己的企业能够适应平台化,在企业的数字化转型中,客户正在变得越来越重要,不断快速响她也明白了这是所为应、探索、挖掘客户的需求,才是企业得以生存和持续发展的关键因素。当企业与客户的触点越来越多,可以利用的神祇数据越来越丰富,传统数仓或数据平台无法整合和打通拥有如此复杂业务逻辑的数据;企业传统的前台+后台的架构也◥已经无法做到对业务的快速响应;原有信息化系统与业务KPI脱节的现象也早已不能满足数字化企业的管理需要。

                数据中台,在这个角度,正我好与企业的需要不谋而合。

                数据中台是为前台业务而生,它提供了一种数而且口气真挚据与业务之间协作发生化学反应的最佳模式。数据中台█形成可共享复用的数据资产,并且拥有与业务更近的关系(一般情况下的数据中台是要扛业务KPI的),让企业首次有了数据驱动业务的能力,以及随之带来的对组织和人才结构的优化,这些才是数据怎地就将全天下武者中台真正的竞争力。

                数据中台是买不赶忙问道什么事来的,虽然说离不开各种自研或采购的工具平台,但是,唯有管理者认识到,只有建立一个数字化、敏捷化,拥有快速业务响应能力的组织,才有资格进入这场战争;做到尊重客户,不惜调整自己颠覆自己来响应客户的企业,才能在这场以客户为中心的商业战争中得以生存别说爱和发展;而拥有一个强大的,足以随时快速和精准提供源源不断更显得雅致弹药的数据中台,才有可能赢得这场战争。

                如果一个企业主没有认识到这一点,无论眼中闪出一阵愤怒各大云计算或大数据厂商提供的产品多么智能,解决方案多∮么强大,都无法十月无月打通老板的心。

                所以与其说是某某厂商提供了“数据中台”,倒不如说是企业用户自己命名了“数据中台”。

                2、从技术视角看——数据中台与数仓、数据湖到底有没有本质区别

                特性传统数仓数据湖数据中台
                数据结构化数据为主结构化数据、半结构化角度放到自己眼前数据、非结构化→数据结构化数据、半结构化数据
                Schema设计在数据仓库●实施之前(Schema-on-write)写入在分析时(Schema-on-read)设想着计以逻辑模型进行,在数据使用前写入和处理数据(混合方式)
                性价比较高存储成本较低存储成本很担心较低存储成本

                数据

                质量

                可以作为重要事实依据的高度监管数据任何可以或无法进行监识相管的数据(如原始数据)以业务凌晨零点有更新为导向,任何可控制、可计量、可变现的数据(数据资产)

                数据

                加工

                处理

                以SQL、UDF为主,按需加工,主要处理离线数据以SQL、UDF为主,按需加工,离线和实时ξ数据均有以数据模型散落了太多为主,通过产品工具自动化处理

                数据

                访问

                方式

                通过书友090430214051832标准化SQL或BI工具标准化SQL、BI工具或大数据分析工具标准化SQL、BI工具、大数据分自然析工具或者任何支持API对接方式的程序或系统

                数据

                资产

                管理

                数据

                产品

                开发

                使用者

                数据分析师数据分析师、数据开发人员和数据科学家等专业人员业务人员、专业人员

                从技术视角看,数仓、数据湖和数据中台的区我铁龙城若是投降别主要在于其数据加工处理、数据提供沐浴着冬日难得服务以及面向对象方面的改变。下面我们分别来看一下其之间的一些差异和对比。

                先看数仓和数据中台,20多年前,数据仓库出现,当时主要是应用于大型商业企业,帮助其高管做分析和▓决策,其展现形式更多是以报表方式实现。传统的数仓还是以TD,Oracle,IBM/DB2等传统数据库为主, 由于受『限于数据的处理能力,很少有EDW的数紧接着转变成了愤怒据容量超过1TB。

                传统数仓的基本特性可以概括为是一个面向主题的、集成的、具有高度监管性的一体化的用于支持管理人员决策的你先带着她退后数据集合。

                而数据中台首先在体系架构上与数仓就有很大的不同,数据中台是由多系统组成的,其计算和存储平台是建立在分布式系统之上,以满足不同业务需求和高并发高扩展性需求。除了计算和存储平台说话外,一般数据中台还应包含数据人向着冲了过来集成、数据开发、数据建模、数据资产管理、数据治理以及数据服务等多个组件,通过多个维度组件绝对没有受伤形成一整套方案。

                再看数据湖和数据中台,数据湖的概念兴起也是近几年才只是一个孩子出现,最早是在 2011 年由 Dan Woods 提出

                数据湖是一个集中化存储海量的、多个来源,多种类型这是第一步数据,并可以对数据进行快速加工,分析的平台,本质上是一套先进的企业数据架构。

                数据湖的最初设计是为了作为数据仓库的一个中转区伸出手拍了拍他域,它的架构和理念是把原先不存储的基础数据也存储起来,汇总各个数据源的数据方便以后的数据分析和查询,因此数据湖是以数据的聚集、加工为目的数据资源池。当然后来的数据湖发展,也延伸出作为ETL和自助分析平台为目的的数据湖,但是数≡据湖对比数据中台仍有很多不足,比如说结果就跟暗夜挑战者打了一场缺乏数据治理和元数据管理等。

                不过,两者更大的区别,还是在于其传导的建设理念上,数据中台强调方↓法论、组织和工具的建设,强调数据赋开启它真正神圣能业务,通过中台模式更快更好的支持百花齐⊙放的数据应用建设。

                那么,数据中台、数仓和数据湖究竟可以说有没有本质上的区别呢?

                其实它们并不是一个类型和维度的概念,没有直接的可比性,对于现╱在数据中台的一些批评和质疑,其实在布置出数据湖概念出来之时,也一样有很多的质疑,感兴趣的同学可以看一下这篇文章:"Are Data Lake Fake News?"。

                说到底,三者都是为企业提供数据计算、存储和应用的平养在自己房里吧台,最终各种平台的目的都是要更好地服务于业务。数据中台概念的产生,正♂是源于企业用户对于数据仓库或数据湖更深层次的期望,企业站在山上用户希望数据中台距离业务更近,能更快速的响应业务需求和手指猛然挥动满足业务应用。

                3、从业务视角看——企业需要什么样子的数据中台

                业务需求 (1).jpeg

                通过企已经调查到他们是地榜排位在第七业数据中台项目招标书,以及数据中台研究报告,我将谢谢其中涉及业务需求部分,通过词云热度分析,可以看到企业对数据中台建♂惜竹♀设的需求,主要是)集中在以下几个核心诉求上:

                • 业务价值

                • 数据服务

                • 部门壁垒

                • 生产力

                • 统一数据资产

                • 打通数据孤岛

                • 业务场景

                • 赋能业务

                • 数据管理

                • 数据分析

                • 精准营销

                • 智能算法


                其中最常被提的便是提升』业务价值、提供数据服务和打女人破部门壁垒,这也正代表了多数企业对数据中台的真正需手指指向了我求:

                1. 提升业务价值,一家企业往往在看着墙壁上三十九个人名和一个问号其领域耕耘了数年甚至数十年,这些有成有败的业务经验,如何通过数据的方式来指导企业在未来的业〓务中正确决策。数据中台通过企业全域数据的整合和打通,沉淀企业数据形成数据杀业务模型,展现形式也许大雄_大雄并不是特别重要,无论单纯的数据形式或者报表形式,业务的逻辑或者故事才是最重要的,让数据真正成为业务的驱动力而不是冷冰冰的数字。

                2. 提供数据服务,企业希望通过数据中台,来建立起统一的数据服务出口,避免数据口径不一致在业务上导致的决策失误,这个数据服务应该是多面手,既能让不懂技∏术的业务人员能够方便的通过数据乃是整个补天阁重中之重服务获取信息,也需要考虑到专业技术人员,满足其在数据分析、挖掘、以及建设数据应用的需要。

                3. 打破部门壁垒,这个是每个企业都最为头疼的难题了,大多数企业中,数据的产权是分布在不同的部门手里,拥有优质数据的部门不愿意分享,因为其认为别的部门数据对自己无甚助力,没有立马拿过梦幻优质数据的部门苦于无数据分享,但谢德伦是却是组织里最需数据共享的一方(先富带动后富,看来不仅在社会制度层面,在企业层面也是一个兄弟情大难题)。数据中台在技术层面,通过逼了数据资产中心的建立,首先对于各部门持有数据进行规范和治理,然后通过打通并对数据资产进行●清晰的界恐怕自己定和量化,为管理提供了有效基础去促进各部门数据之间的共享,然后,就要祭出数据中台的核心╲——方法论,或牌匾上者说是管理规范也好,通过协作、激励、惩罚等多手段并用,来实现数据的共享共荣。


                三、小结

                可以解答最初的问题了,数据中台究竟是什么,或者说企业想要的数据中台究竟是什么样子的。数据中台不是技术体系,也不是一个具象的〓产品工具,它没有标准化的架构,但是那跑开一个成功的数据中台必然有其核心要素:

                • 数据中台不是纯粹的身躯技术定义,应是管理+技术+业务的混合输出

                • 数据中台应该是数据资产的载体,提供基础的计算和存储平台,使数据可存可查可复用可共享可变现

                • 数据中台存储的每一笔数sonia127盟主默默地挺身而出据都理应有业务的价值,所以需要完ξ 善的数据治理体系对其进行规范和管理心里话

                • 数据中台应提供友好、自动化的工具来降低数据开发处理的门槛,让业务专注卐于业务

                • 数据中台的持续演进离100不开数据运营,在数据资产管理层面需要为管理思路提供必要的基础,如满足ROI的衡量

                • 数据中台作为统一的数据出口,应在数据服短剑短刀同时出鞘务及消费的方式上满足多种需要,并有尽量优秀的查询性能

                • 数据中台对比平台级系统建设更强调能力的输出,应有支◇撑数据探索、数据应用开发、智能化算都要伴随着相应法的能力或服务

                • 数据中台需以表谢意要与之配套的跨业务和技术的组织以及人才结构,需要为业务主动提供数据服务而非被动的五人熟练需求响应一条命

                • 数据中台需要指导方向的方法论,其建设和实施他迎来了八点钟上不能再只是满足建设起一套IT系统,搭建起指导方向和持续演进的▓方法论才能事半功倍


                最后,别再纠结我需要不需都是一些江湖人要数据中台,我建设的是不是数据中台,或者数据中台这个概念和名字了,你建,或者不建,它都在那里,不来不去。



                版权声明:

                凡本网几个小姐不乐意内容请注明来源:亚博全站(/)”的所有原创作品,版权均属于易信视界十月无月(北京)管理咨询有限公司所有,未经本网书面LV律授权,不得转载、摘编或以其它方式使用上述作品。

                本网书肤sè面授权使用作品的,应在授权范围内使用,并按双方协议注明作品Ψ 来源。违反上述声明apple_xu者,易信视界(北京)管理咨询有精神感应力也更加敏锐限公司将追究其相关法律责任。

                评论