（CWW）10月19日，“数享家峰会暨数字孪生成长论坛”在京召开。Kyligence公司处理方案副总裁周涛带来《BI阐发布衣化》的主题演讲。

　　我是来自Kyligence的处理方案VP 周涛。适才听了袁总的引见，让我很冲动，讲到了数字孪生、城市大脑，、聪慧城市，我们可以或许等候看到将来或者夸姣的气象。接下来我讲的内容可能把大师从抱负拉回现实，抱负很丰满，现实很骨感，所以我讲的内容愈加偏大师日常每天处置的工作相关，叫BI阐发的布衣化。

　　今天次要分享一下作为一个BI的厂商，共同企业，客户在BI布衣化上做的实践，特地邀请到了我们的客户，他是来自银联的专家，跟我一路做这个分享，讲讲他们在BI布衣化做的工作。

　　为什么要讲BI阐发？其实大师在良多场所里面漫谈AI，谈数字孪生，可是这是2018年做的一个全球三千家CIO关心的手艺重点的排名。大师能够看到，这张图左边三列是国外所有的参与这个调研的CIO，有两千多家，右边是56家参与调研的中国的企业，能够看到所有的CIO关怀的排名第一的手艺仍是在BI阐发。这也是说，我们能够看到，良多我们跟客户交换的时候，会碰着无论是客户IT部分仍是手艺部分城市跟我们聊，我们今天在外面谈AI，外面回来还要做报表，这是我们碰着的现实环境。所以能够看到在企业里BI阐发的手艺并没有过时，并且大师不断在持续关心，是需要我们关心的一个范畴。

　　BI阐发布衣化什么意义？大师可能也听过数据科学家的布衣化，阿谁可能是一个更新的词。澳门威尼斯人娱乐场Kyligenc可是站在我们角度来说，看数据科学家的布衣化还很远，由于我们连数据科学家本身需要做什么？它本身是什么意义？还没有定义清晰。可是我们在国内BI阐发曾经很是成熟，BI阐发怎样落地布衣化？我感觉是我们切实能做的工作。

　　起首我们在BI阐发布衣化这几个字里面分两步，起首看BI阐发，左边这个图大师熟不熟悉？从我小我来说，在数据阐发这个角度有20年的时间，这个图大师该当很是的熟悉，我们最早叫五个球，就是数据仓库里面的，或者BI阐发里面进化的五个球。它别离定义了：

　　为什么大师会感觉大数据跟BI阐发仍是分歧的工作，可能更多的认为做了这么多年的BI之后，良多人感觉做BI就是做报表，上个月在公司面试的时候，我面试一个大数据的，来了一个做Hadoop很是资深的，聊完之后我问他有没有做过BI的工具，有没有相关的手艺理论，他其时以很是鄙夷的脸色问我，你说做报表吗？我没做过。其实很是受冲击。

　　BI不只能够做报表，BI也有更丰硕的系统。在大数据时代，BI阐发其他的形式，曾经越来越被倡导，或者说被呼吁需要去做，好比说多元阐发、矫捷查询。我但愿在我看到问题的时候，我随时都可以或许去查数据，我能晓得这个数据发生的缘由是什么？好比及时的交互，我能在客户进入我第一现场的时候顿时拿到这个客户的消息，针对他的动作我能保举我的什么工具？这些都是我们在BI阐发里面我们但愿能做到的。

　　第二个，BI阐发的挪动化，其实此刻人人都有手机的阶段，其实良多工作，良多工作人员他们的工作情况曾经不是在一个电脑旁边了，其实手机曾经成为了每小我日常需要照顾的设备，以至你工作里面能够用到的设备。其其实挪动化上面，你怎样能把BI阐发能力阐发出来？这也是我们需要冲破的一个标的目的。

　　下面讲什么叫布衣化？布衣化比BI阐发内涵愈加深一点。左边这张图仍是我们保守对BI阐发用户的一个分类，我稍微做了一个划分，大要分几类：

　　2、数据阐发师，包罗数据科学家，也能够理解在这个条理上，其实他们日常工作就是跟数据打交道，去通过数据去做摸索，挖掘我们需要的一些营业的洞察，或者是我们的一些营业的驱动。

　　3、一线营业员工。这些报酬什么对数据有需求？从我小我的选择，进入大数据时代，不只仅数据在爆炸，其实我小我感受是数据的需求在爆炸，大师其实对数据的主要性曾经上升到一个跨越以往任何时代的境界，无论从高层到下面的员工，都曾经认识到我需要数据来支持的营业，或者用数据来支持我的工作，这个时候带来的就是数据需求的保障。对于良多IT部分来说，我要支持整个无论是一线员工的需求，仍是外部合作伙伴的需求，以至客户的需求，都是面对很大的压力。

　　4、合作伙伴、客户。更多要谈到数据变现，不单能够拿数据来做支持，对外也能够把数据转化带来价值，把数据作为资产去运作。

　　从保守做BI的角度来说，大要只满足了20%需求，我们数据阐发人员，部门能力比力强的能够去数据库里面挖这个数据，可是绝大大都他们看不到良多数据，他们日常营业里面绝大大都仍是靠拍脑袋。我们站在布衣化的角度来说，起首我们数据该当推广到所有的一线员工上面去，由于让每小我都可以或许通过数据本身来驱动他的营业，来驱动改日常的工作，这才是我们布衣化的概念。

　　布衣化不是说我把数据给你，你就能用起来，对于良多一线营业员工来说，你把数据给他，或者我开放了一个BI东西给你，我开放了一个什么APP等你，可是若是你的易用性、操作性没有下到必然程度的时候，也不可，一样需要手艺的支持，让他有很好的用户体验，才能把这个数据真正做的起来。

　　我们在这个里面做什么工作？其实又回到适才，为什么数据做了这么多年，它的布衣化不断做的欠好，他的痛点在哪里？我大要列了一下，无论在过去仍是在此刻，起首数据量都是一个很是头疼的问题。在以前的时候，可能还没有Hadoop，或者分布式手艺的时候，无论你是用数仓、一体机，用很牛逼的机械做如许工作的时候，其实本身来说它都支撑不了你把这么大的数据可以或许以很简洁的体例推到一线员工去做交互式的阐发。更别说，需求矫捷各类维度上面的阐发，由于一旦你把数据推广到一线员工和客户，我们能够认为这是一个互联网级此外使用，对并发的挑战其实也长短常的大。本来在保守的BI东西的产物，其实都是一种单机的形式，要去做这种海量数据高并发查询的时候，其实它的手艺本身就遭到了限制，并且这本身又是一种封锁式的产物，所谓封锁式就是纯贸易化的产物，它的手艺也没那么容易去主导，可以或许去按照你的要求去走。

　　其其实大数据时代，我们为什么能够在这个时代去做这个工作？起首是数据的注重度曾经达到了一个史无前例的高度，无论从我们的带领层面，仍是下面层面，其实大师对主要性都有很深的认识。所以无论是从上到下，仍是从下到上鞭策起来都比力容易。别的我们此刻有了良多新的手艺，包罗Hadoop的手艺，包罗分布式手艺，包罗人工智能手艺，本身在你支持海量数据的存储、计较以及做查询拜候的时候，它都能包管一个很高效的机能，可以或许支撑如许的高并发。

　　其实AI跟BI什么关系？我小我认为AI能够辅助到你BI里面，让你变得愈加的简单，这个阶段，手艺本来是有所冲破在BI手艺里面碰着的难点。此刻这个年代里面，手艺可以或许有这么很快速的成长，其实跟开元文化是离开不了的。开源对各个企业，无论是厂商仍是企业，其实让获到手艺的门槛都大大降低了，才使到手艺的成长这么快。所以在大数据时代我们有了更充实的前提来辅助我们BI手艺更好的向布衣化这个阶段去推进。

　　接下来引见一下我们是做什么？右边我不晓得大师有没有听过？Apache Kylin，这是全球第一的OLAP on Hadoop项目，首个中国Apache顶级开源项目，第一个中国做出来的开源项目。本身来说的线年成立顶级的项目，我们此刻全球曾经跨越一千家出产的用户。若是是互联网的同事在这里的话，根基上都听过这个名字。包罗BAT，包罗今日头条、美团、公共等等都在利用我们的手艺。这家公司是基于我们开源项目来做一些贸易化的产物，我们供给贸易化的产物和办事。

　　简单用一页做一下告白，我们大要处理什么样的问题？我们把我们BI阐发布衣化分成三个阶段，开放、智能、融合。你的平台越来越多，你的数据越来越多的时候，你的数据是割裂的。站在某个角度上来说，做大数据阐发，你必然但愿是一个融合的，我能让我的用户，我的营业拜候到任何需要的数据。我们的平台能够对接各类各样的数据源，包罗流式的数据源，包罗Hadoop的数据源。

　　智能，我们也是以开源为焦点，我们在上面会用到一些AI的手艺，整个企业会把这个开源产物用的更好。它会智能的加快拜候，如许你的营业部分来拜候你的数据，你要让他把这个数据真正用起来，它的响应速度要快，我们但愿所有的查询可以或许在亚秒级的响应。智能路由，什么意义？由于你的数据分布在分歧的处所，你要让一线员工晓得在哪查数据，你要主动让他查到。

　　对于上面来说的话，我们可以或许供给各类数据办事的能力，我们叫开放，我们能够跟各类现有的企业内部的BI东西做对接，我们也能够供给API，供给自定义的平台，或者是BI阐发的东西。如许的话，本身来说，我们也只是高并发拜候如许的场景，如许的一个现状下面，你能够把一个数据发放给你的，无论是你的数据阐发师，仍是数据科学家，以至你能够把你的术语发给你企业所有内部员工去拜候，包罗你的外部客户。

　　这里是此刻曾经在全球做的一些客户的环境，其实能够看到支流的根基上前面也提到了互联网公司，根基上都在用我们的产物，在国内也有浩繁的贸易客户，包罗金融行业里面银联、招行、建行等等都是我们客户。接下来，我们会在客户案例里面跟大师分享一下这些企业怎样用到我们产物来做这个BI阐发布衣化的？

　　起首我这边会邀请银联的高级客户司理王司理，来给我们分享一下银联在这方面的实践。

　　银联司理： 好吧，此刻这个时候我上台，怎样变得不灵了？我感受我是不是布衣的代表？仍是更多布衣都被我代表了？我简单引见一下，我来自于中国银联，在银联呆了跨越十年的时间，今天借这个机遇来分享一下我本人和中国银联在数据行业和大数据方面做的一些工作。

　　起首仍是不落窠臼以所谓的挑战起头，今天看到有这么多伴侣，大师都坐在这边，在周五的下战书，阳光明丽有这么多伴侣坐在这边，可见所有的人跟我一样，也是面对着庞大的挑战了压力，但愿在这边要么寻找一些处理方案，或者最差的寻找一些同病相怜的人，互相取暖。

　　所以作为一个数字人，上面的场景大师该当很是熟悉，我们的客户很是多，在企业内部上到带领，下到每一个一线员工，都向我提各类各样的需求，包罗我的外部用户，我的供应商，我的合作伙伴都向我提各类各样的要求，这种要求八门五花，包罗各类报表，月报、周报、季报，包罗大促之后要有评估，要有预估，包罗查询各类数据。做这些需求无所谓，可是有一句话大师该当回忆犹新，我的同事经常跟我说“兄弟奉求啊，我只需一个数据为什么这么慢？我只需一个发卖额，我只需一个发卖目标你为什么给我拖两周三周？为什么？”这是我们碰到的最大的挑战，由于我们的数据分派在分歧的处所。

　　前段时间，我们带领还跟我说，第一要关心收集上的一些言论的环境，要去阐发一些言论上面的一些环境；第二要在我们每一天上TB的日子里面去阐发一些隐含的出产事务和出产问题。天啊，我们面对的坚苦，面对的压力如斯之大。

　　可是我想说的是，我适才讲的这些坚苦，这些压力，其实今天具有，今天具有，明天其实还具有。所以说我最想讲的是，我们面对这些坚苦，这些压力，我更想把它称作是我们数据人的一个任务。我们数据人的任务是什么？简单来讲要阐扬数据的价值，数据的价值在哪里呢？好比一颗钻石，我看今天有良多妹子，你们感觉钻石的价值在哪里？钻石的价值我小我感觉，在于它陈列在博物馆、安全箱里面，告诉大师我几多克拉，几多金额，这是钻石的价值。若是几克拉的钻石丢在街边，跨越100%的人会认为这只是一个玻璃。

　　那么数据的价值在哪里？数据的价值跟钻石的价值恰好相反，包罗我们这个主题也是数字孪生，数字孪生是什么？用数据模仿现实，用数据处理现实中的问题，所以数据的价值在于利用，在于更多的人可以或许利用到价值，越多人利用数据越能表现数据的价值。所以今天这个主题我小我仍是蛮赏识的，就是BI阐发的布衣化，让更多的人利用到数据，而不是把数据束之高阁。

　　下面我给大师引见一下整个数据阐发阶段，我们银联做了哪些工作？在大要7、8年摆布起头到前几年，次要是数仓风行的年代，这是一个典型的数据仓库的架构。做的最起头是下面这一层，把所有的数据做了一个集中整合，从各个分歧的数据源，建一个数仓。在数据仓库的环境下，用来反映企业的运转环境，做了一个数据阐发的集群，然后用往来来往整合了整个数据阐发，供给一站式的数据阐发办事。这套系统其实仍是比力健康的，运转了5年到8年，在这5年、8年的时间里面，至多我们企业由纯粹的拍脑袋决策，到用数据去阐发、去支持，拍脑袋决策的结果，以及为下一次拍脑袋做好充沛的预备。

　　可是时间的车轮滚滚向前，此刻的数据翻倍越来越厉害，此刻到了所谓的大数据年代，更多更多的一些挑战和更多更多的一些新的事物呈现了。好比说像我们本来组织架构上，从一个以本能机能型为主的部分之间彼此协调的一个组织架构，变成了一个以小的BU为主的，以满足市场办事为主的一个系统架构。所以说那么有更多的市场人员，更多的一些个性化的数据阐发的系统需要接入过来，需要利用数据。包罗此刻人工智能这个概念也兴起，有大量的数字科学家在这个方面进行计较，包罗我适才提到，有各类舆情数据，各类非布局化数据需要加工，以及数据膨胀当前，在关系数据库里面临数据加工和处置的瓶颈都表现出来。所以在2012年摆布，大数据的手艺方兴日盛，我本人和银联也投入到整个大数据相关的工作中去。

　　这一张讲的是在当今时代银联对大数据本身的思虑以及我小我对大数据的思虑。大数据本身我小我感觉，在数仓年代是关系企业数据库的整合，供给同一的数据阐发。在大数据的年代，我小我是感觉，在数据进一步融合整合的根本之上，是同一用户视图，支撑丰硕的数据使用。同样的讲台上，今天上午我们也有银联同事有个专题演讲，讲的是金融科技以及银联在金融科技布景之下做的良多营业场景。所有的营业场景其实都需要我这个部分作为大数据平台，作为落地支持来实现。所以说我们整个银联在整个数据场景的根本之上，该当是通过四风雅面做了支持，包罗人工智能，包罗在线办事，为我们银联的连机系统，为银联的营业系统供给的大数据办事，包罗海量计较，把整个基于数仓的数据阐发，提拔到大数据阐发的能力，包罗及时计较。那么通过这四个方面，去支持我们海量的，或者多样的一个数据使用。可是数据使用是多样性的，它愈加需要一个同一用户视图的系统来做支持，如许才能满足使用的多样性以及有序之间的关系，不然多样会变成乱序。

　　这个图虽然比力标致，其实这张图的构成也是颠末了银联确实三年多不竭的试探，不竭的迭代而构成的这张图。最起头必定仍是把大数据进行整合进来，构成了大数据和数仓的一个双赢数据布局，这个时候用户形成了庞大的搅扰。大数据是大数据架构，数仓是数仓的架构，这个怎样办？天然的，我们加了一层拜候策略，可是此刻有各类各样的数据处置使命，这个时候我们就把你所有的所需要的使命，所需要的设置装备摆设文件，全把它封装成施行容器，用户只需关心营业逻辑，那么这个营业逻辑所需要所有的情况变量，我从头帮你做掉。

　　那么平安也有了，施行容器也有了，我大量的使命跑，我的资本冲突怎样办？我的使命安排怎样办？没问题。施行打算、资本、分派，两个模块也出来了。这些都完了，我们运维团队又起头撮要求了，没问题，我所有这一切帮你都做了，我其时感觉我的工作完成了，既把大数据和数仓也建好了，也满足了各类各样所谓的数据拜候要求，我感觉我的工作任务竣事了。但其实千万没想到，真正的烦才起头。

　　适才我提到了旁边这一圈蓝色的工具，从企业的投资上来讲的话，是比力容易被企业的一些施行者和有企业的一些带领所关心，所能领会的，由于你做的任何一个工作，他们是看获得、摸得着，也是可以或许处理企业中一些问题。恰好是两头这三大块焦点代表的可以或许，往往是隐含在外表之内。我们经常说冰山之角，99%的内容都是在海底下，所以两头的三大块内容，数据架构、数据曾经构成往往含在水面以下，这块工作就属于你做好了没人晓得，你做欠好大师都认为你不可。所以我们有时候经常在团队里面开打趣，我好不容易收集好了七颗龙珠，神龙在哪里？神龙没有，我们本人造，所以我们做了Tornado这个系统，来做数据加工办事。整个Tornado确实带来了包罗机能，包罗平安方面的一些问题，这个时候也不晓得是我们的真情打动了上天，仍是说冥冥之中自有天意，我们跟Kyligence公司有一个偶遇，慢慢从开源版的Kylin引入到利用他的企业版，以及到此刻我们跟Kyligence有一个深切伙伴式的合作关系。所以我们银联此刻在往及时的数据方面正在做。

　　适才讲了这么多，最初我简单分享几个数字，银联在Kyligence的手艺支撑有如许一个利用环境。这是我们最起头做的测试的一个数字，我们这个是在200个VCores，400个Mermory上，它运转的现状是，它可以或许替代掉我接近800个Cognos CUBE，我这个CUBE整个响应时间，60%摆布在秒级，90%以及在3秒以内的前往。全体来讲，Kylin从本身从机能上来讲，是有一个量级的提高。

　　我对Kylin的认识倒还不是简单的认为它只是一个架构上的提拔，或者理念上的提拔，更是理念上的一个提拔。本来我们用贸易软件作为我们次要的处理方案去处理我们现实问题的时候，更多的强调是说，我们在软硬件手艺选型的时候，要尽量包管软硬件架构的不变。可是此刻互联网+，一方面开源软件进修多，对焦点手艺的把控力月 。另一方面，在互联+时代，对用户体验越来越强，大师强调的的是用户体验。所以这个时候我们选择了Kyligence，在于Kyligence本身开放和开源的特征，它有开源版本Kylin。它在接口层也是开放和通明的，所以我们银联目前来讲只是利用了他们一个焦点的计较引擎，整个用户UI上面所有的工作，我们是做了替代，是用我们银联整UI的条理替代Kylin整个UI层。

　　这个就是我小我，以及我们中国银联在整个大数据，包罗从报表到数仓，到大数据，和大数据阐发阶段做的一点点工作，给大师做一点分享。

　　接下来我再跟大师分享一下其他几个案例，跟银联很像，Cognos大师晓得是个BI东西，太保跟银联做的纷歧样的处所是，相当于站在太保的角度上来说，他会感觉我的用户曾经养成了用Cognos的习惯，可是他们对企业欠好，他们但愿处理这个问题就行了，不要影响我营业部分的利用，不单愿动作太大。可是站在这层面上来说，他们找到IBM一路来切磋这个问题，我们两边能不克不及把如许的问题处理？大师也晓得IBM根基上不在意这个问题，我们帮太保打通了产物跟Cognos之间所有产物线之间的对接。其实我们花了很大精神做这个工作，可是我们发觉这个很有价值，也是表现我们国内从办事方面、研发方面能做到这个深度。

　　第二个，我们帮他们做了营业数据和财政数据的全体阐发，无论从监管仍是运营的角度上来说，安全公司很是关怀我安全公司的赔率和营销费用上的相关性是什么样子？凡是来说我的赔率越高，我没有需要花太多的营销去推它，由于这个不怎样赔本。可是赔率越高的，我会花良多的精神去做。本来实现是相当于我两边数据都没有通，营业数据是营业数据，财政数据是财政数据，并且我所有阐发都是营业数据拉出来，把这个数据导在SaaS里面，用一种数据挖掘的工具去算相关性，然后再反馈给营业这个上面是什么问题。我们协助太保把两个数据融合在一个平台上，相当于他不消把数据搬来搬去，本人就能够把整个过程实现。

　　如许一个改变带来的是他们的相关性本来在-0.5，此刻能做到-0.8，我能在我最花钱的，或者收益最欠好的产物上，降低我的营销费用，顿时获得营业上的一个响应。

　　接下来，再跟大师分享就是我们的建行，我们帮它做到了把所有KPI的办理目标，大师晓得大师都需要看，我们帮它推到了全行40万的员工，每小我在手机上都能看到。如许你要有大量的数据计较和高并发的支撑，这是我们在建行做的，本年建行还跟我们在美国纽约的Strata大会上去分享他们用我们产物怎样做如许的工作。

　　最初跟大师分享一个，仍是在银行，在招行，在招行做的一件工作，就是把BI做成一个办事推给他所有营业部分。我们作为一个两头平台，大师能够看到每个用户，或者每个客户他本身的利用体例都是纷歧样的。招行本身来说，站在他金融科技如许一个定位角度来说的话，它是真正的但愿我的IT人员都从手艺本身释放出来做更多的工作，把数据办事，数据本身都推到营业部门，我们现实在招行做的工作，把它的底层数据，它有好几个Hadoop的平台，数据本身曾经做的很是融合，它的数据怎样样开放出去？它但愿可以或许把这个所有的数据，e周涛：BI阐发布衣化_通信世界网你的营业部分只需告诉我，你要什么数据就行了，我IT没有你懂，我也不想懂，我该当做的事，我把整个根本设备做好，所以在我们这块平台上来说，我们打通的是底层的营业跟上层的BI东西搭建一个桥梁，你们想要什么样的数据，我们只做资本的办理和数据权限的办理，你把数据权限告诉我，我能够把数据权限开放给你，这个时候你上面怎样用，怎样建模？那是你营业本人的工作。

　　所以根基上它能够把我们数据的办事当做一个云的办事外行内去供给，我们此刻跟招行一路做的工作是面向它全行80多个部分去提拔数据办事的能力，你能够用我同一的BI阐发东西，也能够用你每个部分本人用的BI阐发东西，都能够在我上面做如许一个数据阐发办事，我尽管权限和资本的利用，其他怎样去用数据，怎样阐发数据？那是交给营业部分本人去做。这真正表现了我们可以或许把所有的数据推到一线去用。

　　好，我们今天的分享内容大要就是如许，很是感激大师，然后我们在外面的展台，若是大师感乐趣的话，我们后面继续聊，感谢大师！