近期网易云有多场关注数字化转型创新又落地业务的直播 ,
或者听完不过瘾,还需要直播笔记。
那一定不能错过这个系列――我们将复盘直播内容,划好重点干货十足
《网易大数据“数据生产力”系列直播课程干货回顾》 ,
本文8100字 ,阅读约需14分钟 。
今天分享的主题是《如何利用数据助力企业高效的运营》 ,当然这个主题并不一定限于企业。政府部门和其他一些单位!也同样适用
一、疫情突发:数据分析提供了怎样的服务与能力 ,
这次我们选择了疫情的分析作为案例和出发点,简单来说疫情分为几个阶段。疫情开始、疫情爆发、出现拐点或者下降!比较重要的点是在舆情开始或者爆发之前进行疫情预警 ,这是第一阶段。防患于未然
第二阶段大家开始复工了,或者说疫情逐渐好转时慢慢要考虑从疫情防患切换到工作和生活中 。这时我们的视角是看企业员工有没有受到疫情的影响!或者受到疫情影响的严重程度如何? ,
这里截取的案例是疫情爆发以来市面上各种数据产品的更新思路演进,大家从这个演进上可以看出我们整个的分析方法和对数据的应用是逐渐深入的 。
起初大家可能都会看丁香园的H5页面,当时看那个页面的时候会发现这个页面非常简陋 。主要是确诊案例或者死亡案例这些数字 !底下是疫情分布地图 ,再下面是一些实时报道。最初连趋势图也是没有的!更没有具体到某一个地区的图表了,
疫情持续爆发的时候,我们会发现市场上的App或其他一些应用中渐渐都有疫情分析的主题栏目了。这时你会发现产品中增加了趋势的分析 !但这时还是比较基本的全国和各大省份的趋势图 ,
图中最右侧是我截图的百度疫情分析栏目页面 ,这个栏目也经历了好几次改版。从最基本的疫情分析到目前的版本 !包括确诊病例和疑似病例的比例,死亡率与治愈率的关系。同时会对湖北和非湖北数据进行对比!还有另一个比较有意思的是它会自动帮你选中所在区域 ,比如你是浙江的会帮你选中浙江的 。让你关注所在区域的疫情 !
这是一个非常经典的案例 ,代表着我们对数据的认识和应用的发展 。从最基本的宏观数据分析到多维度数据下钻 !
如图这是我做的一个简单的模板 ,我在做的时候关注的也是针对疫情的各个维度。对比后我们可以发现之前市面上的疫情数据产品的分析思路还是仅从各个维度来看待疫情!这时带来的价值和洞察相对来说就会比较有限 ,简单来说疫情期间比如一个数字100 。到底有什么意义?要放在一个更加宏观的环境里面看!
比如想看不同地区确诊病例与人口的比例,想看确诊病例与城市经济发展的情况 。比如拿温州来说 !温州疫情早期爆发的情况相对比较严重,为什么?因为温州经济比较发达 。温州人在武汉做生意或者工作的比较多!所以我们会发现其实疫情的数据需要结合经济的发展,人口的迁移人口的比例来看 。这时可以得出更多的结论!我们还会看到很多地方的病例到现在可能还是0或者1 ,如果细想的话。它跟我们的经济发展或者和城市GDP都是有一定的关系的!
这个图我没有做特别多的数据展示,更多的出发点体现在下半部分 。即通过全省的数据对比!可以看到不同地区的人口比例 ,以及不同地区的确诊率 。拿湖北举例武汉是千万级人口!它的数据是什么样 ,孝感是百万级人口。它的数据是什么样!或者神农架的数据是什么样? ,
左边是我做的图表分析案例 ,右边是分析思路。分析思路分为几个板块!第一块是从汇总角度来看确诊病例、疑似病例、死亡比例的情况;第二块关注的是累计比例和环比数据,中间针对不同维度进行对比。比如对比的角度是死亡率与确诊率的比例关系!新增确诊和新增疑似之间的关系 ,这时会发现其实从二月十几号开始 。甚至更早在2月8号拐点就已经出现了 !总结下来会看到市场上大家对数据的应用是沿着非常清楚的脉络在发展的 ,
第一步关注的是一些简单的宏观数字 ,这时在H5页面就发现只有一个确定的数字 。公众会觉得很慌 !第二步慢慢随着时间的推移和数据积累 ,就会进一步发现趋势数据 。这时也是相对比较简单的 !第三步就是我们现在各类App或疫情分析产栏目上面看到的情况 ,它把地区的视角也体现出来了 。再有一些数据的比例关系也拿出来了 !我们可以对比死亡率和确诊率、治愈率的比例关系,对比同一个数值在湖北和非湖北地区之间的数据。还可以查看个人所在地区的对应数据 !这是我们现在市场的情况 ,大家可以发现。数据的应用是从浅入深!从单一的维度向多维度分析发展 ,
再往后我们要把疫情的数据与经济发展数据或人口迁徙数据进行对比,这时就会得出更多的结论。它遵循的脉络是维度越来越多 !与我们实际生活的关联也越来越多,分析角度也越来越深刻 。我们对疫情的认识也在逐步加深 !
从这个案例里面主要体现出来什么问题呢?现在市面上的产品已经做到第三阶段,我们可以看到不同地区之间的对比 。我们可以对各种指标进行分析与对比!可能发展到第四阶段的时候 ,我们会把这个数据与经济发展数据、与人口数据进行对比。会是另外一种情况!
这一系列分析背后体现的是一种数据的意识 ,具体表现在两方面:一方面通过数据分析。可以看到世界背后的规律 !如果只是简单停留在前两个阶段,只关注宏观数字和趋势分析。这时对世界的认识是相对比较粗浅的 !并不清楚疫情对我们的具体影响是什么 ,可能一开始大家都觉得疫情爆发的很快 。但是其实对比查看自己所在地区的数据之后会发现情况还好 !比如现在浙江的情况 ,会发现对你个人的影响没有想象中那么严重 。只看数字是一种情况 !但是把治愈率或者确诊率进行对比又是另一种情况,所以另一方面我们要从数据里面。从多个角度发现背后的规律!增加我们的认识 ,
如果从企业的角度 ,或者从我们日常运营角度来说。就会发现数据分析可以帮你做很多事情!举个例子以互联网业务对应的市场投放数据来说 ,同样的投放以前点击率很高。突然降低了如果这时候单独去看降低这个指标 !其实看不到什么 ,可能要从渠道上来看 。从投放的内容来看!从关键词来看 ,从其他角度来看。这时才会发现到底是哪个因素带来的影响?是关键词不对 !还是流程不对,或者是注册流程是不是有问题?或者渠道信息是否OK。从不同角度分析 !我们才能认识到是哪一个环节带来的影响,所以数据其实要和业务关联起来 。
以疫情为例我们现在看数据的时候,会发现一个关键点 。就是数据分析产品会定位到你自己的城市或者区域!比如杭州已经定位到小区单位了,这就是我们所说的业务关联 。就疫情对个人的影响来说!全国的数据相对有限,个人更加关注的是最小单位比如所在小区、所在城市是不是有影响 。关注和自己实际相关联的信息 !这个信息就是业务信息,这时才能真的帮助到个人 。才能让个人获得具体的认识!
直播回顾|如何全面提升企业经营的远程决策和分析效率_随缘企登
再假如以互联网为例 ,流量数据关注的是渠道信息。渠道信息是和业务相关联的 !这才是数据意识的体现 ,首先要有从这个角度来看数据可以帮助你提升认知的意识。第二要把数据分析聚焦到和业务相关的地方 !这就是疫情分析带给我们的启发,
我们再看第二个案例,是复工阶段的一个场景。这是我用有数做的一个简单的分析!第一现在大家比较关注的也是企业和员工都在做的健康打卡 ,第二大家打卡的时候进去之后要看具体信息的情况。
健康管理分成三步,第一步发放表单不管是用Excel、企业微信、钉钉或者是企业内部开发的工具;第二步 。把打卡信息与其他信息关联起来 !比如与员工信息它关联起来,员工信息包括哪些呢?首先是部门的信息。当然这个可能是针对一些较大的企业来说 !员工所属部门信息是什么,组织信息是什么 。这时才能看到疫情对不同部门的影响!哪个部门受到的影响比较大?哪个部门受影响比较小,这时需要看到数据才行 。其次打卡数据还要和返程信息、疫情信息关联起来 !这时要从不同的信息侧面找到不同的观察视角 ,
当企业需要复工的时候 ,需要将打卡信息与返程表单关联起来看 。这时就可以看到哪些员工已经回来了!或者他已经打卡多长时间了,以及他是不是已经达到复工条件了。这时其实是需要将打卡信息和表单信息关联起来分析的 !比如我们可以看到员工打卡信息或者返程信息,跟我们的疫情信息关联起来。这时就能看到哪些员工受影响比较大!一般来说表单或者其他信息都可以获取到 ,
关于分析这部分 ,我做的比较简单。是部门和区域分析 !以及打卡情况 ,但覆盖了表单分发到关联数据再到数据分析的完整链路 。在数据分析基础之上 !可以每天把邮件或部门打卡信息发给部门负责人,对没有打卡的员工进行预警 。或者某个员工有健康异常情况时 !企业也可以提前关注 ,这就是一个比较完整的链路。
上面这个案例,可以分为四步 。第1步数据采集我们通过表单或其他方式采集信息!第2步数据建模相当于把表单信息跟其他信息关联起来 ,获得更多认识。第3步数据分析通过前两步做好的数据!可以通过部门、区域或者个人 ,来看到底哪部分受影响程度比较重或者哪部分需要特别关注 。第4步是在此基础上把这些信息定时推送给其他人 !或者有预警的时候进行提前干预 ,
具体来说到了第3步和第4步 ,大家就可以get到关键点 。各个企业能做的事情也是比较相似的 !更重要的是前两步 ,数据采集和数据建模的阶段 。比如数据采集的时候是用Excel或者是用第三方工具 !到第2步的时候就比较麻烦 ,因为员工信息或者其他一些硬性信息存放在其他地方。这时把数据关联起来看趋势并进行比较就会很痛苦!或者在第2步的时候还有一种情况就是存在数据孤岛的情况 ,员工信息或者其他信息在不同的地方中 。这时可能就无法看到部门之间的信息!或者可以看到但是效率非常低,可能需要每天反复导入导出Excel。每天反复手工做 !同时还会涉及到权限的问题 ,因此建议最好在前两步的时候就做到数据建设与业务发展保持一致 。采集、建模和分析!缺一不可在这个场景下,分析相对来说比较清楚 。这块的重点在于数据建设要跟上!
数据建设分为两块 ,第1块是数据采集、建模以及分析。需要做到线上化、规范化!要把不同系统的数据放到一块进行统一的整合和分析,这个阶段需要做的工作还是比较多的。但目前大部分企业还是停留在线下的方式!这时想做分析的话相对比较痛苦的 ,第2块和第1块也有相似的地方。就是数据最后还是要服务于业务!
我们介绍了两个案例,即疫情的分析以及员工健康管理的分析 。应该从什么视角来理解数据建设或数据分析的框架呢?我对数据的理解和对数据的应用!是从两个角度来看,
二、数据应用:多个角度看数据 ,从个案抽象数据应用视角。
第1种是从应用角度出发 ,数据必须是以业务的价值作为导向的。任何数据采集、任何数据建设 !或者任何数据平台 ,最后都以对业务的价值来建设 。
我们要考虑总体战略和决策都需要投入什么?什么时候应该投入 ,每个地方的投入量应该是多少?管理应该是什么样的。如果一家企业比如说销售企业可能关注的是员工的效率或者店铺的效率!
,然后是应用比如说预警、推荐、算法,或者其他应用等 。接下来就是我们的平台了!再往下就是我们的数据 ,这时它是一个从上往下的视角。需要按照什么样子做!希望数据怎么帮助你?你可能需要定战略,到战略下面来说 。要在哪个层次做!决策层是在管理层还是在应用层来做,
底下来说针对不同的应用层,不同的场景可能要建设相应的数据平台 。数据平台之后!再去找需要什么样的数据,
。整个原则或者方法论更多是以终为始或者自上而下 ,它有两层含义。第1层是数据建设或者分析建设要匹配战略的发展!要辅助业务的发展,任何一个数据建设都应该以此作为出发点。不做无用功自上而下是说在企业或者组织中 !大家要从上往下推是比较痛苦的,所以领导或者决策层要从上往下推 。这样的思路
从应用角度出发,数据到底跟业务之间的关系是什么?我简单画了一下。更多体现在前两步!就是业务价值和分析模型要保持一致 ,业务价值是什么样?到底是零售的价值 。还是增长的价值?还是为了效率的提升!还是为了算法更好,不同的业务价值 。分析模型也是不一样的!分析模型需要和业务模型保持一致 ,然后底下的数据模型需要支持分析模型 。需要的可能是业务人员的素养!以及数据人员的业务素养 ,大概是这样的一种情况 。
上面来说是从上往下看的视角或出发点,后面的出发点是从数据建设来说 。做一件事情或者实现一个战略 !最终还是要有实际的落地才行,从数据角度来说。第1步比较简单!一个数据源原来说是流量,比如互联网业务的流量。线下业务的订单数据、商品数据、物流数据、供应链数据 !底下的比如我们刚刚举例的表单收集数据,或者其他线下数据的收集。把这些数据放到数仓里面进行统一的管理和配置来做数据建设!最后在数仓基础之上进行分析,进而做报告、做报表、做算法。进行预测跟推荐 !最后把这些数据再推给前面的应用,这块更多的视角是从数据建设的角度来出发 。简单来说我认为它是一个开发的视角 !开发的视角大家可以理解为它重在质量,稳定性和效率是比较重要的。
从数据视角来说,我们关注的数据源非常重要。从数据建模到数据的应用!越往前越重要,如果数据源本身是有问题的 。任何数据应用都是没有意义的 !我以前做流量分析,特别重要的一点是埋点数据的准确性。如果埋点错的 !所有分析都是没有意义的 ,我们甚至发现很多情况 。比如一个埋点两年多了都是错的 !一直按照那个来做,到最后发现有问题。才追溯到原来埋点就是不对的!所以越往前越重要,因此在数据建设的时候。讲究的是技术的规范和项目的质量!
这部分有很多方法和模型 ,这是我们自己总结的。比如数据要采集全!数据要保证实时性,数据保证要做得足够细、足够准确 。
其实从上往下的视角与从下往上的视角 ,抽象来看很容易就会关注到核心是中间两个环节。就是通过分析来输出我们的应用价值!通过建模来规范我们的数据采集,中间这两块就是我们的分析跟建模 。所以重点在于分析和建模!
三、分析方法论:从分析、建设到工具,
今天的重点是以分析的角度来做这个事情,所以更多的是以分析的视角来看。那么比较重要是分析模型要跟业务模型保持一致!那么我们怎样高效的分析?有哪些方法论呢?这是下一个模块重点会介绍的内容 ,我们一开始是从一个案例引申到我们对数据的认识 。现在我们要把这个认识进行落地 !怎么样来落地是下一个阶段要做的事情 ,
分析模型主要是看数据分析的领域 ,它要求数据分析跟业务模型保持一致。比如说增长领域或者流量领域!比较重要的是海盗模型 ,从引流到最后的用户转介绍 。最大化它的转化效率 !最终实现业务的快速高效增长 ,精益分析模型讲究的是快速实验 。实验之后要分析结果 !然后再实验再分析,一个迭代往复的过程 。
比如零售领域中一个多视角看数据里面的人货场模型,用三个维度来看。这时相对来说能够比较清晰的找到关键点 !可能我们还有竞品分析的模型 ,市场分析的模型 。不同的业务场景或者不同的业务模式代表的分析模型也是不太一样的 !
分析模型更多是跟业务相关的 ,那么既然有这么多模型。对于我们的产品来说 !应该怎么应用这些模型,或者怎么使用这些模型 。这部分也是有据可依的 !或者有工具可以做这个事情的,抽象出来的话 。其实分析也就是一个模型!最后到一个报告来做展示 ,
四、数据工具:有数产品的一些思考,
从数据应用和数据分析的角度,过渡到我们有数产品的一些思考。我们期望的效果是产品怎么样可以来帮助用户做分析!这是我们产品的价值所在 ,我们一直坚持的一些原则是帮助客户更好的做数据分析。
直播回顾|如何全面提升企业经营的远程决策和分析效率_随缘企登
但数据分析都有哪些呢?首先广义来说是人的分析,我们自己通过不同的维度组合探索来发现业务的价值。这是我们做的!第二是机器的分析,自动帮助用户找到一些洞察。或者发现一些业务的含义!然后推送数据给你,这部分我认为它是在数据分析的广义领域里面 。
抽象出来可以分成几块 ,第一业务的建模是什么样子的?建模的时候有哪些维度?哪些数据要提供哪些信息?这是一个关联的地方 。
第二需要为分析师或者业务人员提供一些探索式的分析 ,拿增长领域来说 。非常需要知道哪一个流程里面用户的转化率比较低 !哪一个渠道信息比较差?哪一个关键词不行?或者什么阶段不行,或者哪个内容不行。这些都需要进行探索式的分析!
最后一步抽象出来的数据必须做好可视化才行 ,可视化其实有两个含义。第1是在探索阶段通过数据发现拐点 !或者在数据里面发现异常,通过可视化来做好数据的准备或分析。第2是你要把数据最终呈现给业务方!获得他们的认可 ,这是很重要的。数据分析模型虽然看起来比较多!但是底层需要的就这几块 ,数据建模、数据分析时的探索。数据结构的呈现 !这三块就是我们针对数据分析领域来做的一些事情,是我们希望能帮助你做的一些工作。
这部分我们更多是从产品视角来看,我们一直坚持的几个点:第一是用户体验 。希望能把产品扩展降得更低 !让所有人可以更好的使用 ,
第二我们希望在分析领域或者是探索式分析时发挥优势 ,能在探索式分析部分提供更多功能。获得更好的效果 !比如我们提供的跨表或者表计算 ,以及各种各样的高级函数。都花了很大精力 !
第三是在性能上,我们期望用户只要关注业务就可以了 。只要关注分析模型和业务模型!性能这部分我们帮你解决掉 ,
第四是足够灵活 ,能够开放给所有人。这是我们对产品和数据分析领域的一些思考!我们希望把这种数据能力向普通用户开放,而不是仅仅针对专业人士来做的 。期望数据让每个人都可以使用到!而这些专业人士或者资深用户可以进行高级的分析 ,进行探索式的发现。下图是我们产品的结构!以及为了支持产品所做的一些设计和功能,
最下面是中台系统和其他的数据系统 ,中间是有数产品的工作。上面是应用系统 !从产品结构上来说,我们倾向于往下与数据系统做整合。往上和应用系统打通 !产品本身在探索式分析方面包含算法、建模以及可视化,最后的结果呈现上有报表、大屏、协作 。这是我们产品结构的思考 !
这块其实内容比较多,但简化出来就这块。第1块是我们产品目前的一些形态 !包括报表、大屏,底下是一些技术。一些统计的算法 !或者我们支持的一些建模,以及我们支持的一些可视化能力 。上面的部分拿协作举例我们会把数据提供给前端应用系统 !底下借助数据平台的功能或者工具来做 ,通过这种设计 。可以实现我刚刚说的效果 !通过我们产品的设计,能更好的使用我们的一些数据能力 。同时给应用系统提供更多的帮助和支持 !
五、展望未来:智能化分析的未来演进,
前面更多是从方法论的角度来看这个事情,分析应该怎么做 。针对分析的场景 !我们的产品是怎么思考的?怎么样通过产品来辅助分析?怎么样帮助用户更好的分析,下面是我们产品的迭代过程。或者是我们对未来的一些想法和思考!大概来说可以分成三个阶段,这三个阶段并不是完全清晰的划分或有完美的界限。而是交叉进行!中间会有一些关键的节点 ,但是每一个阶段的主题是比较清晰的。
第1个阶段的主题 ,是一个企业级的数据分析平台。产品的性能、易用性 !对外集成的基本能力都有了,可以做成图表、动画或者其他的分析。我们的部署版本 !我们的使用产品功能的完善性、稳定性以及易用性,这些都OK了 。在这个基础之上 !大家都可以做一些分析,在这个阶段一些比较重要的客户。用有数产品做了一个大屏!做了一个报告 ,用很短的时间就可以做出一个比较优雅美观的报告 。比如每一期可视化大赛的情况和对比关系 !这时用户通过有数平台,可以实现非常灵活的数据分析 。得到想要的效果!
我们在第1个阶段实现了每个有一定数据经验的人都可以做出优雅美观的报告,得到数据分析的结论提供给企业用户。并且稳定可用 !这个阶段每个人都是数据分析师 ,对业务来说可以通过你提供的数据分析报告。慢慢培养起数据意识 !
第2个阶段偏向数据中台的应用,我们的主题是要跟其他的系统或者其他中台应用保持开放 。或者我们自己本身的一些开放!我们期望的结果是能在数据的基础上让人与人之间进行协作,同时为了更好的使用数据。
我们是一个移动的应用 ,这时也有相关的一些应用或者相关的产品feature。这时我们会倾向于把这个能力跟数据中台的解决方案做好 !比如我们的设计、数仓、数仓的质量 ,以及它的指标系统。在这个阶段我们更倾向于移动端!会把高级预警、评论或者共享的功能做上去,这个阶段会开放图表控件、图表组件给其他方。也可以开放其它的组件!这个阶段我们倾向于我们的部署,我们的产品社区 。都全面对外开放!
这一阶段我们会强调移动应用 ,大家能看到数据。能每时每刻找到所需要的数据!而不仅仅是一个简单的报表、一个报告,比如说我们做的优雅的报告是什么样子?比如说我们开放图表组件。我们也可以开放一叉子组件!这个阶段我们产品上的开放协作或者移动应用是我们的重点 ,同时其他的系统也在同步进行 。
第2阶段达到的效果是我们期望能够做一些集成,往下跟底层打通。往上我们的组件会接受比如说echarts!我们的图表对外开放 ,我们的模型甚至也会对外开放 。这时我们的产品能力并不仅限于一个闭环的产品 !在整个大数据的生态或者数据中台生态里面会找到我们的位置 ,
第3个阶段我们就会在原来的基础之上进一步开放,更多增加算法的能力 。我们会把这些算法应用到一个具体的场景里面!比如我们会把算法应用到预警的场景里面 ,应用在分析的场景里面 。应用在下端的场景里面 !应用在数据解读的场景里面,我们会把我们的算法和统计应用到人工智能或者自然语言这块。
这个阶段目前我们也有一些初步的探索和成果 ,比如我们的智能问答。在传统的数据分析中 !你做报告传给别人,可能有些人很希望自己能更好理解或者更容易知道一些想法。能够获取数据!在这块我们就可以针对一个报告 ,针对一个数据进行相关问题的提供。做好这个之后 !我们会帮你做好可视化报表 ,这时数据的门槛会进一步降低 。当然这块目前是在探索过程中 !
从人主动获取数据变为数据主动找人 ,更加自动化的方式让我们获取数据。而不是通过现在这种被动方式来获取数据!以此大大提高获取数据的效率 ,再比如自然语义以前需要拖拉拽的方式来获取。现在可能只需要输一个文字 !或者输入我需要解决的一个问题 ,产品就会自动帮你做出相关分析 。省去了做报告的环节 !主要的思路大概是这样,这就是我们产品发展的几个阶段 。
以上就是我今天的分享 ,谢谢大家