文·blogchong
接这个系列的上一篇 《从0到1构建数据生态系列之四：与研发的爱恨情仇》 。
好像间隔的时间有点长了，中间插了好几篇其他主题的文章，我们再回归到这个系列。
从早期的数据迁移、数据上报体系的建立，再到数据多维分析BI体系的建立，再到后续的各种不同数据应用服务，诸如各种推荐服务、搜索服务、各种榜单数据的推送服务，整个数据生态已经逐渐丰满了。
随着内部数据业务的逐渐增多，我们对于这些业务服务的把控能力就越低，那么这个时候提升效率将是我们重点关注的问题。
在数据上报体系搭建的同时，我们同步开始进行各个业务团队的BI体系的搭建。
我们需要为运营、内容、电商、市场以及产品等各个业务团队提供天、月以及季度等维度的BI报表，以便各个业务团队进行数据化运营、决策。
单纯每天的BI报表多达数十个，每个报表内可能又包含N个维度的数据。
这些BI报表的基础数据来源为：上报体系提供的上报数据，业务方产生的业务数据，各种服务产生的服务数据。
先不说一些实时性的数据分析业务，单论上述的周期性的BI报表业务，我们来看一下整个业务体系的复杂程度：
单纯的BI分析业务就涉及到各种复杂的任务依赖关系，一旦前面的环出现问题，后续的其他环节容易受到影响，甚至需要花费巨大的代价去追踪哪些数据是错误的，哪些数据是不受影响的。
对于各个任务的管理也是巨大的问题，他们执行结果的跟踪，依赖网络关系的管理等等。
所以，一方面提升整个业务体系的健壮性，另一方面提升业务体系的效率，有必要引入调度系统进行整个业务体系的调度。
简单服务内部级别的时间调度Timer，再高级点的ScheduledExecutorService，JCronTab等，当然也有系统级别的略微重度的Quartz。
但他们都是基于时间维度的调度框架，对于我们的需求来说，依然太过于轻量级，无法满足需求。
我们需要的是一个系统级别，能够进行任务进行调度，对任务依赖关系进行管理，对任务执行进行追踪等，具备这些复杂功能的调度系统。
我们曾一度调研过早期阿里开源出来的Zeus，并且在之前的工作经历中也曾一度使用过它。
首先宙斯出自于淘宝，品质相对有保障，应用于hadoop作业调度而生，对整个生态契合度高，支持MR、Shell、Hive等各种界面化调度，并且各种配置可视化，使用成本相对较低。
更多的优点就不多说了，感兴趣的可以查找一些资料了解，它还曾一度获得过热门开源项目的头衔。
但结合实际，我们最终还是舍弃了它，一方面我们整个集群使用的是CDH体系，想要嵌入宙斯需要改动的东西很多，二次开发的成本略大，并且实际部署略微复杂，BUG还不少，就目前这个状态，我们并没有太多的时间去折腾。
并且， 整个项目好像维护的并不是很好 ，这意味着一旦上线了，风险还是蛮大的。
CDH对他天然支持，能够与我们目前的集群体系无缝对接，省却了所有的部署成本，暂时阶段只需要把精力放到学习使用上即可。
通过oozie的工作流机制，加上hue的可视化配置，基本可以满足我们上述的那些问题。
使用oozie+hue的方案，进行各种服务的管理，hive依赖任务的调度，错误的报警，错误日志的追踪等，一站式解决问题。
不过，我们在使用的过程，依然遇到了一些坑，以及解决了一些坑。
例如中文编码的问题，又例如如何处理日渐壮大的依赖树，一旦底层依赖出现故障会造成大片上层依赖任务的中断等等。
我们把部分的依赖判断回归到程序中，而不是统统交给oozie的依赖树来管理，避免部分底层依赖错误造成大面积上层任务中断，这样可以做到部分任务可以继续执行，进行依赖分拆，减少大范围任务重跑的风险。
这里其实有个故事。
曾有一天，业务人员反馈BI分析报表数据好像有问题，整个数据对不上。
数据测马上启动了对问题的排查，通过一顿的各种数据查询，汇总计算，才发现早在三四天前数据就开始异常了，再进行跟踪，发现那天刚好更新了新版本。
再跟踪问题，发现客户端很多模块进行重构，而之前的相关埋点点位受到了影响，客户端方面没有进行知会， 在测试时又没有进行这部分抽查回归测试。
于是，随着版本的更新覆盖，丢失了很多基础数据。
这是一个惨痛的教训，随后，我们一方面制定埋点测试的方案、进行埋点完整性质保方面的梳理，另一方面数据测启动了对数据上报体系的监控。
于是就有了如图，我们对每天，一些重要维度的上报进行了数据统计可视化，检测点位的数据量波动，每天可以随时查看上报情况，此外，根据实际情况建立异常报警模型，一旦发生上报异常进行主动邮件预警，及时跟进。
趋势图是使用echarts画的，页面是spring boot+jsp框架，数据部门从此又多了前端技能，哈哈。
整个检测体系很简单，很粗暴，但是确实有效，对于内部使用，实时掌握上报动态，足够了。
此外，我们还简单的通过守护脚本进程，替代了ganglia+nagios的系统性方案，对各个节点的服务进行监控，进行图表可视化监控，主动预警等。
在上一篇中，我们描述过数据上报完整性测试的痛处。
我们需要花费巨大的人力去保证整个上报体系的健壮，因为对于H5页面还好，但对于客户端埋点，客户端一旦发布，出现故障只能通过发布紧急修复版本进行解决，但一样会耽误很多时间，因为整个发布周期至少都是好几天的。
出现如上故事之后，我们着手进行埋点完整性测试机制的搭建。
我们通过测试账号注册的机制，来分离正常账号的流量以及测试账号的流量，通过时间将点位轨迹进行串联，再打通整个实时流程，并且进行点位访问轨迹界面化展示。
基本实现一边点击点位，一边看到上报轨迹，完全同步，一改往日通过日志拦截的方式进行点位测试，根据埋点的编码表，普通的测试人员都可以介入。
数据上报测试机制的完善，大大降低了埋点故障率，确保了上层BI分析业务的健壮性。
即使我们每天为业务部门提供了数十个BI分析的报表，但依然避免不了，我们的BI童鞋每天为各种BI需求奔走。
诸如，电商活动的各种数据调研，产品端各种调研性的数据提取，运营方不同运营位不同运营活动的跟踪等等，这些都是很难做到常规化BI的数据分析提取需求。
但是很多又确确实实是重复性工作，只是因为变量太多，无法做到自动化。
于是，我们开始着手尝试，是否能将部分查询分析的工作转移到业务人员身上，让他们自己去获取自己需要的数据，降低数据团队的压力呢？
我们开始逐渐完善以HUE为核心的自助查询系统，健全自助数据分析体系。
我们对一些Hive的表权限进行隔离，对不同的业务方定制查询模板，模板上注明详细的使用方式，让不懂SQL的业务人员也能根据模板进行一些数据的查询提取等。
例如，运营人员根据查询模板就可以很愉快的改改URL变量，改改时间变量等，拿到他们所需要的对应运营位的各种活动数据，对于我们数据的依赖程度大大降低。
不过，讲真。HUE的整个体系对于那些一点SQL基础的业务人员还是有些使用成本，所以在时机成熟的情况下，还是有必要封装一套高度界面化的自助查询分析系统。
此外，就是我们需要对权限进行严格的隔离，对使用频度进行限制，不然大批量错误的查询会让我们的机器资源过度浪费。
不管怎么样，开放自助查询定然是一个需要去做的事情，将数据童鞋的人力进一步释放出来，放到更有意义的方向上去。
在数据时代，效率至上，所谓效率，不单纯是整体业务的效率，同样也是对应于内部效率的提升。
不需要说足够完整，在有限的资源下，能够有限解决当前的问题，能够提升一定程度的效率，就是可执行的方案。
从0到1构建数据生态系列：
《从0到1构建数据生态系列之一：蛮荒时代》
《从0到1构建数据生态系列之二：拓荒》
《从0到1构建数据生态系列之三：解析架构图》
《从0到1构建数据生态系列之四：与研发的爱恨情仇》
《从0到1构建数据生态系列之五：让你的数据生态更高效》
《从0到1构建数据生态系列之六：数据价值体现》
关于《宙斯》这个游戏的攻略?
宙斯二代在国内还没有生产基地，但是在日本生产出来的。
宙斯二代的原理，它是用脉冲技术加上电流，而脉冲技术是利用光穿透皮肤表层，进入真皮层破坏疤痕组织和色素颗粒，等它分解后，会通过新陈代谢排出体外。其实这个原理说起来会很好听，至于有多少效果，还是要看个人的体质了，使用效果都是因人而异的，不过在各大电商下的宙斯二代的评论还是多数评论说有效的。如果真想入手的话，要长期的坚持使用，如果买回来就放着吃灰的话，那建议还是不要买了，毕竟护肤都是坚持才有效果，如果用几次就闲置下来，就不会有效果了。不要说是用这种仪器，连医美也是这样，要长期坚持才会有效果。
游戏手柄买北通宙斯机械手柄靠谱吗？
"宙斯"(Zeus)是Impressions Games的策略游戏新作。本游戏的基础架构延续了"凯撒3"、"法老"等游戏的精髓；因此，本文仅针对基础的运作模式，提供玩家一个迅速上手的指南。以下就将之分为人口篇、建设篇、经济篇、杂项篇等四部分，详细的带领玩家们，进入古希腊传说的世界。
人口篇
掌握人力资源是致胜关键
人力可以说是本游戏中最重要的“资源”。举凡农事、工业、文化等工作，无不需要足够的人口来支撑。对玩家要“一统天下”而言，最重要的税收、军事两大活动，更是人口愈多助益愈大。
要保持人口成长有许多重要的条件，从满足食物、饮水等基本需求，到更高的娱乐文化等心理需求。然而，在这其中最基本的要求，就是充足的房屋(或房间)供给。
“普通住宅”与“精英住宅”的运用
在"宙斯"中， 玩家所能兴建的住宅只有两种，一种为“普通住宅”(Common Housing)，另一种则是“精英住宅”(Elite Housing)。这两种住宅都有一定的“升级模式”，也就是说，玩家必须要符合一定的条件，才能让住宅自动升级。然而，如果住宅升级后，住民的“生活品质”大幅降低了，住宅等级就会自动倒退到原有的水准。
这两种住宅最大的差别，在于他们提供两种截然不同的人力。顾名思义，普通住宅提供的是一种普通的人力，也是从使各式建筑物顺利运转，不可或缺的。此外，在皇宫(Palace)兴建完成后，如果有必要，玩家也可以召集他们来组成"杂牌军" (Rabble)。
相较之下，精英住宅所提供的居住空间非常少；而且其中居住的人员主要是重装步兵(Hoplites) 与骑兵(Horsemen)等正规的军队。因此，如果玩家想要维持强大的战力，除了食物、羊毛(Fleece)与橄榄油(Olive Oil)三种基本物资外，还得供给酒(Wine)、盔甲(Armor)与马匹(Horses)三种物品给精英住宅。 建设篇
利用基本人力改善生活品质
不论是普通住宅或精英住宅，其基本型都可以在玩家不供给任何物资的情况下，运作相当长的一段时间；不过如果生活的品质一直未有改善，建筑物就不可能升级。因此，玩家应该利用这些基本的人力来逐步改进住民的生活品质。
对于普通住宅而言，最重要也是最基本的需求是食物与水。所以当玩家在规划通用住宅区时，必需考虑好挑水夫与小贩行走的路线。由于挑水夫与小贩(Peddler)似乎不会记忆哪些地方他们曾经走过，而且他们在叉路时的转向似乎是随机决定的，所以玩家最好避免在住宅区中制造十字路口，以免某些住宅一直得不到水及食物的补给。
接下来，只要提供文化、羊毛与橄榄油，就可以让人口源源不绝地迁入普通住宅区。不过如果要让普通住宅升级到最高级，那么让住民觉得某种程度的“愉悦”(Appeal)是必须的。因此，在规划住宅区的时候，最好能够留下某些空间，不要全部盖满建筑物，这样日后才有空间可以进行美化的工程，来提升住民的愉悦度。
尽早规划“精英住宅”
和建设普通住宅比起来，精英住宅的发展过程就麻烦多了。打从一开始，精英住宅就只能盖在“非常愉悦”的地区。因此，玩家在准备盖精英住宅前，就得先对周遭的环境进行美化工程。接下来的过程和普通住宅类似，仍然要供给文化、羊毛与橄榄油，只是不用再供给水了。如果要让精英住宅升级到最高级，必须要供给酒、马匹与盔甲；此外，还要让住民可以容易前往竞技场(Stadium)。因此，在兴建竞技场时，最好选择在离精英住宅区近的地方。
精英住宅区的住民迁入的速相当慢，但是他们所能收到的税金却是相当地多；有时甚至高达普通住宅的五倍到十倍！为了维持稳定的收入与军事力量，玩家最好能够尽早规划精英住宅区的建设。
美化环境增加居民
要提升居民迁入的比例，美化设施是不可或缺的。在美化环境的各种设施中，“纪念碑”（Commemorative Monuments）是效果最好的，而公园则是最富有弹性的。此外，如果能够将道路美化成Boulevard或是Avenue，都会对提升道路两旁的愉悦度大有助益。要兴建Boulevard必须先铺好三线道，兴建Avenue则是铺双线道；然后再选择要铺设的种类，用滑鼠托曳的方式铺路。然而，只要在可以铺设的地方点选一次铺设的动作，就会被扣掉一笔钱，这点玩家要特别注意。此外还有一个奇怪的情形，就是如果玩家在某些路段铺了双线以上的宽度，但是却没有加以美化，那么小贩等负责配送的人员，就很有可能会生“迷路”的情形喔！
善用建筑物的特性
游戏中所有的建筑物都有其特性与用途，但不可避免的，所有的建筑物都需要靠“维修中心”(Maintenance Office)来维护。为了节省资源与确保城市日后良好的发展，建议玩家最好能将建筑物依照种类用路障(Roadblock)分区；例如将各种工场集中成工业区，将农业生产地集中成农业区，并在这些地区放置维修中心，以防止建筑物着火或倒塌。
住宅区的兴建比起工业区或农业区要来得复杂多了。因为所有的住宅都需要食物、文化、医疗等资源，而且精英住宅与普通住宅的需求又大不相同，所以玩家最好将它们分建在不同的地区。为提供住宅区所需的资源，玩家可能需要额外兴建五、六种以上的建筑物，所以在规划前，务必先留下这些建筑物所需的空间。其中有某些建筑物是配套的，例如戏曲学校(Drama)与剧场(Theater)、体育馆(Gymnasium)与竞技场、学院(College)与演讲台(Podium)。玩家可以将提供训练的戏曲学校、竞技场与学院，盖在住宅区以外的地方，再将剧场、体育馆与演讲台盖在住宅区以内即可。
经济篇
有效控制农产品的生产
农业、与工业，可以说是本游戏在内政上的两大重头戏。
农业包含了粮食与农产品的生产。粮食是影响人口稳定的最重要因素，所以玩家绝对不可以掉以轻心。在可以提供食物的几种来源中，农作物类(麦、洋葱等)每次可以提供的量较大，但是受限于每年一次的采收季节，所以有一定的风险性。相较之下，鱼类与乳酪每次的产量较小，但是却可以不断地供给食物。由于大多数的农作物与羊群，都需要紫色的草地作为生产的地点，所以玩家必须善加分配这些数量有限的沃土。
由于普通住宅的基本形，可以在没有粮食供给的情况下，仍然维持一定数量的居民；所以玩家不妨先大量建设普通住宅，以吸引大量的人口移入，并利用第一批移入的人力来发展农业。由于游戏中的物资是经由层层配销(Distribution)后，才送达居民的手上；所以玩家千万别忽略兴建配销地点的重要性。
举例来说，粮食在采收后，通常都必须先送到谷仓(Granary) 或仓库(Storehouse) 储存，等待市集(Agora)当中的食物摊贩(Food Vendor)来取走。当她们把货取回到摊位后，接下来小贩便会沿着道路提供货品。为了让所以的房屋都能得到补给，玩家可以善用路障来分隔地区，并在每个地区兴建市集与其他必要的建筑物。
为了让市集能够适时取得所需的物品，所以不妨把仓库与谷仓兴建在住宅外围的地区。当然，如果能将它们盖在住宅区邻近的工业区，那就更理想了。
随时注意人力资源的控制
为了加速工人采集矿产的速度，玩家应该将采矿设施尽可能盖在矿区附近。但是为了提升资源运送与使用的速度，加工的工场最好设在离住宅区不会太远的地方，并将它们集中成工业区。
人力的控制在本游戏中可以说是一项挑战。如果工人不足，很多建筑物与工作势必停摆；但是如果太多人民没工作，导致失业情况严重，那么又会产生治安问题。因此，在发展的初期，千万不要犯了扩张过快的错误；而在人口大量涌入时，则应大量兴建各种工场加原料，让多数的人都能有工作。如果生产出来的东西过多，使得仓库爆满时，则可以考虑将这些东西送人。
杂项篇
召唤英雄与神明
"宙斯"的一大特色就是混合了英雄与神明两种古希腊的传说。神明与英雄，除了召唤的条件不同，所具有的功能也不同。举例来说，英雄只有当某些特定的事件发生或怪物出现后，才能兴建建筑物召唤他们。虽然兴建这些建筑物的条件很低，但是但是要召唤出他们的条件却都很高。而一但任务完成后，这些英雄也失去了他们的用处。
要召唤神明相较之下就容易多了。只要他们有空，几乎可以随叫随到，而且还会常常自动出现在城市中，免费提供他们的服务。不过要召唤神明，前提是玩家必须先盖好属于该神明的神殿。而神殿的建设通常都是所费不赀，而且耗费大量的人力与时间的。
善用贸易与外交力量
至于贸易与外交，虽然不若内政来的重要，但是如果善加利用，对玩家也是大有帮助的。由于玩家的城市几乎不可能可以生产所有的东西，所以向其他城市购买原料或是成本，是必然的事情；此外，将我方过度生产的物品出口，不但可以减轻库存的压力，也可以获得一定的收入。由于贸易点须要不少的人力，所以在兴建前最好先看一下世界地图，找看看哪些城市是最有进行贸易机会的。
在外交方面，我方的盟国通常都是友好而且大方的，在某些需要特定资源的关卡，还得仰赖他们赠送的资源才能过关。因此，和盟国维持良好关系是绝对必要的。如果玩家有什么生产过剩，却又卖不掉的东西，就尽量送给盟国吧。至于敌国，维持良好关系只能暂时避免被攻打的危机，却不太可能从他们身上得到什么好处，所以如果玩家的国力够强盛，倒是可以不理会他们的要求。
华硕宙斯主板厉害么,为什么差评一堆
游戏 手柄国产的渣渣推荐的就是北通，（国外推荐：Xboxone）渣渣说下北通 游戏 手柄的优点和品牌：
北通宙斯 游戏 手柄
1、首先说品牌
北通专注 游戏 外设23年，从1997年的多彩 游戏 手柄到2020年的宙斯手柄，是经过几十年的升级、改造，是个实打实的专注 游戏 外设的电子 科技 公司,而且北通是电商 游戏 手柄类销量NO.1。我们国产的东西现在很多都是世界前茅了，不要扬眉崇外了，支持国产。
2、操作性能
玩 游戏 经常有主播说什么5指、6指，我告诉你这个宙斯可以用十指，所以按键都是设置主键喜欢和习惯的按键，可以连接手机、平板、电脑等，无线蓝牙连接，无延迟，操作手感不错。（具体看图2说明）
3、价格
价格也是大家关心的（不是每个人都是富二代），北通 游戏 手柄从几十元的 游戏 手柄到几百元的无线蓝牙手柄都有，选择适合价格的手柄，适合自己就是最好的。（不说了再说你们以为渣渣是在打广告）
因为每个人玩的 游戏 不同，针对不同的 游戏 可能不同的手柄的功能有各不相同，我只用过epega的手柄，个人感觉还是可以。
北通、小鸡、handjoy手柄都不错。 买个玩霸手游电脑 Easy N 全民版。淘宝有卖的，大屏幕就能玩安卓 游戏 ，键盘操作非常爽。
主要玩手机 游戏 的话，买个小鸡G3不错，一款专业的手机 游戏 手柄，无线蓝牙无延迟连接，自带驱动，玩手机 游戏 即连即玩。兼容性也不错，能支持四大品台操作，手柄是人体工学设计，带有人体手感。
还行的，北通宙斯这个手柄是个精英级的手柄，但是价格就精英手柄一半不到。该有的功能都有，最猛的是他还支持体感，按键也能设置连发，甚至还有宏。
北通宙斯的抄主要优点是那反应速度和手感很不错的机械按键，还有4个背键。按键还支持自定义修改，有连发有宏这几点。缺点我觉得就是因为按键是机械的，声袭音会比导电胶大，要是在宿舍这种地方会吵到别人。
然后功能因为比较多，第一次用要zd摸索的时间会稍微长一点，能调的东西实在是太多了。
还行的，北通宙斯这个手柄是个精英级的手柄，但是价格就精英手柄一半不到。该有的功能都有，最猛的是他还支持体感，按键也能设置连发，甚至还有宏。
北通宙斯手柄还是比较靠谱的，北通作为手柄生产厂商，也有很多年的 历史 ，质量上一直都保持不错的水准。
北通宙斯外观采用了常见的 游戏 手柄设计，摇杆和方向键可以根据自己爱好选择，ABXY四按键还有下方略有下凹的方向与摇杆组成了手柄的正面布局。总体说来中间操作按键区采用了亮面设计，手柄握把处采用黑色磨砂营造出一种 科技 感，当然可换面壳以及模块化可拆卸设计一直是北通的强项，个性DIY可以打造自己的专属手柄。
北通为了方便 游戏 管理制作了左游 游戏 厅APP，在PC使用时可以通过 游戏 厅的工具箱对北通宙斯手柄进行固件升级、配置管理等操作。
北通宙斯，给国行switch配上第3个手柄
配置管理主要对北通宙斯的各个键位分门别类的进行设置、宏定义等等，将设定好的配置分别定义给红黄紫兰4组配置文件，通过数据线将设置写入手柄中，方便不同 游戏 的操作。
优点：北通宙斯 游戏 手柄选用机械微动开关，触发行程短，反应灵敏，让激战 游戏 轻松取得制胜。嵌套式结构设计键帽，随 游戏 更换正确位置，减少误操作的发生。3组不同高度摇杆组件，可根据 游戏 需求，任意更换。5档震动、DIY灯光、宏设定、耳麦插孔等设计也让体验环节得到充分的享受。
缺点：虽然北通宙斯配有1000mAh锂电池，但标配为有线手柄的设计让电池的出现略显鸡肋；数据线采用标准USB接口与Type-C接口的组合在PC上可以很好的得到 游戏 体验，在NS方面则需要转接头才可以使用，确实有些麻烦，如果以后数据线采用C to C标准可能体验会更好。
还可以呢
1、首先，不同品牌所生产的，不同系列的产品都有其不同的特点和优点，产品的设计、参数规格、售后保修服务等等很多方面都有比较明显的区别；
2、建议根据实际的使用需要，以及使用环境、实际预算，加上通过实体店或者网店的产品对比，选择适合个人的主板；
3、建议咨询当地实体经销商，或其他各大电商网站中对应板型的说明介绍及其具体售价，结合自身需求来综合判断和选择。至于哪一个产品更好，并没有统一的标准。
以上就是关于从0到1构建数据生态系列之五：让你的数据生态更高效全部的内容，如果了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！
