数据智能的本质和技术体系要求-创新互联
整个行业市场就是巨头引导的IaaS/PaaS/DaaS/TaaS/AaaS/MaaS各服务层加上各中小企业在应用层不断向其他行业渗透的过程。市场在不断的被瓜分和细化。大数据/云计算/人工智能互相交织，趋于一体。一根针捅破天的机会越来越少，AI产品落地、垂直领域的创新、AI组织变革，将是接下来的热点。
AI（数据智能）技术的普及
技术的发展有自己的规律，在不同阶段表现出不同的状态，发展的关键问题也不同。
技术的兴起阶段，技术本身的进步是发展的关键。此时往往是科研机构、高校或大型企业内部研究院开始进行前沿技术的研究。比如中国科学院大数据实验室、阿里人工智能实验室、上海大数据联盟等。
当技术发生了重大的突破，如AI的关键性技术突破，加上大数据和云计算技术提供了充足的数据和计算能力，使得AI迅速获得人们的关注。15年Alpha Go惊艳地表现像一个火种，整个行业市场开始有了燎原之势，风投、科技媒体开始逐渐关注。
随着而来的是大量的技术社区、技术布道者（技术培训等）和AI创业公司。好像当时的淘金热，创业公司是淘金者，技术布道者是渡船人。这一阶段，AI技术人员最为抢手。这时AI领域的垂直培训公司，如七月在线也风生水起，数据科学竞赛的平台kaggle、阿里天池大数据、datacastle也吸引力众多的技术人才。
当技术普及到达一定程度，技术能否真正的落地，去解决实际的问题则成为关键。这时候我们需要一批有着敏锐的市场需求并可以将技术落地的AI产品经理，技术开始渗透到各行各业，垂直细分领域的应用开始快速发展。各个领域应用的如电商销售、广告推荐系统、智能医疗等产生了大量的初创AI公司，而其背后，投资人关键的重点开始从技术本身变为能否解决实际的行业痛点。
然后，当技术发展趋于成熟，技术会导致生产生活关系、团队组织的变化。此时，一个团队能够适应性的改进自身，成为关键。比如回过头去看互联网发展的过程，从关注技术本身，到互联网应用，到企业互联网转型。AI技术也一样，技术本身会给团队的管理带来新的挑战。
当前AI（数据&智能）技术正处于技术普及的中后期，重点是技术的应用。在团队组织方面，我们试图寻找到一种新的合适的形式，来应对变化。
AI 组织变革
此处我们给出了一种组织架构，来应对这种变化。
数据采集团队：
内部数据对企业来说更为关键，是实现数据驱动的基础。外部数据一种是对互联网和线下数据的采集，一种是通过数据交易市场来获取。内部数据的获取依赖企业内部的信息化，数据交易市场目前在国内已经趋于成熟，如数据堂、聚合数据、发源地等。企业可以根据自己需求决定团队的规模，团队技能包括网络爬虫、协议解析、数据清洗、数据对接等。
数据治理团队：
数据治理包括数据质量控制、元数据管理等。数据治理保证了数据可用、可控、可信。数据治理从本质上来讲是服务的角色，让数据加工过程透明化，让各个环节的数据使用者能够清楚的知道数据从何而来，经过了怎样的处理过程。比如一个人的消费明细是原始数据，处理够得到消费天统计表、月统计表，消费者行为爱好分析表。数据治理要做的就是掌握他们之间的来龙去脉，并展现给其他团队使用。
服务团队：
云计算的核心思想是“一切皆服务”，解放生产力，让企业可以专注在其最核心的领域内。AI赋能是核心部分。
DaaS 数据即服务: 以数据的采集与提供，为主要业务内容。相关技术包括ETL、流式数据处理、实时计算、异构数据解析、数据治理等。
TaaS 工具即服务: 将数据处理工具以服务的形式提供。相关服务包括清洗服务、转换服务、解析服务等。
AaaS 分析即服务: 以数据报告、可视化报表的形式提供服务。相关技术包括统计学、可视化技术等。
MaaS 挖掘即服务: 提供数据挖掘的核心能力服务。相关技术包括机器学习、深度学习、认知计算、模式识别等。
DAAS层的公司专注数据的交换，比如上文提到数据交易平台。一种是直接交换数据（数据堂），一种是以API的形式提供（聚合数据）。
TaaS专注于工具的服务，比如百度的预处理服务，将预处理的清洗、规约等过程封装成服务。该类服务类似给淘金者提供锤子、钉子等公司，让淘金者可以更方便的去挖金。
AaaS则专注于分析统计。比如阿里云数加提供的快速BI服务。传统情况下搭建一个销售数据分析系统，可能要一个月。而使用AaaS，只要一天。用户只要上传数据，数据处理逻辑基本是图像化操作，拖放控件，大大提高了效率。
MaaS指的是数据挖掘的核心能力，如阿里云提供的机器学习api、深度学习模型等，在这种情况下，如果要开发一个图片识别系统，只要了解其提供的接口即可，无需关心内部实现，存储和计算能力可以按需购买。这降低了技术门槛，使得AI更快的应用到其他行业。
应用团队：
从对数据的加工层次，包括检索查询、统计分析、业务模型、数据展现，需要深度结合领域知识。这里是更多中小创业者的机会所在。对初创企业来讲，数据的获取、数据的加工都可以使用云服务。而应用层，没有任何一家企业可以通吃。应用层是创新最频繁的地方，当然，也是竞争和死亡率高的地方。
接下来，我们反观数据源、数据加工、数据治理、数据应用几个层面，来看下它们之间的发展逻辑。
数据智能的发展逻辑
数据源的三个层次：
1、纬度较少、数据量小
2、纬度丰富、数据量巨大（大数据）。
3、数据正确、及时、具有代表性 样本数据=总体数据（全数据）。
对业务目标而言，数据是否“全”才是关键。
全数据：足以能够全面反映事物形态的数据集合。
全数据下，样本数据=总体数据，数据足够正确、足够新、足够代表性。
当期，虽然大数据量很大、纬度很多、处理速度极快、能够全量处理，但是大数据并没有解决“全”的问题。
例如，“小而全的数据”：对于一个餐饮店的菜品销售分析。其店内产生的数据（客户订单、菜品评价），数据量每天的新增量仅在每天2千条左右，而且只有订单和评价数据，存储数据库也是传统关系式数据库。对“店内菜品分析而言”
拥有这些数据已经够“全”，解决其业务问题。而更“大”的其他数据，对其没有贡献。
再如，“大而不全的数据”：对于信贷问题，要发现不可信人员。往往的思路是，试图通过对用户的线上行为、消费情况、以往银行记录进行识别判断。而现实情况却是，该类人群会刻意的回避“线上行为”，如盗用他人银行卡、民间高利贷等“线下行为”，这些隐蔽行为无法获取到。
数据处理技术的三个层次：
1、检索、查询
2、统计、分类技术、异常数据分析、关联性分析
3、趋势预测
数据管理的三个层次：
1、保证数据可用
2、保证数据可控
3、保证数据可信
首要问题是有数据可用，这在数据匮乏的“小数据”时代最为重要。
“大数据”时代则要防止数据迅速膨胀带来的数据失控问题，避免成为一堆大而乱的数据垃圾。
“全数据”强调的是：不盲目追求“大”，而是从业务应用的角度，保证数据的正确、及时。
数据价值的三个层次：
1、展示事物发展过程
2、描述事物发展本质
3、预测事物发展趋势
对事物的发展过程加以数字化的展现，使用分类、关联等技术发现事物发展过程中的规律、模式。
对事物的发展趋势加以预测。
数据源层次越高、处理技术层次越高、数据管理层次越高，带来的数据价值越大。
最后
综上，整个行业市场就是巨头引导的IaaS/PaaS/DaaS/TaaS/AaaS/MaaS各服务层加上各中小企业在应用层不断向其他行业渗透的过程。市场在不断的被瓜分和细化。大数据/云计算/人工智能互相交织，趋于一体。
互联互通社区
互联互通社区专注于IT互联网交流与学习，关注公众号：互联互通社区，每日获取最新报告并附带专题内容辅助学习。方案打造与宣讲、架构设计与执行、技术攻坚与培训、数据中台等技术咨询与服务合作请+微信：hulianhutongshequ
本文题目：数据智能的本质和技术体系要求-创新互联
网站地址：http://mswzjz.cn/article/dsphji.html