伴随着安防大数据时代的来临，安防行业原有的存储技术已经无法满足行业发展新需求，尤其是公共安全视频监控建设联网应用工作对数据联网共享提出了更高的要求，同时以“实战”为根本的公安业务中，大数据深度挖掘极度依赖数据存储系统对非结构化数据分析再处理。云存储技术的出现，在安防行业大数据发展时代无异于革命性的应用，不断地解决了安防存储难题，同时也为视频监控的深度应用与发展提供强大的驱动力。
当今世界，每个人的一言一行都在产生着数据，并且被记录着。各行各业爆炸式增长的数据，正推动人类进入大数据时代。根据相关统计，2017年全球的数据总量为21.6ZB，目前全球数据的增长速度在每年40%左右，预计到2020年全球的数据总量将达到40ZB。数据增长在安防行业表现得尤为明显，在近两年“平安城市”、“ 智能交通”、“ 雪亮工程”等不断开展和深入的过程中，以视频监控为核心代表的行业发展正朝着超高清、智能化和融合应用的方向迈进，系统性工程中现有视频监控系统数据采集量正在呈线性增长。海量数据的出现对高效、及时的存储和处理的要求不断提升。
从目前行业来看，大数据时代的到来，系统性工程中视频监控系统对存储主要有以下几方面的需求：
一是海量数据及时高效存储，根据现行的技防法规及标准，一般应用领域视频监控系统数据采集是7x24小时不间断的，系统采集的音视频信息资料留存时限不得少于30日，针对案(事)件信息以及一些特殊应用领域视音频资料存放时间更长，甚至长期保留，数据量随时间增加呈线性增长。
二是监控数据存储系统需要具备可扩展性，不但满足海量数据持续增加，还需要满足采集更高分辨率或更多采集点的数据需要。
三是对存储系统的性能要求高。与其他领域不同，视频监控主要是视频码流的存储，在多路并发存储的情况下，对带宽、数据能力、缓存等都有很高的要求，需要有专门针对视频性能的优化处理。
四是大数据应用需要数据存储的集中管理分析。但现实情况却恰恰相反，一方面是系统性工程在分期建设的过程中，采购的设备并不能保证为同一品牌，实际项目中多种品牌、多种型号比比皆是，给视频监控的存储集中管理带来很大难度。同时，在一些大型的项目中，例如特大城市“天网工程”，高速公路中道路监控所跨区域较大，集中存储较为困难。另外，受网络带宽及老旧设备影响，系统难以形成统一存储、统一监控的中心体系架构，导致数据在应用中调取不及时。
总体来看，随着系统性安防项目的深入开展以及物联网建设初露峥嵘，大规模联网监控的建设和高清监控的逐步普及，海量视频数据已经呈现井喷式地增长，并冲击着传统的存储系统，遗憾的是原有的存储系统无法满足大数据时代提出的新要求，亟需新的存储技术支撑现有业务模式，同时为人工智能技术在安防领域施展拳脚拓展新的空间。
大数据平台采购指标有哪些
NIST 1500-4 大数据通用框架草案 第四卷 安全与隐私.pdf
NIST 大数据定义（草案）.pdf
大数据安全标准化白皮书2017 .pdf
大数据安全标准化白皮书（2018版）.pdf
大数据标准化白皮书（2018）.pdf
大数据标准化白皮书（2020版）.pdf
1 基础
GB T 35295-2017 信息技术 大数据 术语.pdf
GB T 35589-2017 信息技术 大数据 技术参考模型》.pdf
GB T 38672-2020 信息技术 大数据 接口基本要求.txt
JRT 0236—2021《金融大数据 术语》.pdf.pdf
TGZBD 2-2020 大数据标准体系总体架构.pdf
2 数据
GBT 18142-2017 信息技术 数据元素值表示 格式记法 ISOIE C FDIS 149572009.txt
GBT 18391.1-2009 信息技术 元数据注册系统 (MDR) 第1部分： 框架 ISOIEC11179-1 2004， IDT.txt
GBT 18391.2-2009 信息技术 元数据注册系统 (MDR) 第2部分： 分类 ISOIEC11179-2 2005， IDT.txt
GBT 18391.3-2009 信息技术 元数据注册系统 (MDR) 第3部分： 注册系统 元模型与基本属性 ISOIEC11179-3 2003， IDT.txt
GBT 18391.4-2009 信息技术 元数据注册系统 (MDR) 第4部分： 数据定义 的形成 ISOIEC11179-4 2004， IDT.txt
GBT 18391.5-2009 信息技术 元数据注册系统 (MDR) 第5部分： 命名和标 识原则 ISOIEC11179-5 2005， IDT.txt
GBT 18391.6-2009 信息技术 元数据注册系统 (MDR) 第6部分： 注册 ISOIEC11179-6 2005， IDT.txt
GBT 23824.1-2009 信息技术 实现元数据注册 系统内容一致性的规程 第 1部分： 数据元 ISOIEC TR20943-1 2003， IDT.txt
GBT 23824.3-2009 信息技术 实现元数据注册 系统内容一致性的规程 第 3部分： 值域 ISOIEC TR20943-3 2004， IDT.txt
GBT 30881-2014 信息技术 元数据注册系统 (MDR)模块 ISOIEC 197732011.txt
GBT 32392.1-2015 信息技术 互操作性元模型 框架(MFI) 第1部分： 参考 模型.txt
GBT 32392.2-2015 信息技术 互操作性元模型 框架(MFI) 第2部分： 核心 模型.txt
GBT 32392.3-2015 信息技术 互操作性元模型 框架(MFI) 第3部分： 本体 注册元模型.txt
GBT 32392.4-2015 信息技术 互操作性元模型 框架(MFI) 第4部分： 模型 映射元模型.txt
GBT 32392.5-2018 信息技术 互操作性元模型 框架(MFI) 第5部分： 过程 模型注册元模型.txt
GBT 32392.7-2018 信息技术 互操作性元模型 框架 第7部分： 服务模型注.txt
GBT 32392.8-2018 信息技术 互操作性元模型 框架 第8部分： 角色与目标 模型注册元模型.txt
GBT 32392.9-2018 信息技术 互操作性元模型 框架 第9部分： 按需模型选 择.txt
GBZ 21025-2007 XML使用指南.txt
3 技术
YDT 3772-2020 大数据 时序数据库技术要求与测试方法.txt
YDT 3773-2020 大数据 分布式批处理平台技术要求与测试方法.txt
YDT 3774-2020 大数据 分布式分析型数据库技术要求与测试方法.txt
YDT 3775-2020 大数据 分布式事务数据库技术要求与测试方法.txt
大数据开放与互操作技术
信息技术 大数据 互操作 技术指南 拟研制.txt
大数据生存周期处理技术
GBT 32908-2016 非结构化数据访问接口规范.txt
GBT 36345-2018 信息技术 通用数据导入接 口规范.txt
信息技术 大数据 面向分 析的数据检索与存储技术 要求 在研.txt
大数据集描述
GBT 32909-2016 非结构化数据表示规范.txt
GBT 34945-2017 信息技术 数据溯源描述模型.txt
GBT 34952-2017 多媒体数据语义描述要求.txt
GBT 35294-2017 信息技术 科学数据引用.txt
GBT 38667-2020 信息技术 大数据 数据分 类指南.txt
GB T 38667-2020 信息技术 大数据 数据分类指南.pdf
4 平台、工具
GBT 38673-2020 信息技术 大数据 大数据 系统基本要求.txt
GBT 38675-2020 信息技术 大数据 计算系 统通用要求.txt
GB T 37721-2019 信息技术 大数据分析系统功能要求》.pdf
GB T 37722-2019 信息技术 大数据存储与处理系统功能要求.pdf
GB T 38633-2020 信息技术 大数据 系统运维和管理功能要求.pdf
GB T 38643-2020 信息技术 大数据 分析系统功能测试要求.pdf
GB T 38676-2020 信息技术大数据存储与处理系统功能测试要求.pdf
JRT 0206—2021 证券期货业大数据平台性能测试指引.pdf
YDT 3762-2020 大数据 数据挖掘平台技术要求与测试方法.txt
5 安全和隐私
GAT 1718-2020《信息安全技术 大数据平台安全管理产品安全技术要求》.txt
GBT 大数据系统软件安全防护指南》标准草案.pdf
GB T 35274-2017 信息安全技术 大数据服务安全能力要求 立项.pdf
GB T 37973-2019 信息安全技术 大数据安全管理指南.pdf
YDT 3736-2020 电信运营商大数据安全风险及需求.txt
YDT 3741-2020 互联网新技术新业务安全评估要求 大数据技术应用与服务.txt
YDT 3800-2020 电信网和互联网大数据平台安全防护要求.txt
信息安全技术 电信领域大数据安全防护实现指南.doc
d
大数据平台是什么？什么时候需要大数据平台？如何建立大数据平台？
大数据平台采购指标有功能项计算指标分布。现如今的大数据分析平台性能指标分是流量性能指标，本招标文件提出的是最低限度的要求，投标人的方案应达到或优于本招标文件要求，且符合国家有关标准和规范要求。
学习大数据有什么要求?
1、大数据平台目前业界也没有统一的定义，但一般情况下，使用了Hadoop、Spark、Storm、Flink等这些分布式的实时或者离线计算框架，建立计算集群，并在上面运行各种计算任务，这就是通常理解上的大数据平台。
2、至于一家企业什么时候需要大数据平台，这取决于这么几方面：
业务需求：业务需求引导是必须的，不能光为了建平台而建平台，建立平台的最终目的是为了服务业务，让业务发展的更好。企业内大数据平台一般是信息管理部门、IT部门承建并承接一些数据需求，业务部门其实不关心你是不是用大数据平台还是用Oracle数据库计算出来的，那么这怎么评估呢？其实主要还是数据量，比如业务部门是不是偶尔会提“去年全年的XX怎么样？”、“去年全年的销售按照渠道、产品类别几个维度进行细分”、“需要用户行为数据、订单数据结合来做用户画像”、“需要给用户打标签”、“设备传感器的数据都有了，需要做实时的故障预测”等等，在承接各种业务需求的时候，是不是偶尔会出现任务运行很久的情况？会不会出现有些需求根本难以实现，因为计算量太大的问题？这就说明，业务上已经有大数据的诉求了，技术上并没有满足。
说到业务需求，企业内的信息管理部门也要注意，自己不能光承担需求，更重要的是要深入业务，理解业务，本部门对技术了解，如果对业务也多了解一下，就能够利用技术优势做到“想业务部门所未想”，实现比业务部门能提出更好的需求，并且能用大数据技术实现这个需求，这时候，信息管理部门的价值就更突出了，在企业内就再也不是一个承接需求或者背锅的部门了。
数据量与计算量：涉及到数据量的评估，也包括2方面：
现有的情况：现在有多少数据？都存储在哪里？业务部门提的各种指标需求，每天需要多长时间计算完成？每天什么时候完成昨天经营情况的数据更新？
增长的情况：每天、每周、每个月的数据增量有多少？按照这个增速，现有的配置还能满足多长时间的需求？
以上2个方面需要综合评估，现有数据量较多或者增长较快，那就需要做大数据平台的打算了。
先进性：本企业在技术上的布局是否需要一定前瞻性？需要早在数据量不太大的时候就进行技术探索？亦或是未来会上马新项目，新项目会产生大量数据。
公有云与私有云的选择：如果企业对公有云比较接受，其实可以考虑直接数据上公有云，公有云在国内主要就是阿里云、腾讯云、百度云等，其中阿里云的技术最为成熟，此外还有亚马逊的AWS等，但这里说的是搭建自己的大数据平台，就不深入展开了。
3、如何搭建大数据平台
建设一个大数据平台不是一朝一夕能完成的，不是下载安装几个开源组件那么简单。
涉及到：
技术层面：如何进行系统架构设计？集群资源如何评估？需要哪些组件？Hadoop、Spark、Tez、Storm、Flink，这些组件有什么区别？它们之间如何有机的组合起来？
团队层面：现有的技术团队配比如何？有没有人力搭建并且运维这个平台？有没有能力运营好这个平台？
对于非常重视主营业务的传统企业，信息技术部门的团队规模一般比较有限，建设一个大数据平台的成本是很高的，这个成本不仅是经济成本，还包括人才投入的成本、时间消耗的成本等等，如何能快速满足企业的大数据平台需求。这时候就可以考虑直接采购商用的大数据平台。
商用的大数据平台，市场上也有很多可以选择，比如星环、华为，此外还有袋鼠云数栈。
数栈的目标是通过产品化的方式，帮助企业构建数据共享能力中心。数栈不仅仅是一个大数据平台，同时附加各类数据处理工具，包括：
开发套件：一站式大数据开发平台，帮助企业快速完全数据中台搭建
数据质量: 对过程数据和结果数据进行质量校验，帮助企业及时发现数据质量问题
数据地图: 可视化的数据资产中心，帮助企业全盘掌控数据资产情况和数据的来源去向
数据模型: 使企业数据标准化，模型化，帮助企业实现数据管理规范化
数据API: 快速生成数据API、统一管理API服务，帮助企业提高数据开放效率
主要特点有：
1.一站式。一站式数据开发产品体系，满足企业建设数据中台过程中的多样复杂需求。
2.兼容性强。支持对接多种计算引擎，兼容离线&实时任务开发。
3.开箱即用。基于Web的图形化操作界面，开箱即用，快速上手。
4.性价比高。满足中小企业数据中台建设需求，降低企业投入成本。
有了数栈，企业搭建数据平台就不再是什么问题，核心需求也就会从搭建数据平台转为满足更多的业务诉求，实现真正的企业数据共享能力中心
一是大数据平台本身，一般是基于某些Hadoop产品如CDH的产品部署后提供服务。部署的产品里面有很多的组件，如HIVE、Hbase、SPARK、ZOOKEEPER等。
二是ETL，即数据抽取过程，大数据平台中的原始数据一般是来源于公司内的其它业务系统，如银行里面的信贷、核心等，这些业务系统的数据每天会从业务系统抽取到大数据平台中，然后进行一系列的标准化、清理等操作，再然后经过一些建模生成一些模型给下游系统使用。
三是数据分析，在数据收集完成后基于这些数据要做一些什么样的处理，典型的如报表应用，那每天可能就是写SQL开发报表了还有一些如风险监测等平台，都要基于大数据平台收集的数据来进行处理。
以上就是关于大数据对存储平台有哪些特殊要求全部的内容，如果了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！
