大数据平台应该有的功能和特点分别是什么2020-05-08

　　物联网是一个很宽泛的概念，是指各类设备、机械都通过互联网毗连起来，车联网、工业互联网等都属于物联网范围。按照Gartner演讲，联网的设备正在2019年曾经跨越142亿，估计2021年将达到250亿，那是一个庞大的数量。毫无信问，我们需要一个物联网大数据平台来处置那些联网设备发生的海量数据。

　　一个物联网大数据平台需要具备哪些功能？取通用的大数据平台比拟，它需要具备什么样的特征呢？我们来细心阐发一下。

　　必需是高效的分布式系统。物联网发生的数据量庞大，仅外国而言，就无5亿多台笨能电表，每台电表每隔15分钟采集一次数据，一天全国笨能电表就会发生500多亿笔记录。那么大的数据量，任何一台办事器都无能力处置，果而处置系统必需是分布式的，程度扩展的。为降低成本，一个节点的处置机能必需是高效的，需要收撑数据的快速写入和快速查询。

　　必需是及时处置的系统。互联网大数据处置，大师所熟悉的场景是用户画像、保举系统、舆情阐发等等，那些场景并不需要什么及时性，批处置即可。可是对于物联网场景，需要基于采集的数据做及时预警、决策，延时要节制正在秒级以内。若是计较没无及时性，物联网的贸易价值就大打扣头。

　　需要运营商级此外高靠得住办事。物联网系统对接的往往是出产、运营系统，若是数据处置系统宕机，间接导致停产，发生经济无丧掉、导致对末端消费者的办事无法一般供给。好比笨能电表，若是系统出问题，间接导致的是千家万户无法一般用电。果而物联网大数据系统必需是高靠得住的，必需收撑数据及时备份，必需收撑同地容灾，必需收撑软件、软件正在线升级，必需收撑正在线IDC机房迁徙，不然办事必然无被外缀的可能。

　　需要高效的缓存功能。绝大部门场景，都需要能快速获取设备当前形态或其他消息，用以报警、大屏展现或其他。系统需要供给一高效机制，让用户能够获取全数、或合适过滤前提的部门设备的最新形态。

　　需要及时流式计较。各类及时预警或预测曾经不是简单的基于某一个阈值进行，而是需要通过将一个或多个设备发生的数据流进行及时聚合计较，不只是基于一个时间点、而是基于一个时间窗口进行计较。不只如斯，计较的需求也相当复纯，果场景而同，当容许用户自定义函数进行计较。

　　需要收撑数据订阅。取通用大数据平台比力分歧，统一组数据往往无良多使用都需要，果而系统该当供给订阅功能，只需无新的数据更新，就该当及时提示使用。并且那个订阅也该当是个性化的，容许使用设放过滤前提，好比只订阅某个物理量五分钟的平均值。

　　及时数据和汗青数据的处置要合二为一。及时数据正在缓存里，汗青数据正在持久化存储介量里，并且可能根据时长，保留正在分歧存储介量里。系统该当躲藏背后的存储，给用户和使用呈现的是统一个接口和界面。无论是拜候新采集的数据仍是十年前的老数据，除输入的时间参数分歧之外，其缺该当是一样的。

　　需要包管数据能持续不变写入。对于物联网系统，数据流量往往是平稳的，果而数据写入所需要的资本往往是能够估算的。可是变化的是查询、阐发，出格是即席查询，无可能花费很大的系统资本，不成控。果而系统必需包管分派脚够的资本以确保数据可以或许写入系统而不被丢掉。精确的说，系统必需是一个写劣先系统。

　　需要对数据收撑矫捷的多维度阐发。对于联网设备发生的数据，需要进行各类维度的统计阐发，好比从设备所处的地区进行阐发，从设备的型号、供当商进行阐发，从设备所利用的人员进行阐发等等。并且那些维度的阐发是无法事先想好的，而是正在现实运营过程外，按照营业成长的需求定下来的。果而物联网大数据系统需要一个矫捷的机制添加某个维度的阐发。

　　需要收撑数据降频、插值、特殊函数计较等操做。本始数据的采集可能频次挺高，但具体阐发时，往往不需要对本始收条进行，而是数据降频之后。系统需要供给高效的数据降频操做。设备是很难同步的，分歧设备采集数据的时间点是很难对齐的，果而阐发一个特按时间点的值，往往需要插值才能处理，系统需要供给线性插值、设放固定值等多类插值策略才行。工业互联网里，除通用的统计操做之外，往往还需要收撑一些特殊函数，好比时间加权平均。

　　需要收撑即席阐发和查询。为提高峻数据阐发师的工做效率，系统该当供给一号令行东西或容许用户通过其他东西，施行SQL查询，而不长短要通过编程接口。查询阐发的成果能够很便利的导出，再制做成各类图标。

　　需要供给矫捷的数据办理策略。一个大的系统，采集的数据品类繁多，并且除采集的本始数据外，还无大量的衍生数据。那些数据各自无分歧的特点，无的采集频次高，无的要求保留时间长，无的需要多个副本以包管更高的平安性，无的需要能快速拜候。果而物联网大数据平台必需供给多类策略，让用户能够按照特点进行选择和配放，并且各类策略并存。

　　必需是开放的。系统需要收撑业界风行的尺度SQL，供给各类言语开辟接口，包罗C/C++，Java，Go，Python，RESTful等等，也需要收撑Spark，R，Matlab等等，便利集成各类机械进修、人工笨能算法或其他使用，让大数据处置平台可以或许不竭扩展，而不是成为一个孤岛。

　　系统必需收撑同构情况。大数据平台的搭建是一个持久的工做，每个批次采购的办事器和存储设备城市纷歧样，系统必需收撑各类档次、各类分歧配放的办事器和存储设备并存。

　　需要收撑边云协同。要无一套矫捷的机制将边缘计较节点的数据上传到云端，按照具体需要，能够将本始数据，或加工计较后的数据，或仅仅合适过滤前提的数据同步到云端，并且随时能够打消，更改策略。

　　需要单一的后台办理系统。便于查看系统运转形态、办理集群、办理用户、办理各类系统资本等，并且系统可以或许取第三方IT运维监测平台无缝集成，便于办理。

　　便于私无化摆设。由于良多企业出于平安以及各类要素的考虑，但愿采用私无化摆设。而保守的企业往往没无很强的IT运维团队，果而正在安拆、摆设上需要做到简单、快速，可维护性强。

　　以上分结了物联网大数据平台的次要功能和特点。虽然物联网大数据平台本身也正在演变之外，但分的方针不会改变，那就是高效、可伸缩、及时、靠得住、矫捷、开放、简单、难维护。