云开·(全站APP-VIP认证)-kaiyun SPORTS

图 上海云开·全站APPkaiyun大数据平台处理框架

云开·全站APPkaiyun大数据预处理及清洗流程主要包括数据收集、数据预处理、数据存储、数据处理与分析环节，其中数据质量管理贯穿于整个大数据流程，每一个数据处理环节都会对大数据质量产生影响作用。针对异构的各种历史数据主要从数据采集和数据预处理清洗加工方面去整理现有的资源数据，这些历史数据主要分为结构化数据、非结构化数据及实时数据，结构化数据主要指现有装备业务系统RDBMS数据库数据，Webservice数据及各种装备API接口数据；非结构化数据包括目前音视频文件、图片、各种office文档及纸质文档；同时也有各种实时数据接口获取的数据，通过日志采集或kafka接口获取。通过采集工具获取到的数据经过数据整合、数据关联性处理、数据清洗和去噪及数据聚合、数据一致性检验等处理后变成可用的数据存储到对应的各种大数据仓库中，为数据分析、数据挖掘、装备应用服务提供基础数据支撑。

2.云平台系统集成方案

云开·全站APPkaiyun云平台包括云计算管理平台和容器化管理平台，云计算管理平台提供虚拟机生命周期管理（包括虚拟机创建、启动、停止、重启、暂停、恢复、销毁、远程连接、克隆、迁移、制作成镜像、快照、扩容）、集群管理、计算资源、存储资源、网络资源管理、监控管理、弹性伸缩、高可用管理、云盘、镜像、平台管理等功能。云计算平台具有动态伸缩、可大规模部署的特性，支持多种虚拟化平台及混合部署模式，提供强大的资源池管理和虚拟化功能。容器云平台提供微服务治理框架，包括轻量化docker集群管理、发布管理、应用编排、资源管理等功能，为开发者和企业提供了一个快速构建、集成、部署、运行容器化应用的平台，从而提高应用开发的迭代效率，简化运维环节，降低运维成本。

云开·全站APPkaiyun智能存储平台融合分布式存储产品及基于容器的智能存储技术。以容器资源管理和智能分布式存储管理为基础，通过对TensorFlow、Pytorch等容器的编排，可以满足图形识别、图片智能检索等典型人工智能应用场景。分布式存储与容器融合架构分为5层，分别为硬件层、资源管理层、AI计算引擎层、接口层及应用服务层。

硬件层：包括计算设施、存储设施和网络设施。对于自主可控平台，计算设施指的是主机CPU、FPGA存储加速卡。

资源管理层包括容器云平台、分布式存储管理平台和可能存在的第三方接入平台。容器云平台提供AI智能引擎所依赖的容器云环境，同时容器云采用卷插件方式为应用提供统一存储资源池，容器云功能包括AI存储镜像的应用编排、容器管理、存储管理、资源调度等管理功能，AI引擎通过容器云编排发布到服务器上，同时底层对接第三方存储接口，实现对AI引擎的容器管理、应用管理、镜像编排、集群管理、存储管理和服务管理。分布式存储管理平台提供块、对象、文件的存储管理外还提供对底层数据的预处理功能，包括AI采集数据的标签管理、元数据管理、数据质量管理及对图像预处理等功能，同时提供非结构化数据的持久化管理、数据冷热分层管理、存储的QoS管理等功能，满足AI场景下数据的智能存储和预处理功能；资源管理层还包括第三方平台的接口，为第三方平台提供引入接口，可以兼容阿里云、华为云、百度智能、Kubernetes功能接口；

AI计算引擎层包括AI引擎和图形处理引擎，常用的人工智能引擎如TensorFlow、Pytorch、Caffe等算法引擎，这些引擎目前均已在自主可控平台上进行了适配，且可通过Kuberneters管理以镜像容器的方式运行，方便与存储对接及实现微服务发布管理。

接口层提供API、Restful、Python、SDK等接口，方便应用开发及服务提供AI平台的资源接口。

应用服务层是AI容器平台应用发布成对外服务的窗口，包括语音识别、人脸识别、无人驾驶、词法分析、语音合成、文章分类、图像识别等AI应用，这些应用以服务的方式满足用户使用AI资源的需求。