版权信息
省级大型综合性科技类期刊
主管部门:自治区科技厅
主办单位:自治区科学技术信息研究院 
协办单位:自治区科学技术情报学会
编辑出版:科技期刊编译室
刊社地址:内蒙古呼和浩特新城西街149号本刊杂志社
邮政编码:100010
电      话:0471-2536371

E-mail  :

nmgkjzz@vip.163.com 

网站地址:www.nmgkjzz.com


往期杂志
当前位置: 首页>往期杂志>详细介绍

山西气象数据收集与分发系统(CTS)日常巡检与维护

时间:2016-10-27来源: 作者: 点击: 131次


孟慧芳

(山西省气象信息中心 030006)

摘要:数据收集与分发系统(CTS)是全国综合气象信息共享平台(CIMISS)的一个重要的组成系统,是共享平台的前端数据传输系统,负责数据收集、分发、传输和处理,并为平台中其他系统提供数据和服务.CTS主要关注数据的时效性、并发性、可靠性和方便的收发业务监视,负责数据的上传下达,为CIMISS把好数据入口关,因此对系统的日常巡检和维护至关重要。

关键字:CTS、CIMISS、巡检、维护

1 CIMISS简介

全国综合气象信息共享平台(China Integrated Meteorological Information Service System)简称:CIMISS,主要承担国内外气象资料的收集、处理、存储、和共享任务,通过全球气象通信系统、国内气象通信系统实时收集全球和中国气象观测资料以及气象业务产品,对资料进行质检、解码、入库。CIMISS主要包括7个系统:数据收集与分发系统、数据加工处理系统、数据存储管理系统、共享服务系统、业务监控系统、计算机网络系统和安全系统。其中数据收集与分发系统、数据加工处理系统、数据存储管理系统、共享服务系统、业务监控系统为应用系统,计算机网络系统和安全系统为基础设施平台,全国综合气象信息共享平台建设的应用软件系统和平台系统在全国部署,共构建1个国家中心和31个省级中心,所有的中心通过全国气象宽带网络联结成一个物理分布、逻辑统一的信息共享平台。衔接综合气象观测业务,支撑气象预报预测业务和公共气象服务业务,为气象业务和科研提供基础气象数据和产品服务。构建气象信息网络系统核心业务构架,着重解决气象数据从数据源到最终用户间的收集、处理、存储和共享服务问题。

2山西CIMISS项目现状

按照全国统一安排,自2012年起,山西气象局多次派遣业务人员参加CIMISS基础平台和应用系统的培训学习。通过培训,业务人员熟悉CIMISS系统架构,具备了安装部署各子系统的能力。2012完成了CIMISS硬件平台、网络环境搭建工作。2013年3月进行系统的检查及调整,根据全国项目组的要求,对网络访问控制进行了调整,对我省的设备进行了系统准备确认工作。2013年 6月前完成了全部基础平台及应用软件的安装,并开始一级核心数据的接入工作,到2013年8月完成全部要求的数据接入,同年11月系统进入试运行。2014年5月进行CIMISS系统的硬件平台扩容工作,主要建设内容为:增加两台更高性能的服务器,用于数据库管理平台;原来4台数据库管理中的两台改为存储用,新增一个盘阵,专门用于各类数据库:实时库、监控库、支撑库;整合GPFS文件系统。2015年8月完成CIMISS简约流程安装部署,并按照国家气象中心的安排完成多次升级和更新工作。同时,技术人员及时完成省级新增资料接入CIMISS和MCP监控统计软件升级。完成基于CIMISS数据环境MICAPS4的部署工作。2016年4月完成了CTS的本地业务化工作,至此本省台站上传的各类观测资料接入CTS,发送国家气象信息中心,此外参与省际共享并获取周边省份的自动站、国家站和区域站、雷达数据、CMACAST广播的地面、高空、数值预报、卫星资料等也通过CTS接收入库。

山西作为全国气象信息共享平台的一个省级中心,负责全省气象信息的收集、传输、分发、监控等多项任务,省级CIMISS平台包括数据收集与分发、数据加工处理、数据存储管理、数据共享服务、业务监控五大业务功能以及省、市、县业务系统的对接和应用和各级科研、业务人员的数据访问。省级CIMISS功能图见图1

 

1省级CIMISS功能图

3省级据收集与分发系统

 数据收集与分发系统(China telecommunications system)简称:CTS承载着全国综合气象信息共享平台中国家中心和各省级中心的各种气象数据收集、分发及气象信息交换的业务。收集收集与分发系统主要功能有:测站、省级气象业务单位气象数据的收集与分发;省际间气象数据的交换与共享;省级、国家级气象业务单位气象数据的收集与分发;行业用户气象数据的收集与分发。图2省级CTS功能图

 

 

2省级CTS功能图

3.1主要功能与结构

数据收集功能:省级中心、地市级、县级以及他们的用户之间通过网络系统实时地收集各种气象数据。该功能支持文件级的数据收集和基于数据流的数据收集;实现基于收集策略的数据收集任务;对未按时自动收集的数据,自动生成缺报通知。

数据预处理功能:根据气象通信业务规定和规范要求以及全国综合气象信息共享平台制定的气象数据传输规范,对所收集和分发的各类数据进行格式检查和数据标准化处理,使收集和分发的各类气象数据能够满足气象数据传输业务规范的标准化要求。

数据分发功能:各级中心之间和各级用户之间通过网络系统实时地分发各类气象数据。对发送失败的数据,系统会自动重发。

数据补调功能:某中心未收到用户所定义的应该接收的气象数据时,系统将根据用户所定义的收集节目表,通过自动或人工方式向数据源提出补调请求;数据源对这些补调请求进行自动/人工响应,并将数据发送给请求中心。该功能在实施中调整为系统通过基于CMACast接收所缺失的文件自动补调,保障下行资料的完整性。本地资料的完整性由资料接入端提供保障。

系统配置管理:实现对数据的收集与分发节目表、优先级策略、收集与分发信息统计策略、收集与分发地址表等进行配置与管理。

系统信息管理:对数据收集与分发系统的各种信息(配置、日志等)进行管理。

系统监控与统计:对本系统各类气象数据收集和分发的情况进行 实时记录、存储、查询与统计,并与业务监控系统接口。

4省级CTS总体数据流程

省级数据收集与分发系统CTS)总体数据流程(图3)包含了数据的收集、收集处理、分发处理、数据临时存档、数据分发等。数据收集将原始数据收集后进行唯一性检查、文件过滤、文件名别后数据处理流程进行时效处理、对打包文件进行解包、解压、格式检查、格式转换后进行数据的临时存档和分发处理主要进行数据文件名转换、压缩处理等,数据分发将处理过的数据上行发送到国家级数据收集与分发系统和省级CIMISS数据加工处理系统与数据存储管理系统,此外还分发到共享平台外的系统用户如省际共享的资料。

 

3省级数据收集与分发系统总体数据流程

5日常巡检

省级数据收集与分发系统日常巡检采用业务监控系统(MCP)与CTS监视相结合的巡检方式,日常巡检主要有六个内容:总体业务集中监视、实时资料主流程、系统资源监视、传输时效监视、CTS节目表生成、CTS节目表上报,前4内容为值班巡检,后2内容数据维护巡检。

总体业务集中监视:巡检内容主要监视CTS业务有无集中告警(左侧为严重告警、中间关键告警、右侧为总数),关注的重点资料收发有无异常(按时次),是否有积压目录。图4CTS总体业务集中监视

巡检可能出现的异常结果:文件分发失败告警;算法执行失败(推sod);某类重点资料某时次有未收或未发现象;连接MySQL数据库错误;ActiveMQ队列积压;连接CTS策略库失败;进程异常或目录积压等

 

4CTS总体业务集中监视

实时资料主流程巡检内容主要有:实时资料主流程是否提示“节目时间表未生成”,CTS实收台站数、文件数,实发台站数、文件数,是否实收实发数为0CTS实收实发数与后端的SODDPC相比是否明显不同。图5实时资料主流程

巡检可能出现的异常结果:提示未生成节目表;CTS实收、实发数为0CTS实收、实发数明显少于SODDPC入库、解码数量。

 

5实时资料主流程

系统资源监视巡检内容:注意宽带网双向区的CTS应用是否有告警

巡检可能出现的异常结果:某一台主机上的某个应用不可用

资料传输时效监视巡检内容:指定资料类型,指定时间段的接收及时率统计结果

巡检可能出现的异常结果:某类资料出现考核未收 考核未发等情况

CTS节目表生成巡检内容:确认第二天的节目表是否正常生成

巡检可能出现的异常结果:节目表未按时生成,需要手工生成

CTS节目表上报巡检内容:确认第二天的节目表是否正常上报

巡检可能出现的异常结果:节目表未按时上报,需要手工上报

6维护常用操作
6.1集群管理

使用Veritas Cluster Manager客户端,在Windows台式机上使用Veritas Cluster Manager客户端,或使用root账户在宽带网区主机上/opt/VRTSvcs/bin目录下执行./hagui点击左上角new cluster登陆集群中任一台主机,或选择下面列表中已登陆过的主机,输入用户名密码来对集群进行管理,直观了解宽带网区集群工作情况。

在任一主机上使用hastatus –sum命令列出集群的状态,执行后会提示输入用户名和密码,与集群管理图形界面的用户名密码一致。确认所有主机状态为:RUNNING,应用在线的主机state状态应为ONLINE

集群的启停不要随意重启集群中的主机,如需重启单台主机,需先确认其是否是集群的主节点,如需要重启的是主节点,需将集群全部重启;如非主节点,则需使该主机退出集群后再重启。如需重启全部主机,比较稳妥的操作是先在非主节点主机上停止集群应用,然后在主节点主机上停止集群应用。待所有主机上的集群应用完全停止后,再重启所有主机,此时建议按如下顺序操作:

确定主节点主机

使用root账户,在任一主机上执行vxdctl –c mode确定主节点

6.2应用启停

正常情况下可用veritas集群管理软件来启停

veritas所使用的启停脚本

veritas的cts_parallel_grp启停脚本

/etc/init.d/cts_app   start|stop|status

Veritas的cts_ha_grp启停脚本

/etc/init.d/cts_app_ha start|stop|status

通过status的返回值了解进程情况100表示OFFLINE,110表示ONLINE

6.3 ActiveMQ

MQ英文名MessageQueue,即消息队列:一个消息的接受和转发的容器,可用于消息推送。图6 ActiveMQ消息队列监视

 

6 ActiveMQ消息队列监视

查看相关消息队列情况:

 

 

 

其中主要观察的队列有:

CTS_BABJ_COLL_TASK    通用收集队列

CTS_BABJ_COMM_EI      EI队列

CTS_BABJ_COMM_SQL    日志网关队列

CTS_BABJ_DIST_TASK     分发队列

CTS_BABJ_PROC_TASK    收集处理队列

各队列因日常的消息数量不一样,其参考的积压消息数量如下:

CTS_BABJ_COLL_TASK(收集任务队列)

CTS_BABJ_COMM_EI(EI告警队列)

CTS_BABJ_DIST_TASK(分发任务队列)

CTS_BABJ_PROC_TASK(处理任务队列)的Number Of Pending Messages数值大于200以上,代表该任务运行缓慢,已有积压

CTS_BABJ_COMM_SQL(网关日志队列)的Number Of Pending Messages数值在5万以上,代表该任务运行缓慢,已有积压;

各队列消费者信息

7结语

随着气象信息技术的不断提高,气象信息网络业务由传统通信传输保障向提供数据资源服务转变。省级数据收集与分发系统(CTS)是国内新一代气象信息系统的升级,是CIMISS平台的数据入口。实现了CIMISS内部的大量接口,同时扩充了内新一代气象信息系统的功能增加了数据编辑、定制等。CTS为不仅为业务监控(MCP)提供了丰富的收发业务信息接口而且CTS更适应集群环境:全局调度、二级调度,负载均衡,数据预处理业务调度采用流程引擎技术更灵活,为建立统一、集约化的国家级、省级数据环境,提供了数据保障。

 

参考文献:

[1] 李集明.熊安元.气象科学数据共享系统研究综述.应用气象学报.2004.15(增刊I)

[2] 王曼燕,邓莉,赵芳,等.CIMISS中气象卫星数据存储和服务模型【J】.安徽农业科学,2012,08:4785--4789.

[3] 赵芳.全国综合气象 息共享 台CIMISS总体业务及数据构架【R】.国家气象信息中心,2013

[4] 赵芳.马强.新一 天气雷达信息共享平台总体设计说明书【R】.国家气象信息中心,2013

 

 

本刊创刊于1982年,是由自治区科技厅主管、自治区科技信息研究院主办,由自治区科技情报学会协办、国内外公开发行的省级综合性科技刊物,是反映内蒙古自治区科技与经济发展的窗口。杂志入选《中国期刊全文数据(CJFD)》全文收录期刊和《中国学术期刊综合评价数据(CAJCED)统计刊源期刊,《中国核心期刊(遴选)数据库》收录。本刊是公开发行的综合性科技期刊,为月刊,大16开本。本刊坚持以科技创新为目标,融科技、经济、信息、产业、市场为一体,是促进科技成果转化、推动科技进步、加强技术创新,促进经济发展的专业性期刊。