数字科技赋能行业发展 海沧数据聚合系统重磅发布
【资料图】
海报新闻记者 丛萍 翟虎君 济南报道
紧跟数字科技发展趋势,赋能政企实现价值提升。日前,山东省互联网传媒集团旗下山东大众信息产业有限公司研发的海沧数据聚合系统正式上线。海不辞水,故能成其大,海沧数据聚合系统,取互联网“数据大仓”之意,实现对数据的海量入仓、精准存仓和加工出仓。
互联网时代,传媒生态和舆论格局发生很大变化,以网站、论坛、新闻APP、两微一端(微博、微信、今日头条),以及抖音、快手、等短视频平台为代表的内容信息传播具有数据海量、受众广、传播速度快、监督管理难等特点,对媒体内容的有效转播、网络舆论有效引导和大数据助力品牌价值提升带来极大挑战,同时也为面向传媒机构的内容传播力评估、面向党委政府的网络空间治理、面向企事业单位的智库服务等需求带来新的市场机遇。
海沧数据聚合系统是一款集互联网信息采集、智能数据挖掘、大数据存储管理三大功能为一体的数据管理系统。通过大规模部署网络爬虫、数据清洗、数据挖掘等应用,完成对网络新闻、自媒体号等互联网公开数据7*24小时不间断采集和加工处理。该系统秉承目标导向、需求导向设计理念,结合内容传播效果评估、网络舆情监测处置、媒体综合智库服务等实际业务需求和工作流程,以大数据、云服务、智能算法三大核心能力为基础,将先进技术与业务应用深度融合,为媒体传播力分析、网络空间治理、智库服务提供有力支撑。
海沧数据聚合系统由三个子系统组成,信源管理子系统集成新闻网站、自媒体号等多种信息源采集渠道,可依据业务和场景的需求灵活定制信息源目标采集规则和采集流程,解决目标数据的精准采集问题。任务智能调度子系统使用并行分布式计算,分布式通讯等技术,实现海量信息数据的高效采集和智能化加工处理。数据仓库子系统采用分布式分层架构,集成批量服务器算力资源,具备快速、稳定、易维护的特性,支持根据实际场景需求提取、加载和转换数据,解决多数据源整合、海量数据存储和查询分析的问题,为进一步的数据挖掘、数据可视化、决策支持等方面提供坚实的功能性基础。
据了解,海沧数据聚合系统已在山东省互联网传媒集团的舆情服务、媒体传播力评估、综合智库服务等业务中实际应用。目前系统覆盖信息源数量10万+,每日采集及处理数据量5000万+。在该集团舆情中心,一名舆情监测师告诉记者,应用海沧数据聚合系统后,舆情监测和统计数据的全面性、精准性、及时性都明显提升,工作效率得以提高,客户反馈重要舆情信息的漏监、漏报等问题显著改善。
山东大众信息产业有限公司是山东省互联网传媒集团的全资子公司,从事舆情服务、电子政务、融媒体建设、新媒体运营等业务,拥有省内专业的舆情服务和政务服务团队以及自主知识产权的舆情监测平台和政务服务平台,目前已服务于包括近50个省直机关在内的全省四百余家党政机关和企事业单位。