舆情分析相关产品

一. 产品概述

舆情分析解决方案以云数据采集、网页信息检索、自然语言处理、大数据分析技术为核心，配合文本分类和聚类、观点倾向性识别、主题检索与追踪等技术，构建全行业互联网舆情大数据平台，以应对不同的大数据处理场景，支持大数据行业的开发和落地。

舆情分析系统采集媒体类型覆盖全网，包括新闻、论坛、博客、微博、微信、APP、问答、视频、电子报等。实时采集效率和自适应带宽，全天候监测，可针对网站影响力不同配置频率优先级；具有独立自主研发的爬虫系统，对全网信息实时采集。自定义站点采集频率、指定站点抓取频率、最快可达到分钟级采集效果。支持采集需要注册账号论坛中的信息。支持在线制作舆情方案面、方案相关信息自动提取。具备完善情感研判模型，自动生成统计报告和对比图表分析功能，包括信息量对比，媒体类别分布对比等。可自主设定关键词，利用云爬虫抓取数据，利用云分析引擎分析数据，对关注内容、行业、热点事件等自主监测。所有数据独立保存及自动备份重要信息。支持邮件、手机短信、微信预警等多种预警提醒机制，系统支持PC客户端、手机 APP、小程序三种终端访问模式，随时随地不遗漏任何重要讯息。

二. 核心优势

1. 覆盖范围广：7*24 小时不间断采集 20 万个网站、3000万大V意见领袖微博账户、70 万微信公众号、100 家新闻 APP 站点端。日更数据量超过 1000 万。聚合多种行业信息，潜力巨大。

2. 技术能力强：在大数据分析、机器学习、语义处理、算法建模和深度神经网络等技术领域进行了深入研发与持续投入，形成了处于行业领先水平的大数据核心技术，有数据导入/接入、数据结构化处理、机器学习数据分类等多个引擎，组成大数据采集平台、基础框架平台、数据中心管理平台、SaaS 云应用平台等多个平台。

3. 生态链完整：从对数据进行实时采集、清洗、分类、处理、存 储、呈现、分析等一系列操作，到多个平台的应用。舆情分析系统在社会安全、导向管理、行业服务、个人研究等多个领域搭建完整的生态链，为政府、企业、个人提供有力的支撑服务。

三. 产品特点

信息采集

产品采用了多项核心关键技术实现网页数据抓取、处理，可以轻松快速地抓取网页上散乱分布的文本等，并通过数据清洗、过滤、去噪等预处理后进行整合聚集存储。

1. 强大的数据采集集群，在境内多个 IDC 机房部署有上百台高性能服务器，高效的数据采集算法，智能的采集调度策略，秒级数据采集实时性，高扩展的分布式集群架构。

2. 精准的数据源目录，采用自动和人工标注相结合的方式对 20万个域名的数据源进行了精准标注，其中包含新闻、论坛、博客等实现全面的抓取，同时支持对主流新闻网站分页、评论内容的采集以及对论坛点击数、回帖数的抓取。实现了数据源行业分类。

3. 全面的数据采集覆盖，包括新浪网、搜狐网、凤凰网、网易、新华网在内的 20 万新闻类网站，日更数据 200 万篇；覆盖微博、微信、博客、知乎、豆瓣、贴吧等主要社交媒体，日更数据 1000万条；覆盖包括百度、bing、搜搜、360 搜索、国搜、搜狗等国内知名搜索引擎的元搜索能力，支持区别于精准定向采集的全网数据采集引擎，确保信息全面无遗漏实现全量采集。

4. 数据采集技术先进，独有智能爬虫系统可自动采集数据源、自动网站权重分析、自动网站名称识别；并搭载模拟登陆功能通过记录 cookie 信息、自动填写验证码进行模仿登录，实现需要登录应用场景的社交网站数据的智能采集，基于智能算法提取各社交平台博主间的人际关系进行社交数据采集。

5. 基于网站探针技术自动识别已改版、已关闭的网站，可计算当前网站更新量，自动调整采集网站的采集频率。

信息处理

1. 基于机器学习的垃圾过滤机制可以自动过滤广告、水贴等无效垃圾信息。

2. 采用“文章相似性技术”智能去重，根据文档内容的匹配程度确定是否重复、去重的级别；根据不同的需要特点分为：URL 去重、标题去重、正文去重三个级别。

3. 采用自主知识产权的 HTML 网页文本萃取技术自动提取任意复杂网页中的标题、内容、作者、发布时间等信息，自动跟踪文章分页；对于论坛信息自动分析主贴、回帖以及作者等信息。

4. 对于每个经过抓取和处理的网页，系统都存有一个纯文本的快照保存备份，方便用户快速浏览，也方便用户查看被删除的文章或帖子。

5. 综合网站重要程度、主题相关度、危机程度、点击回复次数、传播数量以及用户自定义规则等复杂参数计算的文章权重，加上基于自然语言处理技术的训练系统，能准确分析出重要舆情信息。

6. 系统可以对于一段时间（自定义范围）内的舆情信息走势进行分析展示，同时可以以不同的载体如论坛、新闻等分类呈现。 

7. 将自然语言处理技术（NLP）应用于舆情监测领域，对信息精准分类并自动做情感分析。

8. 基于自然语言处理技术，系统根据文章内容相似程度计算相似文章，方便获取同一内容文章的所有传播网站。

9. 对于监测信息的媒体类型情况进行展示，同时对于信息的主要传播媒体自动识别，进行整合分析，以图表呈现。

数据管理

数据中心管理平台，自主研发了数据结构化引擎、数据分类引擎、实时数据接口、搜索引擎、实时数据管理平台等行业独有产品组件，覆盖数据存储、批处理运算、实时计算、SQL 引擎、工作流引擎、任务管理等多个方面，不仅提供海量数据存储和并行处理能力，还对数据提供全文检索、数据抽取、清洗管理。产品对数据检索按照不同的数据类型进行 ES 索引，支持分布式集群，可以按照平台管理数据量简易扩展集群节点。整个产品提供数据集成、海量数据并行处理、分布式存储、分布式索引和检索能力，并对外提供的高并发数据 API 数据服务。 

数据应用

1. 舆情分析系统提供强大的大数据分析模型和大数据处理技术，包括数据采集、分类与处理、数据存储、数据计算、数据管理、数据可视化、文本分析、语义搜索、自然语言处理、深度分析与挖掘、算法建模、机器学习、人工智能等大数据核心技术。

2. 成功构建成熟且强大基于 Hadoop 的超大数据规模的大数据中心平台，包括数据采集、数据清洗、基础框架、模型计算、搜索引擎、数据检索、平台管理、数据治理。

3. 提供全方位的大数据算法、分析模型、分析工具，涵盖领域包 括人工智能、自然语言处理、文本分析、聚类分析、知识图谱萃取、多重事件分析、大数据关联分析与预测模型等能力服务。

四. 功能模块

舆情分析系统产品主要功能模块包括舆情概况、数据列表、关联分析、媒体分析、对比分析、舆情预警、舆情报告、舆情协作、可视化大屏、搜索引擎监测、行业热点、舆情分析系统 APP。

1. 舆情概况

在系统登录第一时间通过聚合多种分析图表清晰显示出来，与用户相关的最新数据、舆情分析结果、数据地图等讯息。从而大大节省工作时间，提高工作效率。同时，此模块内的所有图表、列表等显示内容，全部可以由用户在个性化设置界面通过可视化拖动的方式自定

义设定图表内容，条件以及排列顺序。

2. 数据列表

数据列表是舆情分析系统的核心应用产品之一，是抓取能力的最重要的体现。根据用户设定关键词抓取全网讯息，毫秒级响应，实时显示数据结果。支持跨语言搜索、智能语义搜索、数字语义检索、短文本排序、关键词命中摘要，并高亮关键词、敏感词过滤方式优化、新词

发现并实现远程分词词典更新等关键技术能力，搜索能力可达到毫秒级搜索。

通过设置关键词组可搜索包括所有提及该关键字的报道平台数据，包括：新闻、微博、微信、博客、论坛、APP、问答、搜索引擎等。

查看数据，事态，情感，提供热词，相似文章数量，地区分布等功能，通过聚合算法，搜索模块会基于用户搜索关键词的信息结果进行聚合匹配，分析并推荐出相关的关键词与不同媒体间的传播趋势图表；支持按时间和相似度排序。一键分享功能可将一条或多条信息，同时可分享到第三方社交平台，并支持采编管理功能；一键预警功能可将一条或多条信息，通过短信或邮件的方式一键选择发送预警；一键导出功能可将一条或多条信息通过 Word 或 Excel 的形式导出本地；一键加入报告可以将一条或多条信息加入到未发送的模板段落中；一键修改可以在舆情分析系统系统中手动修改当前信息的标题、内容、来源、情感等；一键加入协作可以将当前信息加入到舆情协作平台，完成请示上级和派发下级处理任务等功能。

3. 维度分析

维度分析是舆情分析系统核心应用模块，其中包含：关联分析、媒体分析、新媒体分析和对比分析。

关联分析通过设置关键词可分析人物关系、地域关系、组织关系和关键词关系等，为用户提供精准的大数据关联关系分析服务，汇聚用户可能需要的多维度关联资讯，建立其知识图谱关系，更智能的为用户提供相关服务。可应用于情报分析、行业分析、事件分析等众多应用场景,服务于政府、企业和个人等不同用户群体。

媒体分析通过挖掘各媒体间的地域分布、情感比例、报道量排名、趋势分析、友好度、关注度、等数据，对品牌的媒体关注进行多维分析，分析出品牌媒体形象，口碑，态势，红黑榜单，为品牌有效公关和树立品牌良好声誉，提供数据分析支持；可根据所需信息定制和可视化数据分析模型进行个性化专题分析。

新媒体分析主要捕捉两微一端用户信息发布，分析用户情绪（喜怒忧思悲恐惊）、地域热度、性别画像、情感占比、活跃账号排名、相关热词等。

对比分析是一组根据用户自定义选择关键词对比项而进行的分析活动，主要用于竞品对比、效果对比等场景。实时得出对比结果，合理分析优势与差距，提供更科学合理的数据化建议。 4. 舆情预警通过舆情分析系统预警系统，可以实现全网事件 24 小时监控，捕捉互联网市场的突发事件，实时通过手动、自动预警，并配合舆情协作，将舆情负面事件消化在微时。并可以监测突发事件所可能带来的市场动荡例如涉及到的行业以及企业，挖掘历史相似事件及其影响；实现行业预测突发事件的基础数据统计，实现 相关全面分析事件给行业及品牌可能创造的机会和风险。

5. 舆情报告

致力于舆情事件的追踪、分析与应对，为各级政府机关、企事业单位提供专业的舆情应对建议及数据分析服务。舆情分析系统报告服务可依托全网大数据采集系统、实时预警系统、传播分析系统、搜索引擎监控系统和专业舆情分析团队，对信息采取定性和定量分析，对事件进行阶段化和多角度分析，根据客户的需求打造不同类型报告，并确保每一份舆情报告都能清晰的呈现舆情传播脉络，带给用户更多理性的思考。

6. 可视化大屏

舆情分析系统通过数据地图可视化工具组件支持Web浏览器创建多种2维图表和2D地图，支撑动态高分辨率的数据可视化，支持跨语言、跨平台，跨浏览器，实现真正的动态数据进行可视化。的大屏呈现，无需任何插件。可投放于PC端、TV端、大屏端。适用于各行业机构、企业，任何需要大屏展示的场景；可实现品牌舆情热点实时监控、营销事件传播效果追踪、关注品牌舆情动态分析等全部分析功能，自定义尺寸，自定义排版，自定义对比度。品牌全域核心数据一览无余。

7. 舆情分析系统 APP&舆情分析系统微信小程序

舆情分析系统APP是一款既可以满足企业用户对全网范围舆情调查，又满足了个人用户对于个人舆情的定制搜索，产品包括Android平台和iOS平台两个版本，通过行业应用手机客户端第一时间推送给用户，即避免了过多无用信息对单位领导和舆情管理人员的干扰，又可在第一时间掌握真正“与己相关”的舆情，大大提高舆情应对的工作效率。