全网舆情监测一些常用的手段

在web1.0及web2.0时代，舆情信息主要来自于新闻站点、博客、微博等较为有限的信源，除微博信息外，大部分数据均可通过百度、搜狗这类通用搜索引擎获取，这一时期也是舆情系统百家争鸣的时期，系统获取数据的主要方式是目标导向式采集，即以关键词搜索的形式，从百度及微博等平台抓取数据。

随着以微信、今日头条为代表的自媒体平台崛起，互联网进入自媒体时代，由于各个自媒体平台对搜索进行了限制，通过关键词搜索的形式难以在自媒体平台获取到全面、准确的自媒体数据。

同时，由于主流平台（微信、头条等）限制百度等搜索引擎对其数据进行抓取，抖音、快手及视频号等短视频平台的崛起进一步加剧了这种信息孤岛效应，大量的信息被隔离在一个又一个独立的超级app内，彼此无法互通，搜索引擎的信息获取效率大打折扣。

信息获取难度的不断提高造成了舆情系统的分层，大部分技术迭代能力较差的舆情产品依旧采用以引擎搜索为主的方式获取数据，其数据全面性、时效性均无法满足自媒体时代下舆情监测的需要，逐步落伍。小部分技术能力较强的厂商则进入到以定向采集数据为主，关键词搜索采集为辅，自建内部搜索引擎的新阶段。

以往关键词采集是目标导向式采集，如采集“某为”相关的信息需要以“某为”为关键词在百度等搜索引擎搜索并获取数据，采集过程中并无其他与“某为”不相关数据进入系统。

定向采集则是以最大限度获取各个平台、站点数据为指导思想，如针对某个门户网站，通过大规模爬虫实时高速采集整个站点全部板块数据，针对某个自媒体平台，实时采集整个app内有采集价值的数百万自媒体订阅号，采集过程中不对数据进行区分，统一放入内部自建的搜索引擎中。在这种情形下，如需获取“某为”相关的数据，则直接向内部搜索引擎请求数据。通过这种信息采集和搜索方式可以有效解决信息孤岛及信息获取时效性的问题。大规模定向采集+自建搜索引擎的技术架构优势明显，缺点在于技术难度较大，维护成本较高，目前整个市场上成熟采用这种技术架构的厂商，包括艾普思在内，不过寥寥几家，我们可以称之为舆情系统厂家。

目前市面上的舆情服务商绝大部分并不具备技术开发能力，其中包括一部分将舆情服务作为唯一或主营业务的公司，这类公司通过采购一两款主流舆情系统来提供服务；另一些公司不主打舆情，但客户有舆情系统方面的需求，这类公司会通过与舆情系统厂家合作，以贴牌的形式提供舆情系统。不少舆情服务商号称能做到“全网”采集，鉴别一款舆情系统是否真的具有全网抓取能力，不妨从以下三点入手：一是通过数据量来比对，同等条件下剔除垃圾数据或冗余数据后的数据量越大，真正实现全网抓取的可能性越大；二是比对一些超级app的数据，如某条、某音、某手等的数据，量大者定向抓取的可能性越大；三是给服务商命题，如提出采集一些生僻网站某个板块的数据，在舆情软件中展示，无技术能力的贴牌厂家无法提供定制化抓取服务。

因此，从严格意义上来说，无死角、无遗漏的绝对“全网”采集事实上难以实现，但通过“大规模定向采集+自建搜索引擎”的技术架构，辅以人工值守的服务模式，能够做到覆盖度接近100%的准“全网”采集，从而有效满足用户对舆情信息抓取全面性的需求，符合舆情监测系统的商用标准。