樂思網絡輿情監測系統

樂思網絡輿情監測系統是基于全球領先的互聯網采集監控技術而研發，具有發現快，信息全，分析準的優勢。可讓用戶眼觀六路耳聽八方，在第一時間發現負面輿情。

• 系統概述
• 實施后的利益
• 系統組成
• 自動采集子系統功能描述
• 內容分析子系統功能描述
• 界面呈現子系統功能描述
• 系統實施

一、 系統概述

樂思網絡輿情監測系統是針對互聯網這一新興媒體，通過對海量網絡輿論信息進行實時的自動輿情采集，輿情分析，輿情匯總，輿情監視，并識別其中的關鍵輿情信息，及時通知到相關人員，從而第一時間應急響應，為正確輿論導向及收集網友意見提供直接支持的一套信息化平臺。

其業務流程如下圖所示：

圖1： 樂思網絡輿情監測系統的業務流程

相比目前的人工輿情監測，其優勢明顯：

比較指標	人工監測	采用樂思網絡輿情監測系統
目標網站	幾十個	幾百個到幾千個幾萬個-采3453輿情4533集-
人力成本	需分別登錄各個網站，手工查閱，還要手工復制粘貼，疲于奔命	網絡信息的獲取工作完全由軟件自動進行，監測人員只需在內網集中進行內容的瀏覽與分析
負面信息識別	需要逐條人工查看確認	在自動判別的基礎上再人工確認
信息保存	零碎，不可避免會出錯 -采3453輿情4533集-	精確，全面，便于事后追蹤
數據存儲	Word文件，分散，很難管理	統一存放在大型關系數據庫中，集中管理
監測報告	基于手工統計加估計，數據支持不充分	基于自動化的統計分析， 圖文并茂，具有翔實統計數據支持，可以每日，每周，每月出報告
監測效果	覆蓋片面，不及時 差強人意，浪費人力資源	覆蓋全面，實時，幾分鐘到幾十分鐘 自動化，系統化

二、 實施后的利益

監測目標: 一切與本市本省相關的信息，特別是負面信息
后續處理: 人工與目標網站負責人交涉（要警惕某些所謂刪貼公司乃騙子勒索公司），做好應對措施，在第一時間發布對應處理消息

實施后好處:
1. 可實時監測微博，論壇，博客，新聞，搜索引擎中相關信息web2db knowlesys web2db
2. 可對重點QQ群的聊天內容進行監測
3. 可對重點首頁進行定時截屏監測及特別頁面證據保存
4. 對于新聞頁面可以找出其所有轉載頁面web2db knowlesys web2db
5. 系統可自動對信息進行分類26禁止9盜用0
6. 系統可追蹤某個專題或某個作者的所有相關信息
7. 監測人員可對信息進行挑選，再分類
8. 監測人員可以基于自己的工作結果輕松導出制作含有圖表的輿情日報周報

最終目的：
♦ 可排除或縮小偶發負面信息給本省/市形象及本省/市領導帶來的不利影響樂knowlesys思
♦ 可及時發現關于本市本省的輿情呼聲，第一時間了解民意，在萌芽狀態化解矛盾樂knowlesys思

三、 系統組成

樂思網絡輿情監測系統由兩個子系統組成：自動采集子系統（采集層）與分析瀏覽 子系統（分析層與呈現層）。其關系如下圖所示：

圖2：樂思網絡輿情監測系統架構

樂思網絡輿情監測系統的網絡拓撲結構如下圖所示，依據需要也可以分開在隔離的外網與內網中實施。

 

圖3：網絡拓撲結構

四、 自動采集子系統功能描述

自動采集子系統可以對任意目標網站進行自動采集。

例如：新華網、強國論壇、天涯社區、西祠社區、網易社區、新浪論壇、搜狐社區、鳳凰網、百度貼吧、以及用戶指定的其他動態網站。可以抽取所有新聞文章或主題帖或者最新主題帖內容，還可以抽取某個主題帖的所有回復帖或者最新回復帖的內容。即可指定某個目標網站進行監測，也可以不指定目標網站對于全球范圍內網站進行監測，或者進行兩者混合監測。既可以監測國內網站，也可以監測國外網站如Facebook， Twitter，BBC，CNN。

自動采集子系統還可以對基于應用程序的聊天室程序監測。

后端數據庫支持任意的主流關系型數據庫，如Oracle， IBM DB2， MS SQL Server， MySQL， Sybase以及文件型數據庫Access等。

自動采集子系統的全方位監測功能如下圖所示：

圖4：自動采集子系統全方位監測

自動采集子系統具有以下幾個顯著特點：

1. 全球領先的自動采集功能
樂思軟件的網絡信息采集技術全球領先，支持對任意網頁內任意數據的精確采集。樂思軟件每天都為國內外用戶針對各種各樣的網站提供采集服務，沒有高效穩定的采集平臺是無法做到的。

2. 支持各種監測對象
可以實時監測微博，新聞，論壇，博客，公共聊天室，搜索引擎，留言板，應用程序，報刊網站電子版等。

3. 無需配置直接監測幾千個新聞網站
系統內置對全球范圍內網站的監測配置，只需輸入關鍵詞，自動采集出文章標題與正文。

4. 強大的多語言統一處理功能26禁止9盜用0
可自動處理并保存中文，英文，法文，德文，日語，韓語，維文，阿拉伯語等多種語言。

5. 智能文章提取
對于文章類型網頁，可以無需配置，直接自動提取文章正文與標題，以及作者發布日期等，自動去除廣告，欄目，版權等無關的垃圾內容

6. 完美支持各種網頁情況
支持當前流行的Web 2.0 AJAX動態網站
支持用戶名與密碼自動登錄
支持表單查詢
支持下一頁自動瀏覽功能
支持多頁面文章內容自動抽取與合并
可以自動下載正文內圖片以及各類附件
可以選擇保存原文快照以備查
支持多種互聯網協議： HTTP、HTTPS、以及FTP
支持多種網絡文件格式：HTML/XML/CSV/TEXT/RSS/ATOM
…
您知道嗎？--我們的系統所提供的各種特性組合起來可以處理成千上萬種網頁或數據的不同情況

7. 自動去重功能
每次采集時，對于同一個URL，僅采集最新的沒有采集過的文章內容或回復，對于已經采集過的內容，自動忽略。對于轉載文章，可以選擇自動去重。

8. 內置各種后期數據處理功能
數據從網頁上獲取后，可進一步精加工為各種更細粒度的字段數據或者合并整合，替換統計等. 例如關鍵詞抽取，街道地址抽取，省市名稱抽取，郵編抽取，電話號碼抽取，傳真號碼抽取，電子郵件地址抽取，QQ/MSN/Skype抽取，URL抽取等。26禁止9盜用0

9. 可無人值守全天候自動采集
可定時運行，也可7×24小時運行，可設置采集時間間隔最短為1分鐘。

10. 用戶可以自行添加目標監測網站
利用系統提供的采集平臺，用戶可以很容易地對目標網站進行可視化分析，配置出采集任務文件，加入調度過程，從而可以任意修改，增加，移除監測目標。

五、 內容分析子系統功能描述

內容分析子系統抽取出內容的元信息，基于用戶的關鍵詞設置，對內容進行實時地自動分類自動聚類。
樂思研發的超高速關鍵詞提取技術，在3萬字的文章中查找1萬個關鍵詞的出現次數， 不超過6.9毫秒。

六、 界面呈現子系統功能描述

功能架構如下圖所示：

圖5: 界面呈現子系統功能架構

分析瀏覽 子系統具有以下顯著特點：

1. 多人協同工作
不同用戶瀏覽不同內容，執行不同操作，完成不同職責

2. 文章要素顯示， 疑似負面信息自動提示
?對于新聞文章與博客文章，可采集標題，正文，作者，發布時間，來源
對于關鍵詞用高亮背景彩色顯示

3. 帖子要素顯示， 疑似負面信息自動提示
對于論壇帖子，可采集標題，正文，作者，發貼時間，查看次數，回復貼數， 發貼人IP
對于關鍵詞用高亮背景彩色顯示

4. 分類與編輯
對于采集后的信息內容，可以進行過濾，分類，備注，與編輯，便于后期管理與分析

5. 強大的搜索功能
既可以精確搜索也可以模糊搜索，既可以按分類搜索，也可按來源搜索

6. 支持人工采集
對于某些緊急或異常情況，可以人工輸入采集到的信息

7. 反網站限制功能
可采集被國內屏蔽的國外網站，可采集限制了來源IP與訪問頻率的網站，可自動獲取代理IP，無需設置

8. 短信通知功能
可以設定關鍵詞，凡是采集內容出現了一個或多個關鍵詞，就可以將該條記錄發送給相關短信接收人員，便于無人值守實時監測。

9. 利用輿情分析引擎生成輿情報表
熱點話題列表、發貼數量、評論數量、作者個數
敏感話題列表
自動摘要
自動關鍵詞抽取
各類別趨勢圖表
新聞類報表： 標題、出處、發布時間、內容、點擊次數、評論人、評論內容、評論數量等
論壇類報表： 帖子的標題、發言人、發布時間、內容、回帖內容、回帖數量等

七、 系統實施

系統主要應用于政府部門以及大中型企業的公關部門。
由于互聯網的復雜性，樂思網絡輿情監測系統實施起來需要客戶的配合。
針對客戶需求，我們提供如下系統實施服務：

編號	名稱	內容
1	交鑰匙工程	提供樂思網絡輿情監測系統的整套軟件與文檔， 提供用戶指定的N個網站的采集配置文件。 保證系統上線后即可實時監測到目標網站內容。
2	培訓	提供遠程培訓或上門培訓服務
3	后續服務	定期提供目標網站更新后的配置參數文件 定期回訪，提供技術咨詢，疑難解答 提供遠程運維服務，減少對客戶相關支持人員的技術水平要求
4	技術支持	通過電話、Email、QQ/MSN/Skype 回答用戶的問題 進行技術支持