① 搜索引擎如何判斷網頁文章的重復度
搜索引擎如何判斷網頁文章的重復度？
在這個科技高度發達的時代，網路已經成為人們能獲取消息的主要途徑。但如今的網路，到處充斥著一些重復的內容，對用戶的訪問造成很大的困擾。因此，網路需要對網頁重復進行判斷，對重復的網頁，只選取一些高質量的我那工業，共用戶瀏覽。然而，現有技術中一般是通過比較兩個頁面的內容和借點，來確認兩個頁面的相似度。
這種方法能夠計算的比較准確，可時間復雜度太高，計算很費時間。通過對一個頁面中的某些重要信息進行簽名，然後比較兩個頁面的簽名，來計算相似度，這種方式比較簡單高效，計算速度比較快，比較適合網路這種海量信息的應用場景。
1，網站重復內容的判斷
A，獲取多個網頁;
B，分別提取網頁的網頁正文;
C，從網頁正文中提取一個或多個句子，並根據一個或多個句子計算網頁正文句子簽名;
D，根據網頁正文句子簽名對多個網頁進行聚類;
E，針對每一類下的網頁，計算網頁的附加簽名;
F，根據附加簽名判斷每一類下的網頁是否重復。
通過上述方式，網頁重復的判斷系統及其判斷方法通過包括網頁正文句子簽名在內的多維度簽名有效且快速地判斷網頁是否重復。
廣告圖
網站頁面基本架構
提取正文
A，對網頁進行分塊;
B，對分塊後的網頁進行塊過濾，以獲取包含網頁正文的內容快;
C，從內容塊中提取網頁正文。
正文分句
A，對網頁正文進行分句;
在本步驟中，可利用分號，句號，感嘆號等表示句子完結的標志符號來對網頁正文進行分句。此外，還可以通過網頁正文的視覺信息來對網頁正文進行分句。
B，對分句後的網頁正文進行過濾及轉換;
在步驟中，首先過濾掉句子中的數字信息;版權信息以及其他對網頁重復判斷不起決定性作用的信息。隨後，對句子進行轉換，例如，進行全形/半形轉換或者繁體/簡體轉換，以使得轉換後的句子的格式統一。
C，從過濾及轉換後的網頁正文中提取最長的一個或多個句子;
在本步驟中，過濾及轉換後的網頁正文提取出最長的一個句子或者做場的預定數量連續句子的組合。例如，某個網頁實例中，經過過濾及轉換後的某段最長，遠超其他句子，因此可選擇該段為網頁正文句子，或者選擇最長的連續句子組合作為網頁正文句子。
D，對一個或多個句子進行hash簽名運算，以獲取網頁正文句子簽名。
simhash演算法就是比較各網頁的附加簽名是否相同或相似來判斷網頁是否重復。具體來說，在比較利用simhash簽名運算獲得的網頁正文簽名時，比較網頁正文簽名的不同位數，不同位越少，表示網頁重復的可能性越高，在比較其他的附加簽名時，若附加簽名相等，表示網頁在該緯度上重復。
總結：
1、兩個網頁的真實標題簽名相同。
2、兩個我那工業的網頁內容簽名相同。
3、兩個網頁的網頁正文簽名的不同位數小於6.。
4、兩個網頁的網頁位置簽名相同，並且url文件名簽名相同。
5、評論塊簽名、資源簽名、標簽標題簽名、摘要簽名、url文件名簽名中有三個簽名相同。
附加信息整站判斷重復標准：
通過兩兩頁面比較，可以得到真重復url的集合。一般來說，如果這個真重復url集合中的網頁的數量/整個網頁集中網頁的數量大於30%，則認為整個網頁集都是真重復，否則就是假重復。
② 網站主頁被重復收錄上萬次是怎麼回事
你可以從以下四個方面著手：
1.URL標准化
在網站建設過程中盡量統一URL地址，勿使用動態頁面進行鏈接，一來是搜索引擎青睞靜態頁面，另一方面也可以防止相同內容被搜索引擎重復收錄。
2.利用robots.txt屏蔽動態文件
利用robots.txt進行動態文件的屏蔽，如：「Disallow: /?」即屏蔽了根目錄下帶」？」的頁面,這個可以自己靈活設置。
3.及時的清除緩存
每個網站都會帶有兩個網址，一般網站更新文章後都需要生成靜態的網址，本身就存在一個動態的，自然生成靜態後就會多出一個網址，這樣的話，如果沒及時清除緩存，就可能使得同一個頁面的靜態，動態URL網址都被收錄，因為這搜索引摯把同一篇文章的兩個網址看作是獨立的，自然就兩個都被收錄了。所以，及時清除緩存可以很大程度上減少網頁被重復收錄。
4.利用網站地圖引導蜘蛛
網站地圖的作用不單單是把整站的內容進行歸納，而且還可以讓蜘蛛爬行更加的順暢無阻，有序的抓取網站內的各個頁面，從而也能減少蜘蛛對網站同一個頁面重復收錄的概率。
③ 什麼是重復頁面
網站域名改動，如靜態化處理，網站分頁過多等原因會產生許多的才重復頁面或者是相似度很高的頁面，如果網站上存在大量這樣的頁面，會嚴重影響用戶體驗度和搜索引擎的友好度，這樣會給你網站帶來不利影響，一定要想法去除。1、網址規范化。域名設計的時候一定要採取統一的命名規則，這樣不至於產生兩個或兩個以上的域名指向同一個頁面的情況。2、做域名靜態化處理的時候，會產生許多重復的頁面。 本文由ste| 進行整理發布
④ 網站內容相似度過高如何處理站長碰到過類似問題嗎
通常網頁的相似度主要指的是兩個網頁的內容有很多部分相同。當搜索引擎對比兩個網頁時，會通過兩種方法進行對比分析。
第一是根據網頁內容上的摘要模塊進行分析，如果兩個網頁上MD5值數據一樣，那麼這兩個網頁的相似性就非常高。
第二，就是根據網頁上的關鍵詞頻度和排序進行分析。在一個網頁上獲得詞頻較高的關鍵詞，然後進行MD5賦值，如果兩個網頁的關鍵詞MD5值一樣，那麼說明具有較高的相似度。
目前搜索引擎能夠認可的網頁相似度不能夠超過60%，如果超過60%，那麼就會被相應的搜索引擎懲罰，導致被降權或者屏蔽。那麼造成網頁相似度的因素有哪些呢?快商建站認為具體來看主要有兩個方面的原因：
第一，同一個網站里，經常將過去舊的內容進行簡單的翻新，在翻新的過程中，描述、關鍵詞和標題以及內容等改動極少，或者就是簡單的偽原創，這樣就容易造成網頁相似度高。
第二，將其他網站已經收錄的內容拿過來，進行簡單的調整，比如改變一下標題，將段落重新打散，然後發布到自己網站上，這樣的內容雖然和自己網站中的內容對比不會存在相似性，但是從互聯網的角度上對比，那麼這種重復性就會變得十分明顯了。
當出現網頁相似度明顯的時候，就需要立刻改變之前的內容建設戰略，否則一旦超過60%這個警戒線，就很容易網站被判定為垃圾網站，從而很難獲得成功。對此可以從下面兩個方面來降低網站內容相似度。
第一，盡可能的進行原創，因為原創的內容不會存在相似度的問題，而且就算是別的網站被轉載，甚至收錄時間超過你，但是經過一段時間之後，網路的智能化演算法同樣會判定你作為第一原創者，從而給予更高的權重。
第二，偽原創要進行升級，畢竟一個網站豐富的內容，通過站長個人或者一個小團隊往往很難搞的非常豐富，適當的偽原創無可厚非，可是偽原創卻需要進行升級，不能夠進行簡單的更換標題，打亂段落的方式，這種方式隨著網路智能化的升級，已經很難適應，最佳的方法就是通過人工改寫的方式，而且盡可能達到70%以上的原創度，才能夠降低網頁的相似度。
第三，採用iFrame框架技術對於一些重要內容進行多次展示，因為一個網站上的內容可能會在多個頻道上展示，比如首頁上具有一些推薦的內容，而相應的欄目頁上也存在著這些一模一樣的內容，那麼此時就需要採用iFrame框架技術，對於重復的內容根網路說不，讓網路不要抓取這些內容，這樣就能夠規避網頁相似度的風險。
⑤ 網站有大量重復內容和相似度很高頁面，該怎麼處理
網址規范化問題。
網址規范化問題包括主域名的規范化和頁面URL地址規范化兩個方面，主域名的規范化需要規范化。另外是內頁URL的規范化，通常為了讓搜索引擎能夠更好的抓取網站內容，我們會將URL進行偽靜態處理，而一般的網站偽靜態之後，原始的動態URL依然存在並能夠訪問，這樣就造成了多個URL訪問相同網址。
內容的其他版本
很多網站除了提供正常的版本之外還提供一些其它的瀏覽版本，比如列印版本或者簡版，卻並沒有禁止搜索引擎去抓取這些頁面，而這些頁面也因此變成了重復內容頁面。
網站結構
很多網站在結構設計之初並沒考慮SEO方面的因素，結果是導致造成各種頁面版本，比如產品按價格，評論，時間排序等，特別是一些電子商務網站，這種頁面重復現象尤為嚴重。
URL任意加字元還是返回200狀態碼。
一些網站是因為網站程序和技術的原因，用戶在URL參數後面隨意加上一些字元都能夠正常訪問，並且頁面是和沒加之前的完全重復。
檢查頁面是否有重復版本有一個比較簡單的方法，就是將內容隨機選擇一句話加雙引號後進行搜索，從結果中就可以看到有多少個重復的頁面。因為通常來說隨機選一句話進行搜索完全生命的機率是比較小的。
⑥ 如何計算網站網頁相似度
據統計，網頁上的大部分相同的頁面佔29%，而主體內容完全相同的佔22%，這些重復網頁有的是沒有一點改動的拷貝，有的在內容上稍作修改，比如同一文章的不同版本，一個新一點，一個老一點，有的則僅僅是網頁的格式不同（如 HTML, Postscript）,文獻[Models and Algorithms for Duplicate Document Detection 1999年]將內容重復歸結為以下四個類型:
1.如果2篇文檔內容和格式上毫無差別，則這種重復叫做full-layout plicate。
2.如果2篇文檔內容相同，但是格式不同，則叫做full-content plicates
3.如果2篇文檔有部分重要的內容相同，並且格式相同，則稱為partial-layout plicates
4.如果2篇文檔有部分重要的內容相同，但是格式不同，則稱為partial-content plicates
網頁去重的任務就是去掉網頁中主題內容重復的部分。它和網頁凈化（noise rection），反作弊（antispam) 是搜索引擎的3大門神
去重在我看來起碼有四好處：減少存儲；增強檢索效率；增強用戶的體驗；死鏈的另一種解決方案。
目前從網路的搜索結果來看，去重工作做的不是很完善，一方面可能是技術難度（precision和recall都超過90%還是很難的）；另一方面可能是重復的界定，比如轉載算不算重復？所以另一項附屬的工作是對個人可寫的頁面(PWP)進行特殊的處理,那麼隨之而來的工作就是識別PWP頁面。^_^這里就不扯遠呢。
問題如何解決？
網頁的deplication，我們的演算法應該是從最簡單的開始，最樸素的演算法當然是
對文檔進行兩兩比較，如果A和B比較，如果相似就去掉其中一個
然而這個樸素的演算法，存在幾個沒有解決的問題：
0.要解決問題是什麼？full-layout？full-content？partial-layout還是partial-content？
1. 怎麼度量A 和 B的相似程度
2. 去掉A還是去掉B，如果A ～B（～表相似,!~表示不相似），B～C 但是 A!~C，去掉B的話，C就去不掉。另一個更深入的問題是，演算法的復雜度是多少?假設文檔數為n，文檔平均長度為m，如果相似度計算復雜度為m的某一個復雜度函數：T=T（m），文檔兩兩比較的復雜度是O（n^2)，合起來是O（n^2 * T(m)) . 這個復雜度是相當高的，想搜索引擎這樣處理海量數據的系統，這樣的復雜度是完全不能接受的，所有，另外三個問題是：
3. 如何降低相似度計算的復雜化度
4. 如何減少文檔比較的復雜度
5. 超大數據集該如何處理
第0個問題是，我們要解決的關鍵，不同的問題有不同的解決方法，從網頁的角度來看，結構的重復並不能代表是重復，比如產品展示頁面，不同的產品展示頁面就有相同的文檔結構。內容來看，復制網站會拷貝其他網站的主要內容，然後加些廣告或做些修改。所以，解決的問題是，partial-content deplication，那麼首先要抽取網頁的主體內容。演算法變成：
抽取文檔主體內容，兩兩比較內容的相似性，如果A和B相似，去掉其中一個
其次，問題2依賴於問題1的相似度度量，如果度量函數具有傳遞性，那麼問題2就不存在了，如果沒有傳遞性，我們的方法是什麼呢？哦，那就找一個關系，把相似關系傳遞開嘛，簡單，聚類嘛，我們的框架可以改成：
抽取文檔主體內容，兩兩比較內容的相似性，如果A和B相似，把他們聚類在一起，最後一個類里保留一個page
最後，歸納為幾個步驟
第一步：識別頁面的主題內容，網頁凈化的一部分，以後討論
第二步：計算相似度
第三步：聚類演算法，計算出文檔那些文檔是相似的，歸類。
核心的問題是，「如何計算相似度？」這里很容易想到的是
1. 計算內容的編輯距離edit distance（方法很有名，但是復雜度太高）
2. 把內容分成一個個的token，然後用集合的jaccard度量（好主意，但是頁面內容太多，能不能減少啊？）
好吧，但是，當然可以減少集合的個數呢，采樣，抽取滿足性質的token就可以啦，如滿足 mod m =0 的token，比如有實詞？比如stopwords。真是絕妙的注意.在把所有的idea放一起前，突然靈光一現，啊哈，
3. 計算內容的信息指紋，參考google研究員吳軍的數學之美系列。
把他們放在一起：
第一步：識別頁面的主題內容，網頁凈化的一部分，以後討論
第二步：提取頁面的特徵。將文章切分為重合和或不重合的幾個結合，hash out
第三步：用相似度度量來計算集合的相似性，包括用信息指紋，Jaccard集合相似度量，random projection等。
第四步：聚類演算法，計算出文檔那些文檔是相似的，歸類。
方法分類：
按照利用的信息，現有方法可以分為以下三類
1．只是利用內容計算相似
2．結合內容和鏈接關系計算相似
3．結合內容，鏈接關系以及url文字進行相似計算
一般為內容重復的去重，實際上有些網頁是
按照特徵提取的粒度現有方法可以分為以下三類
1.按照單詞這個級別的粒度進行特徵提取.
2.按照SHINGLE這個級別的粒度進行特徵提取.SHNGLE是若干個連續出現的單詞,級別處於文檔和單詞之間,比文檔粒度小,比單詞粒度大.
3.按照整個文檔這個級別的粒度進行特徵提取
演算法-具體見真知
1. I-Match
2. Shingling
3. Locality Sensitive Hashing.(SimHash)
4. SpotSigs
5. Combined
⑦ 網站重復內容過多，會不會出現問題
網站內容的重復是網站SEO之大忌，網站內容重復性過高會直接影響到網站的收錄、排名，嚴重時甚至會被K站。然而，很多站長卻不知道如何判斷網站內容的重復，以及找不到最佳的解決方案。這里所說的網站內容重復並不單單指的是文章的重復，除此以外還包括很多個方面。
一、網站內容重復包括哪些：
1、最常見的就是文章的重復，在網站內出現同一文章出現多次的情況，即便文章是原創，同樣會影響到網站的整體運營，所以網站應該盡量避免內容的重復。
2、網站固定版塊重復性過高，目前很多網站都是採用開源的cms系統，很多頁面都是採用固定的版塊，而這些版塊內容都是長期不更新的，如此以來會出現千篇一律的內容，造成網站內容重復性過高，影響網站的質量。
3、網站動態頁面和靜態頁面共存，當網路蜘蛛來訪時，卻收錄了大量動態頁面。
4、網站沒有設置404錯誤頁面，當在網站後台刪除一個頁面時，一定要給用戶以及蜘蛛一定的提示，否則就會誤導用戶和蜘蛛，而此時最好的提示便是設置404錯誤頁面了。當蜘蛛來訪你的網站，發現有錯誤頁面時，因為網站有了404錯誤頁面，就會提示蜘蛛這個頁面不存在，告知其訪問其他頁面。
5、網站頁面圖片居多，文字過少，很多圖片的url地址都是同一個，這樣會被搜索引擎認為是重復性的內容，不利於網站的長久發展。
二、如何檢測網站內容的重復：
1、查看同一篇文章是否重復，可以使用title+文章標題進行查詢。
2、可從文章首段復制一段文字，在網路搜索框進行搜索，前提是該文章被收錄了。如果發現大量票紅文字，則說明這篇文章重復性過高。
3、可通過站內搜索文章標題，可查詢出重復的內容。
4、利用頁面相似度檢測工具，判斷一些相鄰頁面的相似度，80%以上相似度就需要對一些固定欄目進行處理。
三、如何解決網站內容的重復性：
1、原創內容才是根本
要想減少網站內容的重復性，原創內容是根本，搜索引擎比較喜歡原創且質量高的內容，用戶同樣是如此，如果能夠原創文章的更新，就可以從根本上避免文章過度重復的可能了。
2、網站頁面設置獨立meta屬性
各個頁面最好是設置獨立的關鍵詞、描述，盡可能的手動修改，減少meta標簽的重復性。
3、設置404錯誤頁面
404錯誤頁面的作用就是要告訴用戶和搜索引擎某些頁面不存在，防止搜索引擎進一步收錄，造成網站出現大量死鏈接。
4、網站固定版塊內容隨意展示
雖然有些頁面不能避免會出現固定的版塊，但是將這些版塊的內容設置為隨意展示，也就可以減少網站內容的重復性了。
最後網站內容是一個網站運營的基本元素，高質量的內容可以贏得用戶以及搜索引擎的喜愛，但是重復或者採集內容就會產生負面影響。因此，我們在網站建設初期就應該規劃好網站的結構，網站上線後應該優化好網站內容，減少內容的重復度。
⑧ 如何徹底解決網站存在的內容重復度問題
首先我們應該加大原創力度，不隨意使用更新工具，不採集網路上的現成文章，對於標題和文章的重點章節都親力親為。
其次，整合網站欄目，去除上述文章中所說的重疊欄目，將目標關鍵詞整合為聯合關鍵詞，比如用戶搜索坦桑石和定製兩個詞進入網站，那麼你完全可以 直接使用坦桑石定製作為目標關鍵詞，同時也要經常清除一些網站中頁面之間的死鏈接，將一些不重要或者是時效性不強的東西徹底清除掉。
最後，不因為麻煩而去下載網路上的現成模板，那類免費的模板基本上在優化上很難達標，有能力的同學可以自定義網站結構，並且在網站上增加搜索功 能，將一些不常被查閱的文章優先顯示出來，增加文章之間的閱讀量，如果精力允許的話，能給每個頁面加上不同的Meta標簽將會更好，更有利於降低重復度。
⑨ 如何判斷網頁文章重復度
復制文字，然搜索粘貼到網路搜索框中，點擊搜索，然後看搜索結果里是不是大片的漂紅，如果不是，就重復程度低！
⑩ seo優化，網站代碼冗餘度很高是什麼意思
就是你的網站本來可以用比較少的代碼完成，比如js代碼可以放到外部文件，還有就是用表格布局的冗餘代碼也比較多，建議用div+css布局，能放到外部文件的，都引用外部文件