① 搜索引擎如何判断网页文章的重复度
搜索引擎如何判断网页文章的重复度？
在这个科技高度发达的时代，网络已经成为人们能获取消息的主要途径。但如今的网络，到处充斥着一些重复的内容，对用户的访问造成很大的困扰。因此，网络需要对网页重复进行判断，对重复的网页，只选取一些高质量的我那工业，共用户浏览。然而，现有技术中一般是通过比较两个页面的内容和借点，来确认两个页面的相似度。
这种方法能够计算的比较准确，可时间复杂度太高，计算很费时间。通过对一个页面中的某些重要信息进行签名，然后比较两个页面的签名，来计算相似度，这种方式比较简单高效，计算速度比较快，比较适合网络这种海量信息的应用场景。
1，网站重复内容的判断
A，获取多个网页;
B，分别提取网页的网页正文;
C，从网页正文中提取一个或多个句子，并根据一个或多个句子计算网页正文句子签名;
D，根据网页正文句子签名对多个网页进行聚类;
E，针对每一类下的网页，计算网页的附加签名;
F，根据附加签名判断每一类下的网页是否重复。
通过上述方式，网页重复的判断系统及其判断方法通过包括网页正文句子签名在内的多维度签名有效且快速地判断网页是否重复。
广告图
网站页面基本架构
提取正文
A，对网页进行分块;
B，对分块后的网页进行块过滤，以获取包含网页正文的内容快;
C，从内容块中提取网页正文。
正文分句
A，对网页正文进行分句;
在本步骤中，可利用分号，句号，感叹号等表示句子完结的标志符号来对网页正文进行分句。此外，还可以通过网页正文的视觉信息来对网页正文进行分句。
B，对分句后的网页正文进行过滤及转换;
在步骤中，首先过滤掉句子中的数字信息;版权信息以及其他对网页重复判断不起决定性作用的信息。随后，对句子进行转换，例如，进行全角/半角转换或者繁体/简体转换，以使得转换后的句子的格式统一。
C，从过滤及转换后的网页正文中提取最长的一个或多个句子;
在本步骤中，过滤及转换后的网页正文提取出最长的一个句子或者做场的预定数量连续句子的组合。例如，某个网页实例中，经过过滤及转换后的某段最长，远超其他句子，因此可选择该段为网页正文句子，或者选择最长的连续句子组合作为网页正文句子。
D，对一个或多个句子进行hash签名运算，以获取网页正文句子签名。
simhash算法就是比较各网页的附加签名是否相同或相似来判断网页是否重复。具体来说，在比较利用simhash签名运算获得的网页正文签名时，比较网页正文签名的不同位数，不同位越少，表示网页重复的可能性越高，在比较其他的附加签名时，若附加签名相等，表示网页在该纬度上重复。
总结：
1、两个网页的真实标题签名相同。
2、两个我那工业的网页内容签名相同。
3、两个网页的网页正文签名的不同位数小于6.。
4、两个网页的网页位置签名相同，并且url文件名签名相同。
5、评论块签名、资源签名、标签标题签名、摘要签名、url文件名签名中有三个签名相同。
附加信息整站判断重复标准：
通过两两页面比较，可以得到真重复url的集合。一般来说，如果这个真重复url集合中的网页的数量/整个网页集中网页的数量大于30%，则认为整个网页集都是真重复，否则就是假重复。
② 网站主页被重复收录上万次是怎么回事
你可以从以下四个方面着手：
1.URL标准化
在网站建设过程中尽量统一URL地址，勿使用动态页面进行链接，一来是搜索引擎青睐静态页面，另一方面也可以防止相同内容被搜索引擎重复收录。
2.利用robots.txt屏蔽动态文件
利用robots.txt进行动态文件的屏蔽，如：“Disallow: /?”即屏蔽了根目录下带”？”的页面,这个可以自己灵活设置。
3.及时的清除缓存
每个网站都会带有两个网址，一般网站更新文章后都需要生成静态的网址，本身就存在一个动态的，自然生成静态后就会多出一个网址，这样的话，如果没及时清除缓存，就可能使得同一个页面的静态，动态URL网址都被收录，因为这搜索引挚把同一篇文章的两个网址看作是独立的，自然就两个都被收录了。所以，及时清除缓存可以很大程度上减少网页被重复收录。
4.利用网站地图引导蜘蛛
网站地图的作用不单单是把整站的内容进行归纳，而且还可以让蜘蛛爬行更加的顺畅无阻，有序的抓取网站内的各个页面，从而也能减少蜘蛛对网站同一个页面重复收录的概率。
③ 什么是重复页面
网站域名改动，如静态化处理，网站分页过多等原因会产生许多的才重复页面或者是相似度很高的页面，如果网站上存在大量这样的页面，会严重影响用户体验度和搜索引擎的友好度，这样会给你网站带来不利影响，一定要想法去除。1、网址规范化。域名设计的时候一定要采取统一的命名规则，这样不至于产生两个或两个以上的域名指向同一个页面的情况。2、做域名静态化处理的时候，会产生许多重复的页面。 本文由ste| 进行整理发布
④ 网站内容相似度过高如何处理站长碰到过类似问题吗
通常网页的相似度主要指的是两个网页的内容有很多部分相同。当搜索引擎对比两个网页时，会通过两种方法进行对比分析。
第一是根据网页内容上的摘要模块进行分析，如果两个网页上MD5值数据一样，那么这两个网页的相似性就非常高。
第二，就是根据网页上的关键词频度和排序进行分析。在一个网页上获得词频较高的关键词，然后进行MD5赋值，如果两个网页的关键词MD5值一样，那么说明具有较高的相似度。
目前搜索引擎能够认可的网页相似度不能够超过60%，如果超过60%，那么就会被相应的搜索引擎惩罚，导致被降权或者屏蔽。那么造成网页相似度的因素有哪些呢?快商建站认为具体来看主要有两个方面的原因：
第一，同一个网站里，经常将过去旧的内容进行简单的翻新，在翻新的过程中，描述、关键词和标题以及内容等改动极少，或者就是简单的伪原创，这样就容易造成网页相似度高。
第二，将其他网站已经收录的内容拿过来，进行简单的调整，比如改变一下标题，将段落重新打散，然后发布到自己网站上，这样的内容虽然和自己网站中的内容对比不会存在相似性，但是从互联网的角度上对比，那么这种重复性就会变得十分明显了。
当出现网页相似度明显的时候，就需要立刻改变之前的内容建设战略，否则一旦超过60%这个警戒线，就很容易网站被判定为垃圾网站，从而很难获得成功。对此可以从下面两个方面来降低网站内容相似度。
第一，尽可能的进行原创，因为原创的内容不会存在相似度的问题，而且就算是别的网站被转载，甚至收录时间超过你，但是经过一段时间之后，网络的智能化算法同样会判定你作为第一原创者，从而给予更高的权重。
第二，伪原创要进行升级，毕竟一个网站丰富的内容，通过站长个人或者一个小团队往往很难搞的非常丰富，适当的伪原创无可厚非，可是伪原创却需要进行升级，不能够进行简单的更换标题，打乱段落的方式，这种方式随着网络智能化的升级，已经很难适应，最佳的方法就是通过人工改写的方式，而且尽可能达到70%以上的原创度，才能够降低网页的相似度。
第三，采用iFrame框架技术对于一些重要内容进行多次展示，因为一个网站上的内容可能会在多个频道上展示，比如首页上具有一些推荐的内容，而相应的栏目页上也存在着这些一模一样的内容，那么此时就需要采用iFrame框架技术，对于重复的内容根网络说不，让网络不要抓取这些内容，这样就能够规避网页相似度的风险。
⑤ 网站有大量重复内容和相似度很高页面，该怎么处理
网址规范化问题。
网址规范化问题包括主域名的规范化和页面URL地址规范化两个方面，主域名的规范化需要规范化。另外是内页URL的规范化，通常为了让搜索引擎能够更好的抓取网站内容，我们会将URL进行伪静态处理，而一般的网站伪静态之后，原始的动态URL依然存在并能够访问，这样就造成了多个URL访问相同网址。
内容的其他版本
很多网站除了提供正常的版本之外还提供一些其它的浏览版本，比如打印版本或者简版，却并没有禁止搜索引擎去抓取这些页面，而这些页面也因此变成了重复内容页面。
网站结构
很多网站在结构设计之初并没考虑SEO方面的因素，结果是导致造成各种页面版本，比如产品按价格，评论，时间排序等，特别是一些电子商务网站，这种页面重复现象尤为严重。
URL任意加字符还是返回200状态码。
一些网站是因为网站程序和技术的原因，用户在URL参数后面随意加上一些字符都能够正常访问，并且页面是和没加之前的完全重复。
检查页面是否有重复版本有一个比较简单的方法，就是将内容随机选择一句话加双引号后进行搜索，从结果中就可以看到有多少个重复的页面。因为通常来说随机选一句话进行搜索完全生命的机率是比较小的。
⑥ 如何计算网站网页相似度
据统计，网页上的大部分相同的页面占29%，而主体内容完全相同的占22%，这些重复网页有的是没有一点改动的拷贝，有的在内容上稍作修改，比如同一文章的不同版本，一个新一点，一个老一点，有的则仅仅是网页的格式不同（如 HTML, Postscript）,文献[Models and Algorithms for Duplicate Document Detection 1999年]将内容重复归结为以下四个类型:
1.如果2篇文档内容和格式上毫无差别，则这种重复叫做full-layout plicate。
2.如果2篇文档内容相同，但是格式不同，则叫做full-content plicates
3.如果2篇文档有部分重要的内容相同，并且格式相同，则称为partial-layout plicates
4.如果2篇文档有部分重要的内容相同，但是格式不同，则称为partial-content plicates
网页去重的任务就是去掉网页中主题内容重复的部分。它和网页净化（noise rection），反作弊（antispam) 是搜索引擎的3大门神
去重在我看来起码有四好处：减少存储；增强检索效率；增强用户的体验；死链的另一种解决方案。
目前从网络的搜索结果来看，去重工作做的不是很完善，一方面可能是技术难度（precision和recall都超过90%还是很难的）；另一方面可能是重复的界定，比如转载算不算重复？所以另一项附属的工作是对个人可写的页面(PWP)进行特殊的处理,那么随之而来的工作就是识别PWP页面。^_^这里就不扯远呢。
问题如何解决？
网页的deplication，我们的算法应该是从最简单的开始，最朴素的算法当然是
对文档进行两两比较，如果A和B比较，如果相似就去掉其中一个
然而这个朴素的算法，存在几个没有解决的问题：
0.要解决问题是什么？full-layout？full-content？partial-layout还是partial-content？
1. 怎么度量A 和 B的相似程度
2. 去掉A还是去掉B，如果A ～B（～表相似,!~表示不相似），B～C 但是 A!~C，去掉B的话，C就去不掉。另一个更深入的问题是，算法的复杂度是多少?假设文档数为n，文档平均长度为m，如果相似度计算复杂度为m的某一个复杂度函数：T=T（m），文档两两比较的复杂度是O（n^2)，合起来是O（n^2 * T(m)) . 这个复杂度是相当高的，想搜索引擎这样处理海量数据的系统，这样的复杂度是完全不能接受的，所有，另外三个问题是：
3. 如何降低相似度计算的复杂化度
4. 如何减少文档比较的复杂度
5. 超大数据集该如何处理
第0个问题是，我们要解决的关键，不同的问题有不同的解决方法，从网页的角度来看，结构的重复并不能代表是重复，比如产品展示页面，不同的产品展示页面就有相同的文档结构。内容来看，复制网站会拷贝其他网站的主要内容，然后加些广告或做些修改。所以，解决的问题是，partial-content deplication，那么首先要抽取网页的主体内容。算法变成：
抽取文档主体内容，两两比较内容的相似性，如果A和B相似，去掉其中一个
其次，问题2依赖于问题1的相似度度量，如果度量函数具有传递性，那么问题2就不存在了，如果没有传递性，我们的方法是什么呢？哦，那就找一个关系，把相似关系传递开嘛，简单，聚类嘛，我们的框架可以改成：
抽取文档主体内容，两两比较内容的相似性，如果A和B相似，把他们聚类在一起，最后一个类里保留一个page
最后，归纳为几个步骤
第一步：识别页面的主题内容，网页净化的一部分，以后讨论
第二步：计算相似度
第三步：聚类算法，计算出文档那些文档是相似的，归类。
核心的问题是，“如何计算相似度？”这里很容易想到的是
1. 计算内容的编辑距离edit distance（方法很有名，但是复杂度太高）
2. 把内容分成一个个的token，然后用集合的jaccard度量（好主意，但是页面内容太多，能不能减少啊？）
好吧，但是，当然可以减少集合的个数呢，采样，抽取满足性质的token就可以啦，如满足 mod m =0 的token，比如有实词？比如stopwords。真是绝妙的注意.在把所有的idea放一起前，突然灵光一现，啊哈，
3. 计算内容的信息指纹，参考google研究员吴军的数学之美系列。
把他们放在一起：
第一步：识别页面的主题内容，网页净化的一部分，以后讨论
第二步：提取页面的特征。将文章切分为重合和或不重合的几个结合，hash out
第三步：用相似度度量来计算集合的相似性，包括用信息指纹，Jaccard集合相似度量，random projection等。
第四步：聚类算法，计算出文档那些文档是相似的，归类。
方法分类：
按照利用的信息，现有方法可以分为以下三类
1．只是利用内容计算相似
2．结合内容和链接关系计算相似
3．结合内容，链接关系以及url文字进行相似计算
一般为内容重复的去重，实际上有些网页是
按照特征提取的粒度现有方法可以分为以下三类
1.按照单词这个级别的粒度进行特征提取.
2.按照SHINGLE这个级别的粒度进行特征提取.SHNGLE是若干个连续出现的单词,级别处于文档和单词之间,比文档粒度小,比单词粒度大.
3.按照整个文档这个级别的粒度进行特征提取
算法-具体见真知
1. I-Match
2. Shingling
3. Locality Sensitive Hashing.(SimHash)
4. SpotSigs
5. Combined
⑦ 网站重复内容过多，会不会出现问题
网站内容的重复是网站SEO之大忌，网站内容重复性过高会直接影响到网站的收录、排名，严重时甚至会被K站。然而，很多站长却不知道如何判断网站内容的重复，以及找不到最佳的解决方案。这里所说的网站内容重复并不单单指的是文章的重复，除此以外还包括很多个方面。
一、网站内容重复包括哪些：
1、最常见的就是文章的重复，在网站内出现同一文章出现多次的情况，即便文章是原创，同样会影响到网站的整体运营，所以网站应该尽量避免内容的重复。
2、网站固定版块重复性过高，目前很多网站都是采用开源的cms系统，很多页面都是采用固定的版块，而这些版块内容都是长期不更新的，如此以来会出现千篇一律的内容，造成网站内容重复性过高，影响网站的质量。
3、网站动态页面和静态页面共存，当网络蜘蛛来访时，却收录了大量动态页面。
4、网站没有设置404错误页面，当在网站后台删除一个页面时，一定要给用户以及蜘蛛一定的提示，否则就会误导用户和蜘蛛，而此时最好的提示便是设置404错误页面了。当蜘蛛来访你的网站，发现有错误页面时，因为网站有了404错误页面，就会提示蜘蛛这个页面不存在，告知其访问其他页面。
5、网站页面图片居多，文字过少，很多图片的url地址都是同一个，这样会被搜索引擎认为是重复性的内容，不利于网站的长久发展。
二、如何检测网站内容的重复：
1、查看同一篇文章是否重复，可以使用title+文章标题进行查询。
2、可从文章首段复制一段文字，在网络搜索框进行搜索，前提是该文章被收录了。如果发现大量票红文字，则说明这篇文章重复性过高。
3、可通过站内搜索文章标题，可查询出重复的内容。
4、利用页面相似度检测工具，判断一些相邻页面的相似度，80%以上相似度就需要对一些固定栏目进行处理。
三、如何解决网站内容的重复性：
1、原创内容才是根本
要想减少网站内容的重复性，原创内容是根本，搜索引擎比较喜欢原创且质量高的内容，用户同样是如此，如果能够原创文章的更新，就可以从根本上避免文章过度重复的可能了。
2、网站页面设置独立meta属性
各个页面最好是设置独立的关键词、描述，尽可能的手动修改，减少meta标签的重复性。
3、设置404错误页面
404错误页面的作用就是要告诉用户和搜索引擎某些页面不存在，防止搜索引擎进一步收录，造成网站出现大量死链接。
4、网站固定版块内容随意展示
虽然有些页面不能避免会出现固定的版块，但是将这些版块的内容设置为随意展示，也就可以减少网站内容的重复性了。
最后网站内容是一个网站运营的基本元素，高质量的内容可以赢得用户以及搜索引擎的喜爱，但是重复或者采集内容就会产生负面影响。因此，我们在网站建设初期就应该规划好网站的结构，网站上线后应该优化好网站内容，减少内容的重复度。
⑧ 如何彻底解决网站存在的内容重复度问题
首先我们应该加大原创力度，不随意使用更新工具，不采集网络上的现成文章，对于标题和文章的重点章节都亲力亲为。
其次，整合网站栏目，去除上述文章中所说的重叠栏目，将目标关键词整合为联合关键词，比如用户搜索坦桑石和定制两个词进入网站，那么你完全可以 直接使用坦桑石定制作为目标关键词，同时也要经常清除一些网站中页面之间的死链接，将一些不重要或者是时效性不强的东西彻底清除掉。
最后，不因为麻烦而去下载网络上的现成模板，那类免费的模板基本上在优化上很难达标，有能力的同学可以自定义网站结构，并且在网站上增加搜索功 能，将一些不常被查阅的文章优先显示出来，增加文章之间的阅读量，如果精力允许的话，能给每个页面加上不同的Meta标签将会更好，更有利于降低重复度。
⑨ 如何判断网页文章重复度
复制文字，然搜索粘贴到网络搜索框中，点击搜索，然后看搜索结果里是不是大片的漂红，如果不是，就重复程度低！
⑩ seo优化，网站代码冗余度很高是什么意思
就是你的网站本来可以用比较少的代码完成，比如js代码可以放到外部文件，还有就是用表格布局的冗余代码也比较多，建议用div+css布局，能放到外部文件的，都引用外部文件