毕业设计（论文）-基于SEO技术的CMS网站设计.doc

本科毕业论文（设计）基于SEO技术的CMS网站设计院 （系）信息学院专 业电子商务学 号学生姓名指导教师完成日期2011年 5月 7日诚信声明本人郑重声明:所呈交的毕业论文(设计)是我个人在导师指导下,由我本人独立完成。有关观点、方法、数据和文献等的引用已在文中特别指出，并与参考文献相对应。据我查证，除了文中特别加以标注外，论文中不包括其他已经发表和撰写的研究成果，也不包括为获得其他教育机构的学位或证书而使用过的材料。我承诺，论文中的所有内容均真实、可信。如在文中涉及到抄袭或剽窃行为，本人愿承担由此而造成的一切后果及责任。毕业论文（设计）作者签名：年月日毕业论文(设计)成绩评定表毕业论文（设计）指导教师评语及成绩成绩 指导教师签名 年 月 日毕业论文（设计）复评教师评语及成绩成绩 复评教师签名 年 月 日毕业论文（设计）答辩评语及成绩成绩 答辩委员会主席签名 年 月 日毕业论文（设计）总成绩（五级记分制） 院（系）负责人签名 年 月 日TITLE：Based on the SEO techniques of CMS web designMAJOR：E-commerceAPPLICANT： Wang jiang SUPERVISOR：xinwei Zheng内容摘要如今WEB网站开发技术日渐成熟，建站已成为很容易的事情，但是如何使建好的网站更易于被搜索引擎收录，从而达到推广的目的成为了众多网站运营者急需解决的问题。本文详细阐述了搜索引擎的基本原理，从理论和实践两个角度出发，在网站开发中引入SEO技术。以现有的SEO技术，拟提出了一种对网站优化的设计模型基于SEO技术的CMS网站设计模型。该模型主要从网站结构策略、关键词策略、Tag策略和其他策略4个方面，分析人们对网站优化的需求问题，解决网站开发时对网站优化的困惑。最后根据所给出的四种SEO策略实现了基于SEO技术的CMS网站实例。根据CMS网站的开发过程，重点介绍了基于SEO技术的的设计和实现过程。关键词： SEO技术 搜索引擎 网站优化 CMSAbstractNowadays with the WEB site development technology getting mature, it becomes much easier to build a website. However, how to make a good website that can be easily accepted by the search engine therefore to promote the site, has become an urgent problem that many webmasters need to fix. This thesis expounds the basic principle of Search Engine Optimization, introducing SEO techniques in the development of websites. With the existing SEO technology, a website optimization design model has been proposed - CMS website design model based on SEO technology. In this thesis, the SEO techniques for website optimization has been discussed from four aspects of the CMS website design model - website structure strategy, keyword strategy, meta strategy and other strategies. It analyses the website optimization request and solves the confusion of how to optimize the site for website development. Finally, according to the given four SEO strategies, the website is made examples based on SEO technology of CMS. According to the development process of CMS website, the process of design and procedures were heavily introduced.Key words：SEO technology Search engine Website optimization CMS目 录1 绪论 ····························································· 111 项目的背景和意义························································ 112 国内外研究开发现状分析·················································213 项目的目标······················································ 214 论文结构简介 ······················································ 32 相关原理和技术 ·················································· 42.1 搜索引擎的原理······················································42.2 SEO技术介绍····················································623 本章小结······························································· 73项目需求分析················································ 831 系统需求获取 ················································ 832 系统需求分析 ·················································· 933 本章小结 ·················································· 124项目的总体设计··············································· 1341 系统架构及原理 ················································ 1342 系统的模块结构 ·················································· 1543 数据库设计 ···················································· 1744 本章小结 ···················································· 175项目的实现和应用··············································· 1851 开发环境 ················································ 1852 本章小结 ················································ 196 总结与展望································································· 20参考文献··········································································· 21致谢附录广东商学院信息学院 基于SEO技术的CMS网站设计1、绪论1.1 项目的背景和意义当今互联网的发展可谓一日千里，越来越多的人们加入到网民一族，据中国互联网络信息中心(CNNIC)发布的统计报告显示，截至2010年6月底，中国网民规模较2009年底增加3600万人，突破了4亿大关，达到了4.2亿人。越来越多的网民习惯在网上发布和获取信息，使得互联网上的信息不断丰富和发展，迅速膨胀成为信息海洋，为人们提供了丰富的信息资源。然而这些信息却是以各种形式杂乱无章地散布在无数的服务器上，并且质量不齐，更新变化快，用户要得到真正有价值的信息有很大的困难。所以，网络搜索引擎正是人们需要的一种工具，以互联网上的信息为主要处理对象，根据不同的需求检索出有用的信息，使得信息资源得到有效的利用。目前国内主流的搜索引擎有百度、谷歌、雅虎、网易有道、搜搜、搜狗等，其中百度在国内市场占据着绝对的优势。在iResearch(艾瑞)发布的2008-2009年中国搜索引擎行业发展报告中，百度继续巩固其市场老大的地位，占据了63.5%的市场营收份额；谷歌市场份额则达到27.3%。百度、谷歌两巨头的营收份额之和超90%，基本垄断中国搜索引擎市场。如表1-1“2008年中国搜索引擎市营收份额”所示。表1-1 2008年中国搜索引擎市营收份额Table1-1 In 2008 China search engine city revenue share2008年中国搜索引擎市营收份额搜索引擎百度谷歌中国中国雅虎搜狗中搜新浪爱问网易有道其他百分比63.5%27.3%6.2%1.0%0.6%0.3%0.3%0.8%在中文搜索市场，百度独大，Google第二1。据艾瑞网公布的数字，2010年谷歌退出中国后，按网页搜索量计算，百度在中国搜索引擎市场占有80.2%份额，日搜索量达数十亿次，Google下降至14.1%，百度从某种程度上垄断了国内搜索引擎市场。反观其他搜索引擎，雅虎、网易有道、搜搜、搜狗等的市场份额很低，但是这些搜索引擎都在稳步发展，在搜索引擎领域中分得一小份蛋糕。搜索引擎的快速发展带动了搜索引擎优化(SEO)的发展，越来越多的企业或个人站长都在学习SEO知识，想通过SEO在搜索引擎中获得利益。现在百度成为了国内搜索引擎的主流，所以从事SEO的人更多地去研究百度。百度的排名方式有两种，一种是竞价排名，另一种是自然排名。竞价排名不在我们的考虑当中，因为竞价排名也是做付费推广，这个成本太高，对于中小型网站来说做竞价排名不太容易，所以做SEO做的是自然排名。现在SEOer(从事SEO的人)在做百度SEO时面临着许多问题，随着百度的发展，百度开发了越来越多的产品，例如百度知道、百度文库、百度百科等等，最近又出了个“百度阿拉丁”，即百度的开放平台，在百度自然排名中，百度自己的产品往往会获得良好的排名，例如在一个关键词的搜索结果中，除了百度的竞价推广外，可能还会同时出现百度知道、百度文库、百度百科甚至更多的百度产品的情况，这样就把自然排名中前十位至占去了三位，那么SEOer可做排名的位置就减少了，可做排名的空间被压缩，导致SEO竞争也越来越大。百度的排名算法也经常更新，每次更新对网站的排名都会有影响，有些网站的排名掉了，有些的排上来了。为了保持网站的排名稳定在前，需要有专门的SEO人员去维护，所以做SEO也是一个长期的过程，这过程中虽然不能马上见效，但是一旦有了良好的排名，收益是显而易见的。12 国内外研究开发现状分析国外SEO现状。国外早在97年左右就有人从事相关方面的工作，就目前而言是处于高速发展的阶段了。他们有专业的人员、专业的公司从事搜索引擎研究、优化等工作，无论从哪方面来说都处于绝大的优势。 1、技术上讲，国外的白帽SEO占据话语主流。与国内SEO行业情况相比，国外SEO行业的话语主动权基本上是掌握在白帽SEO手里。无论是搜索引擎本身，还是网站设计公司或者客户，对SEO都有比较正确的认识。 2、国外SEO大多关注高端市场，比较有名的SEO公司，都会提供以咨询为主的服务，在需要的时候，也会提供整套服务，包括咨询，写作，关键词研究，页面的修改，建立链接等。 3、SEO服务价格高、业务多样化，不同的SEO公司都在积极开拓不同的业务，建自己的电子商务网站。 4、SEO服务专门化。有一部分SEO专家和公司专注于做SEO的某一方面，比如专做关键词研究，专门做链接建立，专门写文案等。 5、信誉和地位。做的有声有色的SEO公司，绝大部分都有一个人通过论坛或博客等方式，在业界建立一个标志性地位。客户在寻找SEO服务公司时，提到某一个人，在行业内都知道有这么一号人物，对SEO服务公司非常有好处，虽然这位人物并不一定直接做具体的项一、中国SEO现状，国内的SEO发展，2003年才起步，目前正处于初步发展阶段。具体特征： 1、从事这方面的人不多，也不专业。 2、未形成规模。 3、多是作坊式经营，即主要是对本公司的网站进行一定的修改，就说成所谓为网站优化。 4、有专业的公司，但规模不大、技术也一般。13 项目的目标随着互联网技术的迅速发展与对网站优化的需求日益增加，基于SEO技术的CMS的网站设计凭借其能满足广大网站运营者在搜索引擎上获得良好排名的需求优势，成为了当前电子商务领域的热点之一2。相对于传统的CMS网站，基于SEO技术的网站功能更加强大，对搜索引擎更加友好，使得网站运营者在网站运营时能够降低运营成本，提高工作效率，达到对用户友好并易于宣传推广的最佳效果。在电子商务活动越来越多的情况下，在搜索引擎进入我们生活的情况下，对于解决网站架构更加符合搜索引擎收录原则，内容更加符合用户的体验是推动新时代的电子商务活动的巨大动力。WEB 2.0时代的CMS网站需要建立更适合的设计模型，以SEO技术为核心的网站设计体系等3。本文在PHP技术的基础下进行了分析，结合SEO技术，提出了一种新的CMS网站设计模型基于SEO技术的CMS网站设计模型。而依靠新技术的相互结合，如把TAG 2.0技术加入到网站设计中，网站的内链将得到更大的提高，CMS的网站功能将更加强大。14 论文结构简介 第2章介绍了系统相关原理，例如搜索引擎的基本原理、Pagerank算法原理，还对SEO技术作了详细的介绍。第3章介绍了系统的需求获取和需求分析，通过分析系统的需求，才能想办法去满足系统的需求。第4章给出了系统的架构、模块结构和各重要的数据库表结构设计，通过各种图形来了阐明系统的实现原理。第5章提出了基于PHP和基于SEO的网站设计模型，和开发这样的一个系统所需要的开发环境。第6章对整篇论文的观点作了总结，并对系统的优缺点进行分析总结，指明以后改进或努力的方向。2、相关原理和技术2.1 搜索引擎的原理搜索引擎通过蜘蛛程序(spider)收集互联网上的网页，并对网页的关键词进行索引，建立索引数据库，这些关键词经过复杂的算法处理，将相关的网页进行排序后供网友搜索，当网友在搜索某个关键词时，搜索引擎会根据关键词与网页的相关度返回搜索结果。其过程可以分为三个步骤:(1)蜘蛛爬行与网页抓取搜索引擎通过定期或者不定期派出蜘蛛程序，通过爬行超链接来抓取互联网上的网页，将数据库中没有的网页存入到数据库中，并检查已有的网页是否有更新，有则对数据库进行更新，无则保持不变。(2)建立索引搜索引擎需要对数据库中的网页进行文字提取、分词、消除噪声（去掉网页上与内容无关的信息）、排重（排除重复的内容）等算法对网页进行排序，建立索引后，搜索引擎就可以随时处理用户的搜索请求。(3)返回结果用户在搜索引擎中输入搜索关键词时，搜索引擎就会响应搜索请求，返回搜索结果给用户，这是搜索引擎与用户的直接互动。搜索引擎返回结果前需要对搜索关键词进行复杂的搜索词处理、文件匹配、初始子集的选择以及相关性计算等，筛选出用户最需要的信息并返回给用户，达到最佳的用户搜索体验。2.1.2 Pagerank算法任何一种搜索引擎都有其特有的链接算法，其中最著名的是谷歌的Page- rank算法，简称PR，属于斯坦福大学的专利，谷歌却有排他使用权。谷歌的Pagerank可以用以下公式来表示：PR(A)=(1-d)+d(PR(T1)/C(T1)+PR(T2)/C(T2)+PR(Tn)/C(Tn)4，其中A代表页面A，PR(A)代表页面A的PR值，d为阻尼系数，通常为0.85，Tn为链接到A的页面，C为页面的导出链接数量，C(Tn)为页面Tn的导出链接数量。PR虽然只是影响谷歌自然排名的200多个因素之一，而且重要性已经下降了许多，但是仍然受到了众多站长的推崇，许多情况下以PR值的高低来判断一个网站的好坏，例如在做友情链接交换时，PR值就作为是否交换的参考标准之一。PR值的意义除了影响排名外，还会影响网站页面收录的深度和广度、网站的更新速度等。由于某些站长过分注重PR值，导致这些站长使用黑帽SEO（一种作弊手段）来提高网站的PR值，这样做是很危险的，一不小心就有被搜索引擎惩罚的可能。所以网站的PR权重需要慢慢积累，切不可急功冒进。2.1.3 搜索引擎排名机制(以百度为例)每一种搜索引擎都有其特有的排名机制，通过这些机制来决定某一网站的某些关键词在搜索引擎上的排名。所以了解搜索引擎的排名机制，可以快速分析网站所存在的问题，然后有的放矢，使SEO工作定位更加准确，这样就可以减少了很多不必要的工作。百度搜索引擎的排名机制综合了许多种因素，可以总结为三种，一是良好排序，二是良好收录，三是良好展现。良好排序要求涵盖网页上主要内容的title、良好的内容建设以及赢得用户对网站的推荐，内容的title是指显示在搜索结果中的那一行文字；良好的内容建设是指网站所做的内容是用户真正想要的，能够吸引用户停留在网站上浏览更多的信息，增加用户粘性；赢利用户对网站的推荐是指一种口碑推广，一个受用户欢迎的网站也必将受到搜索引擎的喜爱，因为搜索引擎也相当一个用户，它模拟一个真正的人去读取网站的内容，只是读取方式跟一般的用户有所区别。良好收录则要求机器可读（即百度spider可识别的内容）、合理的网站结构和规范简单的URL，机器可读是指搜索引擎可以识别网页代码，更好地抓取网页的内容，搜索引擎喜欢HTML和纯文本的内容，但是对于图片、flash、javascript等目前还不能识别，所以在网站建设中尽量减少这些元素的使用；合理的网站结构是指网站的结构要简单易操作，它是一种扁平的树形网状结构；规范简单的URL是指网页的网址要简洁易记，不能有过多的参数，某些动态页面的URL都会有许多只有机器才能识别的符号，而用户是看不懂的，过多的参数对网页的抓取和对用户的体验都不太好，所以若是动态的URL，可以使用伪静态技术将其静态化。良好展现要求网站要有吸引眼球的title和善于利用好meta discription，title会显示在搜索结果中，但是meta discription不一定会显示，不过设计合理的并且具有吸引人的title和meta discription可以使网站的关键词分布更加合理，更能匹配用户搜索请求，也使得用户更容易在搜索结果中点击进入到网站中来。在做搜索引擎优化时需要对搜索引擎的排名机制有比较深的了解，才能在搜索引擎允许的情况下去做相应的优化，去迎合搜索引擎的口味，将自己网站的内容在搜索引擎排中获得良好的排名。2.1.4 影响搜索引擎蜘蛛爬行的因素做SEO的人都知道，可以利用一些手段去引导搜索引擎蜘蛛来爬行网站以增加网站的收录，但是如果网站自身内部没做好优化，会阻碍搜索引擎蜘蛛的爬行。搜索引擎喜欢纯HTML和纯文本内容，对于不能识别的代码或者其他一些元素，就会影响搜索引擎蜘蛛对网页的抓取，其中影响的因素主要有图片、javascript、flash、iframe、AJAX等，因为这些内容搜索引擎蜘蛛是不能识别的。谷歌虽然说目前googlebot可以识别javascript的内容，但是对此还是不要有太多的奢望，就算谷歌目前有这样的技术，其他搜索引擎未必有，而且可以识别javascript也只是谷歌的一家之言，但是现在SEOer所做的SEO主要是针对百度搜索引擎的，因为自从谷歌在2010年退出中国后，其市场份额下降，百度的份额有所上升，所以做百度SEO比谷歌SEO更划算。对于影响搜索引擎蜘蛛爬行的因素，能避免则避免，不能为了网站外部的美观而使用过多的图片，或者整个页面都是使用flash，这样忽略了SEO，是得不偿失的，这时可以对图片的alt标签做个优化，但是尽量少用flash。如果为了要增强网站的功能，使用javascript，则可以考虑将js以外部文件的形式，在HTML里进行调用，这样就可以减少网页代码，对爬虫就不会产生影响5。2.2 SEO技术介绍SEO的中文是搜索引擎优化，是英文Search Engine Optimization的缩写，可以描述为To use some techniques to make your website in the top places in Search Engine when somebody is using Search Engine to find something6，可以理解为：使用SEO技术可以使我们的网站在搜索引擎中获得良好的自然排名，当用户在搜索引擎上搜索某些信息时，可以很快定位到我们的网站上，从而给我网站带来可观的SE(搜索引擎)流量。这里有必要对搜索引擎优化的概念作一个说明，很多人会对搜索引擎优化这个词顾名思议，认为搜索引擎优化就是对搜索引擎本身的优化，或者对搜索引擎的算法做改进优化，这样的理解是错误的，事实上搜索引擎优化是对网站的优化，通过优化网站使得网站在搜索引擎中获得良好的排名，从而获得品牌收益7。对于一个电子商务网站来说，流量是网站生存的根本，网站的流量来源有很多，但是没有哪一种来源能比得上搜索引擎来源来得珍贵，因为用户通过搜索主动找到我们的网站，目标非常精准，转化率高，而且搜索来源非常稳定，如此高质量的流量，给站长或企业带来源源不断的销售和广告收入。此外，运用SEO提升网站排名，还可以减少网络广告投放，降低推广成本。运营成本少了，销售收入增加了，此消彼涨，达到效益最大化，这是众多站长和互联网企业热衷于SEO的原因。不过利用SEO技术优化网站架构和关键词等，只是迎合搜索引擎的排名规则，将好的内容更好地呈现给用户，但是一个网站最重要的还是要做好内容，还有外部链接，所谓内容为王，外链为皇，说的就是SEO真正要做的要点。SEO是一套基于搜索引擎的营销思路，为网站提供生态式的自我营销解决方案，让网站在行业内占据领先地位，从而获得品牌收益。SEO技术在国内起步晚，目前仍未形成一套完整的理论体系，然而SEO技术的出现，使得整个互联网行业焕发出新的活力。电子商务的快速发展，网站运营必然面临着各种各样的优化问题。尽管SEO技术给网站运营带来了诸多优势，但怎样将其运用到网站开发中仍是开发者需要考虑的问题。设计具有SEO功能的CMS网站，对网站运营和新技术的发展与应用具有重要的理论价值和实际意义。2.3 本章小结本章介绍了PHP、CMS和SEO的相关知识，以及基于PHP和SEO的CMS网站模型的优点，通过在使用PHP+Mysql来开发CMS网站的基础上，引入SEO技术，开发出一个功能强大的CMS网站。3、项目需求分析3.1系统需求获取3.1.1网站结构策略网站结构一般可分为物理结构和链接结构，物理结构是指网站真实的目录及文件所在的位置所决定的结构；链接结构，也称为逻辑结构，就是由网站内部链接形成的链接网络图。搜索引擎对网站结构有着重要的要求，因为一个网站结构的好坏，直接影响用户的体验，搜索引擎其实也相当一个用户，如果网站的结构杂乱无序，目录层次太深，URL也会变得很复杂，从而有可能导致搜索引擎蜘蛛陷入链接黑洞，不能自拔，这样对网站页面的收录造成很大的影响，所以利用SEO技术优化网站结构可以提升用户体验、利于搜索引擎收录、权重分配合理等好处。 3.1.2关键词密度策略关键词密度(Keyword Density)也叫关键词频率(Keyword Frequency)，它是用来量度关键词在网页上出现的总次数与其他文字的比例，一般用百分比表示。相对于页面总字数而言，关键词出现的频率越高，那么关键词密度也就越大8。3.1.3关键词生成内链策略这个功能可以把文章里的关键词链到各个地方，也就是内链优化。内链的优化是非常重要的。首先，内链对于网站的排名也有提高的作用，对于网站的发展考虑内链的作用是不可估量的，一些大型门户站点数据量很大，这些网站是很注重内链的，一旦遇到搜索引擎调整内链权重的时候，就会发现排名的波动会很厉害，也就是说内链的数量越多，起到的作用越大，所以随着网站数据增多，内链也会越多，其作用也就会日渐凸显。其次，对于大部分的站长来说主要的精力都放到了核心关键词的优化上而忽略了长尾词，事实上很多长尾词的流量也是非常可观的，长尾词的优化可以用内链来代替，毕竟长尾关键词竞争不是很大，随着网站数据和内链的增多，长尾关键词获得好的排名是指日可待的。这样也不会影响到网站核心关键词的优化进程。再次，内链可以使网站页面之间通达无阻，方便蜘蛛对网页的抓取，尤其是一些目录结构过深或者结构比较乱的网站来说，可以很好的引导蜘蛛来索引页面，有些结构不好的网站总是不收录内页其很大的原因在于没有一个让蜘蛛进入的通道。最后，内链对于用户体验也有很大的作用，很多的大型门户类网站，特别是新闻站点，在阅读新闻的页面下方会有一些相关阅读，都是一些和当前阅读新闻相关的文章，都是以超链接形式出现的，很方便的就可以进入这些页面，这些链接其实也无形中加大了内页的权重同时也方便了用户的阅读。3.1.4Tag的SEO技术策略Tag即标签，是web2.0的产物，是一种开放式的分类9。Tag可以将具有相同标签的内容关联起来，根据一个内容的标签，去找出与这个标签相关的内容，推荐给用户看，这样不单可以吸引用户继续阅读下一个内容，还可以在内容之间形成一个网状的内链，对内链的优化有非常大的好处。3.1.5 其他策略搜索引擎除了对上述几点要求外，其对其他一些元素也有所要求，例如robots.txt、动态URL静态化、网页减肥等。获取了搜索引擎对这些要素的需求，就可以着手对这些要素进行优化。3.2系统需求分析3.2.1 网站结构分析合理的网站结构应该是一个扁平的树型网状结构10。扁平是指从首页到内容页的层次尽量少，树型是指从首页（树干）到频道页（树枝），再到文章页（树叶）这样的形式，网状是指首页可以链接到频道页，频道页可以链接到首页和文章页，文章页又可以链到频道页和首页。清晰合理的网站结构可以让用户找到想要的信息，清楚知道所处的位置，还有利于搜索引擎爬虫爬行。3.2.2 关键词密度分析关键词密度是影响关键词排名的重要因素之一，一般来说关键词密度越大，对关键词排名越有利，但是搜索引擎为防止黑帽SEO利用这一点来作弊，对于不合理的关键词密度，搜索引擎会有一套专门的处理机制，所以我们对于关键词密度要合理利用。本文对文章列表标题添加了title属性，这样相当于重复了一次标题，以达到增加关键词密度的目的。同时当鼠标放到文字上时，会显示与标题相同的文字。3.2.3 关键词生成内链分析关键词生成内链都需要赋予它一种生成规则，按照规则生成的内容，才能规范化，合理化。本文所提到的关键词内链生成规则有两条：一是在关键词维护里添加关键词及对应URL，二是文章要出现该关键词。3.2.4 Tag的SEO技术策略分析Tag标签的作用与上面所说的关键词内链优化的作用基本上是一样的，而Tag与关键词的主要区别在于，Tag是一个话题，或者说是某一相同内容的聚合，生成的Tag终端页是一个列表页，列表页的内容都是跟Tag相关的，而关键词只是与某一篇文章内容最相关的词。Tag与关键词还有一个相关点就是，可以以关键词作为Tag标签。现在Tag技术比较成熟，在许多网站上得到应用，特别是一些大型的咨讯类的网站。搜索引擎对于Tag标签也赋予了较高的权重，例如谷歌搜索引擎，直接将Tag标签以中文的形式显示在搜索搜索结果中，并且对这个标签加上了链接，点击这个链接，可以直接访问到Tag的聚合列表页上。所以对Tag作SEO上的优化，绝对是不可少的，这也是SEOer所要考虑的在网站架构上对网站作搜索引擎优化。3.2.5 其他策略分析（1）robots.txt robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索蜘蛛就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。robots.txt的基本语法只有两条，第一条是User-Agent，即搜索引擎蜘蛛的名称；第二条是Disallow，即要拦截的内容11。 robots.txt可以制止不必要的搜索引擎占用服务器的宝贵带宽，如 image strippers对于大多数非图形类网站来说其也没有太大意义，但却耗用大量带宽。robots.txt还可以制止搜索引擎对非公开页面的爬行与索引，如网站的后台程序、管理程序，事实上，对于某些在运行中产生临时页面的网站来说，如果未配置 robots.txt，搜索引擎甚至会索引那些临时文件。对于内容丰富、存在很多页面的网站来说，配置robots.txt的意义更为重大，因为很多时候，其会遭遇到搜索引擎 Spider 给予网站的巨大压力：洪水般的 Spider 访问，如果不加控制，甚至会影响网站的正常访问。本站的robots.txt代码就见附录的代码4。（2）动态URL静态化前文有提到动态的URL是带有参数的URL，这种URL对网友体验和搜索引擎爬虫的爬行都不大好，所以有必要对其作静态化处理。面向搜索引擎的优化，其中就包括访问地址的改写，令动态网页看上去是静态网页，以便更多更大量地被搜索引擎收录，从而最大限度地提高自已的内容被目标受众接收的机会。首先来分析动态URL与静态URL的区别。动态URL和静态URL也就是常说的动态页面和静态页面。常见的静态页面的扩展名有.html、.htm。动态页面常见的扩展名有.asp 、.php 、.jsp、 .cgi、.aspx 等。 需要注意的是，静态页面并非网站上没有动画的页面；动态页面的“动态”是网站与客户端用户互动的意思，而非网页上有动画的就是动态页面。动态页面与静态页面的主要区别在于URL的后缀名不同，以及是否带有“？”一类的参数，如果有，搜索引擎会认为该网站不友好。以下两个网页的URL区分了动态页面与静态页面：A：http:/www.phpwind.net/thread.php?fid=2B：http:/www.phpwind.net/thread-htm-fid-2.html其中A为静态页面，B为动态页面，这两个URL指向的是同一个页面。动态页面静态化涉及到很多技术细节，例如Rewrite中的正则表达式，这是一种用来描述或者匹配一系列符合某个句法规则的字符串的单个字符串。这种正则表达式看来起挺复杂，因本人能力有限，对正则表达式只处于初步认识阶段，所以在此暂不给出相关的代码。除了利用Rewrite的正则表达式来解决静态页面，还可以通过服务器设置来解决，但是不同的服务器的解决方式又不同，例如Apache服务器和windows server服务器的操作方法是不同的，这里也暂不给出具体细节。虽然现在还不能提出相应的解决方法，但是SEO作为我以后的工作方向，这方面的知识也是我需要学习研究的。（3）网页减肥网页减肥，不仅是通过一些手段对网页文件大小进行压缩，更多的是指对网页本身结构和代码的一些优化，使网页的代码达到最少。正常情况下一个页面的文件大小在15K左右，最大不超过50K，通过减少一些不必要的代码、去除不必要的空格和换行、将CSS、js代码利用外部链接调用等方法减小网页的大小，提高网页的访问速度，更适合爬虫的抓取。网页减肥的方法有网页的CSS重构、网页的JavaScript重构等。1、网页的CSS重构网页制作应通过CSS（层叠样式表单）来统一定制字体风格，以使代码标准化，避免大量的字体和格式化标签充斥页面。通过CSS 可以控制任何HTML 标签的风格。例如<td>，<p>，<body>，<table>，<tr>，<th>等。只要在<style type="text/css">和</style>之间指定对应标签的风格如字体、颜色、大小即可。例如：<style type="text/css"><!-h2 font-family: " 宋体" font-size: 12pt; color: #333366;background-color: #FFCCCC; font-weight: bold h1 font-family: "Arial" font-size: 12pt; color: #9