如何使用robots.txt—来自GOOGLE的权威资料




这可是GOOGLE的,相信你通过学习其中的知识能对你网站的排名及收录有很大的帮助。

robots.txt 文件对抓取网络的搜索引擎漫游器(称为漫游器)进行限制。这些漫游器是自动的,在它们访问网页前会查看是否存在限制其访问特定网页的 robots.txt 文件。如果你想保护网站上的某些内容不被搜索引擎收入的话,robots.txt 是一个简单有效的工具。这里简单介绍一下怎么使用它。

如何放置 Robots.txt 文件

robots.txt 自身是一个文本文件。它必须位于域名的根目录中并 被命名为"robots.txt"。位于子目录中的 robots.txt 文件无效,因为漫游器只在域名的根目录中查找此文件。例如,http://www.example.com/robots.txt 是有效位置,http://www.example.com/mysite/robots.txt 则不是。

这里举一个robots.txt的例子:

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~name/

使用 robots.txt 文件拦截或删除整个网站

要从搜索引擎中删除您的网站,并防止所有漫游器在以后抓取您的网站,请将以下 robots.txt 文件放入您服务器的根目录:

User-agent: *
Disallow: /

要只从 Google 中删除您的网站,并只是防止 Googlebot 将来抓取您的网站,请将以下 robots.txt 文件放入您服务器的根目录:

User-agent: Googlebot
Disallow: /

每 个端口都应有自己的 robots.txt 文件。尤其是您通过 http 和 https 托管内容的时候,这些协议都需要有各自的 robots.txt 文件。例如,要让 Googlebot 只为所有的 http 网页而不为 https 网页编制索引,应使用下面的 robots.txt 文件。

对于 http 协议 (http://yourserver.com/robots.txt):

User-agent: *
Allow: /

对于 https 协议 (https://yourserver.com/robots.txt):

User-agent: *
Disallow: /

允许所有的漫游器访问您的网页

User-agent: *
Disallow:

(另一种方法: 建立一个空的 "/robots.txt" 文件, 或者不使用robot.txt。)

使用 robots.txt 文件拦截或删除网页

您 可以使用 robots.txt 文件来阻止 Googlebot 抓取您网站上的网页。 例如,如果您正在手动创建 robots.txt 文件以阻止 Googlebot 抓取某一特定目录下(例如,private)的所有网页,可使用以下 robots.txt 条目:

User-agent: Googlebot
Disallow: /private

要阻止 Googlebot 抓取特定文件类型(例如,.gif)的所有文件,可使用以下 robots.txt 条目:

User-agent: Googlebot
Disallow: /*.gif$

要阻止 Googlebot 抓取所有包含 ? 的网址(具体地说,这种网址以您的域名开头,后接任意字符串,然后是问号,而后又是任意字符串),可使用以下条目:

User-agent: Googlebot
Disallow: /*?

尽 管我们不抓取被 robots.txt 拦截的网页内容或为其编制索引,但如果我们在网络上的其他网页中发现这些内容,我们仍然会抓取其网址并编制索引。因此,网页网址及其他公开的信息,例如指 向该网站的链接中的定位文字,有可能会出现在 Google 搜索结果中。不过,您网页上的内容不会被抓取、编制索引和显示。

作为网站管理员工具的一部分,Google提供了robots.txt分析工具 。它可以按照 Googlebot 读取 robots.txt 文件的相同方式读取该文件,并且可为 Google user-agents(如 Googlebot)提供结果。我们强烈建议您使用它。 在创建一个 robots.txt 文件之前,有必要考虑一下哪些内容可以被用户搜得到,而哪些则不应该被搜得到。 这样的话,通过合理地使用 robots.txt , 搜索引擎在把用户带到您网站的同时,又能保证隐私信息不被收录。

学习了这么多,快去试试吧。

在线测试:选择合适你的 Linux 发行版(Linux Distribution Chooser)


 如果你对Linux的发行版不是很了解,而又想知道面对庞杂的Linux家族中选出适合自己的Linux的话,不妨尝试一下zegenie studiosLDC(Linux Distribution Chooser)

        测试地址:http://www.zegeniestudios.net/ldc/index.php

同时也给大家提供一个在网上找到的文章:


前段时间,有几个朋友都向我咨询该选择哪个Linux发行版本(Linux Distribution),在询问了他们自己的需求和想法后,给他们提供了相应的建议。介绍Linux各个发行版本的不同很有必要,而且Linux大部分发行版本都各有特色,根据自己的需求来合理的选 择适合自己的Linux发行版本是每个初学者在使用Linux前最重要的一步。

  

首先介绍一下Linux的由来和各种发行版本:

Linux最早由Linus Benedict Torvalds在1991年开始编写。在这之前,Richard Stallman创建了Free Software Foundation(FSF)组织以及GNU项目,并不断的编写创建GNU程序(此类程序的许可方式均为GPL: General Public License)。[separator]在不断的有杰出的程序员和开发者加入到GNU组织中后,便造就了今天我们所看到的Linux,或称GNU/Linux。

Linux的发行版本可以大体分为两类,一类是商业公司维护的发行版本,一类是社区组织维护的发行版本,前者以著名的Redhat(RHEL)为代表,后者以Debian为代表。下面介绍一下各个发行版本的特点:

Redhat,应该称为Redhat系列,包括RHEL(Redhat Enterprise Linux,也就是所谓的Redhat Advance Server,收费版本)、Fedora Core(由原来的Redhat桌面版本发展而来,免费版本)、CentOS(RHEL 的社区克隆版本,免费)。Redhat应该说是在国内使用人群最多的Linux版本,甚至有人将Redhat等同于Linux,而有些老鸟更是只用这一个 版本的Linux。所以这个版本的特点就是使用人群数量大,资料非常多,言下之意就是如果你有什么不明白的地方,很容易找到人来问,而且网上的一般 Linux教程都是以Redhat为例来讲解的。Redhat系列的包管理方式采用的是基于RPM包的YUM包管理方式,包分发方式是编译好的二进制文 件。稳定性方面RHEL和CentOS的稳定性非常好,适合于服务器使用,但是Fedora Core的稳定性较差,最好只用于桌面应用。

Debian,或者称Debian 系列,包括Debian和Ubuntu等。Debian是社区类Linux的典范,是迄今为止最遵循GNU规范的Linux系统。Debian最早由 Ian Murdock于1993年创建,分为三个版本分支(branch): stable, testing 和 unstable。其中,unstable为最新的测试版本,其中包括最新的软件包,但是也有相对较多的bug,适合桌面用户。testing的版本都经 过unstable中的测试,相对较为稳定,也支持了不少新技术(比如SMP等)。而stable一般只用于服务器,上面的软件包大部分都比较过时,但是 稳定和安全性都非常的高。Debian最具特色的是apt-get / dpkg包管理方式,其实Redhat的YUM也是在模仿Debian的APT方式,但在二进制文件发行方式中,APT应该是最好的了。Debian的资 料也很丰富,有很多支持的社区,有问题求教也有地方可去:)

Ubuntu严格来说不能算一个独 立的发行版本,Ubuntu是基于Debian的unstable版本加强而来,可以这么说,Ubuntu就是一个拥有Debian所有的优点,以及自己 所加强的优点的近乎完美的 Linux桌面系统。根据选择的桌面系统不同,有三个版本可供选择,基于Gnome的Ubuntu,基于KDE的Kubuntu以及基于Xfc的 Xubuntu。特点是界面非常友好,容易上手,对硬件的支持非常全面,是最适合做桌面系统的Linux发行版本。

Gentoo,伟大的Gentoo 是Linux世界最年轻的发行版本,正因为年轻,所以能吸取在她之前的所有发行版本的优点,这也是Gentoo被称为最完美的Linux发行版本的原因之 一。Gentoo最初由Daniel Robbins(FreeBSD的开发者之一)创建,首个稳定版本发布于2002年。由于开发者对FreeBSD的熟识,所以Gentoo拥有媲美 FreeBSD的广受美誉的ports系统 ——Portage包管理系统。不同于APT和YUM等二进制文件分发的包管理系统,Portage是基于源代码分发的,必须编译后才能运行,对于大型软 件而言比较慢,不过正因为所有软件都是在本地机器编译的,在经过各种定制的编译参数优化后,能将机器的硬件性能发挥到极致。Gentoo是所有Linux 发行版本里安装最复杂的,但是又是安装完成后最便于管理的版本,也是在相同硬件环境下运行最快的版本。

最后,介绍一下FreeBSD, 需要强调的是:FreeBSD并不是一个Linux系统!但FreeBSD与Linux的用户群有相当一部分是重合的,二者支持的硬件环境也比较一致,所 采用的软件也比较类似,所以可以将FreeBSD视为一个Linux版本来比较。FreeBSD拥有两个分支:stable和current。顾名思义, stable是稳定版,而 current则是添加了新技术的测试版。FreeBSD采用Ports包管理系统,与Gentoo类似,基于源代码分发,必须在本地机器编后后才能运 行,但是Ports系统没有Portage系统使用简便,使用起来稍微复杂一些。FreeBSD的最大特点就是稳定和高效,是作为服务器操作系统的最佳选 择,但对硬件的支持没有Linux完备,所以并不适合作为桌面系统。

下面给为选择一个Linux发行版本犯愁的朋友一些建议:

如果你只是需要一个桌面系统,而且既不想使用盗版,又不想花大量的钱购买商业软件,那么你就需要一款适合桌面使用的Linux发行版本了,如果你不 想自己定制任何东西,不想在系统上浪费太多时间,那么很简单,你就根据自己的爱好在ubuntu、kubuntu以及xubuntu中选一款吧,三者的区 别仅仅是桌面程序的不一样。

如果你需要一个桌面系统,而且还想非常灵活的定制自己的Linux系统,想让自己的机器跑得更欢,不介意在Linux系统安装方面浪费一点时间,那么你的唯一选择就是Gentoo,尽情享受Gentoo带来的自由快感吧!

如果你需要的是一个服务器系统,而且你已经非常厌烦各种Linux的配置,只是想要一个比较稳定的服务器系统而已,那么你最好的选择就是CentOS了,安装完成后,经过简单的配置就能提供非常稳定的服务了。

如果你需要的是一个坚如磐石的非常稳定的服务器系统,那么你的唯一选择就是FreeBSD。

如果你需要一个稳定的服务器系统,而且想深入摸索一下Linux的各个方面的知识,想自己定制许多内容,那么我推荐你使用Gentoo。』

 

大家快去试试找到适合自己的Linux~

今天在本本上装上CentOS 5


今天在本本上装上CentOS 5,安装超快,哪是Windows所能比的!
就是还没将Windows的NTFS分区挂在上,以后就正式在我本本Linux上工作了,呵呵。
特此留念!

 

Gmail生日快乐!


2004年的愚人节,Google 发布了让业内产生史上最大振荡的 Gmail,据我所知大概在四月六日,CCF 某前管理员拿到了国内第一批次的邀请,事态表明── 1G 容量的 Gmail 绝非愚人节玩笑,这在 Hotmail 只有2mb 的时代是让人难以想象难以相信的。但是在今天,身边离不开Gmail的人已经无处不在。你不得不承认,这个邮箱系统实在是太好用了!

现在你在GMail吗?
 

自创的简单笔记本散热方法


买本本已经近两个月了,天天开着~热啊,想什么法那??本来想买块散热扇,但是没有¥啊,只好另想他方啊 ~于是在网上搜啊~于是就有了。。。
我的本是神舟HP800,散热其实不多,主要是一天用的时间长所以。。。

1.最简单篇(垫比你本本小的书)
如 果在炎炎夏日,你的本本的温度在彪升的话,你是否很着急呢?告诉你个最简单的散热大法:lol.拿本厚点的书本垫在本本的下面,这样可以使本本下的空气更 加流通.但书本的大小一定要比笔记本电脑的小,因为笔记本的最大的散热部件是本本的CPU和硬盘.而硬盘和CPU一般在电脑的两边,或者可以用手触摸找到 发热量最大的部位.所以你要避开发热量大的部位,你可以把你的厚书本垫在中间,还有如果你的本本较小,那垫本本的书本就要找本小点的书了.如果你身边有个 电扇的话也让本本一起扇扇,摸摸本本的温度是不是降低了很多呢!呵呵
2.比较简单篇(垫散热效果好的东东)
有些电脑可能散热面积大,或者电脑本身就比较小,不能用上一种方法散热,那再介绍个简单的方法.也是在本本下垫东西,垫的东西当然要有良好的导热性.
垫石板.大家不要惊讶,我哥的电脑下垫的就是一块大理石石板,据说效果很好,当然你要能找到块小巧的石板.
垫水袋.找不到石板就去买个水袋吧,所谓的水袋也就是夏天有些人家会去市场买来的水枕头.;P他的样式简单,想必你一定见过吧,去日用品市场逛逛一定能找到.买来后把他垫在本本下面.大功告成了.

3.耗费篇(买散热设施)
如 果你对这些散热不是很满意的话,你也在加些辅助设施.不过这些装备就要耗费你的银子了.你可以去买散热底座或笔记本专用散热风扇.价格在80到200之 间,但本人并不推荐大家去买个价格昂贵的散热器,你还不如用这些钱买个家用电风扇吹的风可大了,你扇到了,本本也散到了.如果事先在把本本垫空了,那散热 效果绝对比那些小功率的散热器好.

我平时就用两本书垫在本下面,呵呵,还不错,夏天的时候去买块大理石

冬去春来,夏天马上也要到了,快给你的本本降降温吧。

在线DIY属于你自己的 Linux Live CD

NimbleX 是一种基于 Slackware 的小型 Linux 发行版。该发行版的开发者推出了一项颇有创意的服务,即让你通过 Web 在线工具对 NimbleX 的 Live CD 进行定制。你不需要具有任何定制 OS 的知识,只要跟随向导点击鼠标就好。相信从中你能感受到 DIY 的无穷乐趣。当然,我们也期待更多的 Linux 发行版推出类似的定制化服务。

使用 NimbleX 的定制化服务,你可以选择自己喜欢的软件、游戏、壁纸、启动音乐,你也可以设置系统的登录帐号、密码、以及默认语言(有中文支持)。定制完成后,该服务将生成 ISO 映像文件供你下载,烧录后即可开始使用。

DIY地址:http://custom.nimblex.net/

快去试试,制作一个自己的Linux Live CD