香港主机建站如何制作robots文件

很多站长在网站SEP优化过程中都会接触robots协议，robots协议告诉各搜索引擎网站哪些页面可以抓取，哪些页面是禁止抓取，以robots.txt文本形式存放在网站根目录中。robots非常重要，可以禁止搜索引擎抓取不友好的链接内容，比如死链；也可以屏蔽一些不想被搜索引擎抓取的建站栏目。Robots文件可以直接用FTP工具链接网站根目录，那么 香港主机建站如何制作robots文件？

一般通用的robots.txt文件效果为

“

Sitemap:http://www.xxx.com/sitemap.xml

User-agent： *

Disallow：

”

值得注意的是，Disallow：后面必须空一格，再填写需要禁止抓取的内容。比如：

禁止所有搜索引擎抓取网站内容：

“

User-agent： *

Disallow： /

”

禁止抓取几个栏目：

“

User-agent： *

Disallow： /cgi-bin/

Disallow： /tmp/

”

另外有很多网站做过伪静态，以前存在的动态链接包含如“？”这样的连接符，也可以利用robots协议进行设置禁止抓取

“

User-agent： *

Disallow： /*？*

”

如果优化过程中，能够很好的利用robots协议，会让网站的优化工作更好的展开。一般来说，在香港主机设置robots协议，方式方法与国内主机大同小异，因此，站长在设置robots协议时，登录香港主机后台上传robots.txt文件到网站根目录即可。