天蠶在你身邊


不方便打電話(huà)?讓天蠶聯(lián)絡(luò)你

天蠶在你身邊
不方便打電話(huà)?讓天蠶聯(lián)絡(luò)你
什么是 robots.txt ?
robots.txt 是一個(gè)純文本文件,通過(guò)在這個(gè)文件中聲明該網(wǎng)站中不想被 robots 訪(fǎng)問(wèn)的部分,這樣,該網(wǎng)站的部分或全部?jī)?nèi)容就可以不被搜索引擎收錄了,或者指定搜索引擎只收錄指定的內(nèi)容。 當(dāng)一個(gè)搜索機(jī)器人訪(fǎng)問(wèn)一個(gè)站點(diǎn)時(shí),它會(huì)首先檢查該站點(diǎn)根目錄下是否存在 robots.txt ,如果找到,搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來(lái)確定訪(fǎng)問(wèn)的范圍,如果該文件不存在,那么搜索機(jī)器人就沿著鏈接抓取。 robots.txt 必須放置在一個(gè)站點(diǎn)的根目錄下,而且文件名必須全部小寫(xiě)。 網(wǎng)站 URL相應(yīng)的 robots.txt 的 URL
robots.txt 的語(yǔ)法
"robots.txt" 文件包含一條或更多的記錄,這些記錄通過(guò)空行分開(kāi)(以 CR,CR/NL, or NL 作為結(jié)束符),每一條記錄的格式如下所示:
"<field>:<optionalspace><value><optionalspace>" 。 在該文件中可以使用 # 進(jìn)行注解,具體使用方法和 UNIX 中的慣例一樣。該文件中的記錄通常以一行或多行 User-agent 開(kāi)始,后面加上若干 Disallow 行 , 詳細(xì)情況如下:
User-agent:
Disallow :
下面是一些 robots.txt 基本的用法:
l 禁止所有搜索引擎訪(fǎng)問(wèn)網(wǎng)站的任何部分:
地址:重慶市渝中區(qū)上清寺鑫隆達(dá)B座28-8
郵編:400015
電話(huà):023-63612462
EMAIL:cnjl_net@163.com