| robots.txt是搜索引擎訪問(wèn)網(wǎng)站的時(shí)侯要查看的第1個(gè)文件 發(fā)布時(shí)間：2021-06-03 09:01:05 |
rotbots.txt文件的制作
1.robots.txt文件的作用 robots.txt文件是一個(gè)文本文件，這個(gè)文件用來(lái)告訴搜索引擎蜘蛛網(wǎng)站的哪些部分應(yīng)該被抓取，哪些部分不用抓取。比如說(shuō)，如果有很多網(wǎng)站源文件，抓取可能會(huì)增加服務(wù)器的負(fù)載，且會(huì)耗費(fèi)搜索引擎爬蟲(chóng)的時(shí)間來(lái)索引網(wǎng)站文件。站長(zhǎng)可以使用文本編輯器創(chuàng)建一個(gè)名為robots.txt的文件，比如NotePad++或記事本等工具。 注意：robots.txt實(shí)際上是搜索引擎訪問(wèn)網(wǎng)站的時(shí)侯要查看的第1個(gè)文件，當(dāng)一個(gè)搜索蜘蛛訪問(wèn)一個(gè)網(wǎng)站時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt文件，如果存在就會(huì)按照該文件中的內(nèi)容來(lái)確定訪問(wèn)的范圍。
2.robots.txt文件制作與上傳 打開(kāi)Windows的記事本工具，在記事本中添加如下代碼，然后將其保存為robots.xt文件。 在記事本中編寫(xiě)robots.txt文件效果 保存好robots.txt文件后，將其上傳到網(wǎng)站的根目錄下，就可以控制搜索引擎蜘蛛的爬行軌跡了。 鑒于robots.txt中包含了很多指令，互聯(lián)網(wǎng)上也有很多在線的工具用來(lái)生成這個(gè)文件，比如Chinaz的站長(zhǎng)工具，網(wǎng)址為http://tool.chinaz.com/robots/，因此上面的示例可以用這個(gè)工具輕松實(shí)現(xiàn)。 使用站長(zhǎng)工具編寫(xiě)robots.txt文件 在編寫(xiě)完成后，單擊下面的“生成”按鈕，將會(huì)在頁(yè)面底部的文本框控件中生成robots.txt文件內(nèi)容，將其復(fù)制到文本文件中并保存，即可創(chuàng)建robots.xt文件。 |
 |
建網(wǎng)站全包套餐：（網(wǎng)站建設(shè)+域名+空間+企業(yè)郵箱）僅需680元!本月特價(jià)名額50名
先設(shè)計(jì)后付款! 贈(zèng)送免費(fèi)網(wǎng)站視頻主持人!
先設(shè)計(jì)后付款! 贈(zèng)送免費(fèi)網(wǎng)站視頻主持人! - 數(shù)據(jù)空間
- SQL數(shù)據(jù)空間
- 網(wǎng)站優(yōu)化（套餐）
- 網(wǎng)站優(yōu)化全包套餐（年付）
- 關(guān)鍵詞優(yōu)化套餐，可選（年/季/月）付
- 多引擎（關(guān)鍵詞按天扣費(fèi)）
- （百度/360/搜狗/搜搜/有道）按天扣費(fèi)
- 百度（關(guān)鍵詞按天扣費(fèi)）
- 百度關(guān)鍵詞按天扣費(fèi)
