在线观看日韩在线视频,亚洲 日韩 欧美 另类 国产,日本不卡一区二区三区最新,亚洲欧美一区在线观看

<legend id="afmgz"></legend>
      <sub id="afmgz"></sub>
        <ol id="afmgz"><abbr id="afmgz"></abbr></ol>
          1. <ol id="afmgz"></ol>
            每個路徑之前都要包含:"/"
            增加限制目錄
            谷歌為xml格式,百度為html格式
            增加Sitemap

            默認-所有搜索引擎:
            檢索間隔:
            國內(nèi)搜索引擎

            百度
            SOSO
            搜狗
            有道
            國外搜索引擎

            谷歌
            Bing
            雅虎
            Ask/Teoma
            Alexa/Wayback
            Cuil
            MSN Search
            Scrub The Web
            DMOZ
            GigaBlast
            特殊搜索引擎(機器人)

            Google Image
            Google Mobile
            Yahoo MM
            Yahoo Blogs
            MSN PicSearch

                 

            提示:請將以下結(jié)果保存到記事本,命名為robots.txt上傳到網(wǎng)站根目錄(點擊復制可復制全部結(jié)果)
            生成的robots結(jié)果:

            在線robots文件生成工具:Robots.txt 是存放在站點根目錄下的一個純文本文件,并且該文件是可以通過互聯(lián)網(wǎng)進行訪問


            什么是robots.txt文件?

            1,Robots.txt 是存放在站點根目錄下的一個純文本文件。雖然它的設置很簡單,但是作用卻很強大。
            它可以指定搜索引擎蜘蛛只抓取指定的內(nèi)容,或者是禁止搜索引擎蜘蛛抓取網(wǎng)站的部分或全部內(nèi)容。
            2,robots.txt(統(tǒng)一小寫)是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件,
            它通常告訴網(wǎng)絡搜索引擎的漫游器(又稱網(wǎng)絡蜘蛛),此網(wǎng)站中的哪些內(nèi)容是不應被搜索引擎的漫游器獲取的,
            哪些是可以被(漫游器)獲取的。

            3,如果想單獨定義搜索引擎的漫游器訪問子目錄時的行為,那么可以將自定的設置合并到根目錄下的robots.txt,
            或者使用robots元數(shù)據(jù)。
            4,因為一些系統(tǒng)中的URL是大小寫敏感的,所以robots.txt的文件名應統(tǒng)一為小寫。robots.txt應放置于網(wǎng)站的根目錄下。

            5,robots.txt協(xié)議并不是一個規(guī)范,而只是約定俗成的,所以并不能保證網(wǎng)站的隱私。
            注意robots.txt是用字符串比較來確定是否獲取URL,所以目錄末尾有與沒有斜杠“/”表示的是不同的URL。robots.txt允許使用類似"Disallow: *.gif"這樣的通配符。
            6,Robots協(xié)議是國際互聯(lián)網(wǎng)界通行的道德規(guī)范,基于以下原則建立:1、搜索技術(shù)應服務于人類,
            同時尊重信息提供者的意愿,并維護其隱私權(quán);2、網(wǎng)站有義務保護其使用者的個人信息和隱私不被侵犯。

            robots.txt文件使用方法


            1,Robots.txt 文件應該放在網(wǎng)站根目錄下,并且該文件是可以通過互聯(lián)網(wǎng)進行訪問的。
            例如:如果您的網(wǎng)站地址是 http://www.xxx.com/那么,該文件必須能夠通過 http://www.xxx.com/robots.txt 打開并看到里面的內(nèi)容。

            在線工具導航