但是在實際的操作中，絕大多數的網站，在其撰寫上都存在或多或少的欠缺，甚至由于技術性的錯誤撰寫，還會導致網站降權、不收錄、被K等一系列問題的出現。對于這一點，我在對客戶的SEO診斷過程中，會經常遇到，可以算是很多站點的通病。今天寫出這篇文章，就是來做一個分享：關于robots.txt協議，你寫對了嗎?

    一：設置成Allow全站點抓取

    百度收錄的越多，網站的排名越高?這是絕大多數站長的認為，事實上也是如此。但是也并非成立：低質量的頁面收錄，會降低網站的排名效果，這一點你考慮到了嗎?

    如果你的網站結構不是非常的清晰，以及不存在多余的“功能”頁面，不建議對網站開全站點的抓取，事實上，在SEO診斷中，只遇到少數的一部分網站，可以真 正的做到全站點都允許抓取，而不做屏 蔽。隨著功能的豐富，要做到允許全站點抓取，也不太可能。

    二：什么樣的頁面不建議抓取

    對于網站功能上有用的目錄，有用的頁面，在用戶體驗上可以得到更好的提升。但是搜索引擎方面來講，就會造成：服務器負擔，比如：大量的翻頁評論，對優化上則沒有任何的價值。

    除此外還包含如：網站做了偽靜態處理后，那么就要將動態鏈接屏 蔽掉，避免搜索引擎抓取。用戶登錄目錄、注冊目錄、無用的軟件下載目錄，如果是靜態類型的站點，還要屏 蔽掉動態類型的鏈接Disallow:/*?*

    三：撰寫上的細節注意事項

    1、Disallow;/a與Disallow:/a/的區別，很多站長都見過這樣的問題，為什么有的協議后加斜杠，有的不加斜杠呢?筆者今天要說的是：如果不加斜杠，屏蔽的是以a字母開頭的所有目錄和頁面，而后者代表的是屏蔽當前目錄的所有頁面和子目錄的抓取。

    3、已經刪除的目錄屏蔽，很多站長往往刪除一些目錄后，怕出現404問題，而進行了屏蔽，禁止搜索引擎再抓取這樣的鏈接。事實上，這樣做真的好嗎?即使你屏蔽掉了，如果之前的目錄存在問題，那么沒有被蜘蛛從庫中剔除，同樣會影響到網站。