我們有時需要在 robots.txt Disallow和Allow某一目錄或文件，但是不知道該如何去寫。其實，對于有關聯的目錄來說，我們只需遵循一個原則，就好處理了，那就是：先寫Disallow再寫Allow。我們看看Google的 robots.txt ，如圖看到：先 Disallow /search 這個目錄，再 Allow /search/about 這個目錄或文件。

創(chuàng)建 robots.txt 文件很簡單，您可以在任何文本編輯器中創(chuàng)建一個 robots.txt 文件，它是ASCII編碼的文本文件，而不是HTML文件。本文將詳細介紹 robots.txt 的語法及用法，以及各種注意問題。

今天看到群里有人說被一俄羅斯爬蟲一天內訪問網站幾千次，想屏蔽它，其實，類似這樣的問題解決方案網上有不少文章，屏蔽俄羅斯爬蟲跟屏蔽百度蜘蛛的原理是一樣的，可以通過如下四種方法來處理。

了解各大搜索引擎蜘蛛爬蟲的UA，對我們進行某些程序編寫十分有用，例如網頁判斷客戶端來源時，UA是常用的標準之一。本文收集了各大搜索引擎的蜘蛛爬蟲UA，以便需要時查閱。

我們在分析訪問日志時，往往要判斷各種來路，包括各種搜索引擎來路、真實訪客來路、直接輸入來路、網頁推介來路、各種蜘蛛來路等，而對于蜘蛛來路而言，百度蜘蛛又尤為重要分析的部分。那么我們如何識別百度蜘蛛呢？近日，官方給出了兩種說法，一種是通過UA來識別，另一種是通過反查IP來識別。

我們統(tǒng)計網站流量，遇到百度蜘蛛的時候，為了更好更細的統(tǒng)計，需要把百度蜘蛛的移動端和PC端分別來統(tǒng)計，這對網站分析有著非常重要的意義。本文提供判斷百度移動蜘蛛和百度PC蜘蛛的源代碼，有php、asp、asp.net三個版本。