關於網路那些事...

網路行銷,SEO,網路趨勢,教學文章,網頁設計,生活時事

防止網頁被檢索,阻擋搜尋引擎機器人的設定方法[紀錄]

在開發網站過程中,常需要做一些阻擋搜尋引擎機器人的設定

可以參考底下設定

robots.txt

建立 robots.txt 文字檔,並且將檔案放在網站目錄即可

User-agent: *
Disallow: /

HTML META

將 html head 中的meta 加入拒絕設定

<meta name="robots" content="noindex, nofollow">

.htaccess

透過 .htaccess 阻擋一些常見的搜尋引擎機器人

.htaccess

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|Baiduspider) [NC]
RewriteRule .* - [R=403,L]

如果這篇文章對你有幫助,請在這裡點個讚



最新文章推薦