Robots.txt 的基本使用方式教學

User-agent： 代表搜尋引擎的名稱(Googlebot；雅虎Slurp；百度Baiduspider)
Disallow: 代表網站目錄下的所有檔案接拒絕被搜尋
Allow: 僅開放此目錄開放搜尋

1.禁止所有搜尋引擎收錄(請小心)
User-agent: *
Disallow: /

2.准許所有搜尋引擎，收錄所有內容(大多用這個)
User-agent: *
Disallow:
或
User-agent: *
Allow: /
3.禁止特定搜尋引擎收錄(例如：百度)
User-agent: Baiduspider
Disallow: /

4.阻擋特定目錄與及所有內容
Disallow: /tmp/
Disallow: /admin/

5.阻擋特定檔案類型(例如：gif)
Disallow: /*.gif$

補充*代表萬用字元、$代表結尾符號）

Robots.txt 的進階使用方式

添加 Sitemap 可讓機器人順道處裡
Sitemap: http://www.uniquejs.com/sitemap.xml

Robots.txt 的注意事項

1.Robots.txt 是一個開放的檔案，所有人都可以看見。
2.藉此可知道敏感位置，故敏感位置請加密處理。
3.不是所有機器人都會遵循 Robots.txt。
4.機器人會區分大小寫並忽略空格。

Google Search Console robots.txt 測試工具

https://www.google.com/webmasters/tools/robots-testing-tool
https://support.google.com/webmasters/answer/6062608?hl=zh-Hant
Google 模擬器