關於robots.txt這是一個儲存在網站目錄（“/”）之下的一個ascii文件，規範了網站的哪些部分是可以或不可以被瀏覽器或者爬蟲搜索的但是整個robots.txt的內容比較屬於約定俗成，並沒有協議進行規範 範例就是允許整個網站被搜索User-agent: * Disallow:參考資料https://awoo.ai/zh-hant/blog/robotstxt-crawl/https://zh.m.wikipedia.org/zh-tw/Robots.txt