華為失去 Google後 PetalBot搜尋引擎開始爬網頁,如何阻止它呢?
最近發現一些奇怪的爬取網站或是鏡像網站的工具在爬網站,所以開始一些反制的措施,剛好看到有一個新的 User Agent出現!PetalBot一查才發現,原來是華為開發的搜尋引擎蜘蛛,如果你不想要讓它抓取你的網站,可以參考以下的做法。
最近發現一些奇怪的爬取網站或是鏡像網站的工具在爬網站,所以開始一些反制的措施,剛好看到有一個新的 User Agent出現!PetalBot一查才發現,原來是華為開發的搜尋引擎蜘蛛,如果你不想要讓它抓取你的網站,可以參考以下的做法。