限制AdSense不支持的語言網站的爬取速度

　　我們有好些都添加了多語言的支持，采取Google翻譯與人工翻譯結合的方式來做，最多做了大幾十、上百種語言的網站，有些偏門的小語種（例如斯瓦西裡語，估計用這種語言做的網站很少）還比較受Googlebot爬蟲的歡迎，每日抓取量居然幾百萬次，讓服務器的CPU、帶寬等無法承受，隻好在Google Search Console裡面做了部分限制。

　　有個問題也需要一下，那就是這些語言是否有AdSense廣告投放，如果完全沒有廣告投放，這服務器的資源還是純投入，雖然說為一些小語種提供無償服務也是一種值得做的貢獻，但可以适當限制投入。

　　下面是在Google AdSense幫助中心裡面找到的AdSense支持的語言種類列表：

　　有些我們做過網站但語言不在上面之列的主要有：

​等等

　　後面準備在Google Search Console裡面更改 Googlebot 抓取速度，在資源的“抓取速度設置”頁面進行一些必要的限制。例如：調整我個人博客網站被Google抓取速度的鍊接（需要有相應權限才能看到）。

　　2020年3月30日補充：和同事商議，在年前删除數十種語言子網站的基礎上，再把ipshu.com訪問量很低的6種語言（ig, fy, am, eo, la, jv）删除，2020年4月17日再删除不是真正需要訪問這種語言的5種語言（sw, co, af, cy, ht）。删除需要做的工作：

• 修改.htaccess，要删除的子域名跳轉到對應的英文版頁面

  删除語言子目錄的例子：

  # 2021-04-23 delete some languages

  RewriteCond %{REQUEST_URI} ^\/(af|sq|hy|az|eo|gl|ka|is|ga|mk|mt|sw|cy)\/(.*)$
  RewriteRule .* https://%{HTTP_HOST}/%2 [R=301,L]

  RewriteCond %{REQUEST_URI} ^\/(af|sq|hy|az|eo|gl|ka|is|ga|mk|mt|sw|cy)$
  RewriteRule .* https://%{HTTP_HOST}/ [R=301,L]

• 修改robots.txt，排除要删除的子域名的爬取、收錄（實際沒有進行）
• 修改Drupal網站語言設置，删除這些語言種類，html裡面的<link rel="alternate" hreflang=以及語言切換<option value="https://代碼就會自動删除這些種語言，如果系列網站太多可以用drush批量設置：

  LA=(af sq hy az eo gl ka is ga mk mt sw cy)

  for j in "${LA[@]}";do
    echo language: $j
    $d language-disable $j
  done
   

• 在Google Search Console中設置删除這些子域名站點（本來準備設置站點轉移的，但首頁跳轉驗證不通過，就删除站點算了），如果是子目錄形式多語言設置就不用這一步

2020年9月26日補充：感謝網友的反饋指出問題，我寫這篇博客的時候adsense支持46種語言，現在去看已經支持49種語言了，那後面新增了對幾種語言的支持，包括：卡納達語、馬拉雅拉姆語、古吉拉特語，以後也還會有變化。