By James Qi, 2023年3月22日 Google Search Console中檢查和處理“已編入索引,盡管遭到 robots.txt 屏蔽” 今年2月份開始,我們花了好些時間精力來排查幾個網站在Google中流量下降的問題,我寫了《低質重複頁面排查和處理》的PPT和同事進行了分享,并且在随後的一段時間中以幾個實際網站為例子進行詳細排查和處理。雖然自己以前感覺對SEO的了解很長時間了,算得上是專家了,但實際上還是有些方面沒有搞透徹,這次算是深究到底了,有不少新的收獲。 例
By James Qi, 2018年12月19日 不要誤屏蔽搜索引擎認為需要的資源 昨天剛寫了一篇《不要誤屏蔽百度MIP的爬蟲》,順着我們就繼續檢查其它站是否有被誤屏蔽的事情,流量來源主要是百度的國内站可以看百度站長平台(百度搜索資源平台)裡面的信息,流量來源主要是Google的國外站可以看Google Webmaster Tools (Google Search Console)。 今天同事發現一個台灣繁體版站的索引情況有異常:
By James Qi, 2013年8月30日 動态生成robots.txt的PHP程序 以前嘗試過《Drupal系列網站用robotstxt模塊生成獨立robots.txt》,可以實現多站點的每個站點都有不同的robots.txt,但缺點是需要逐個編輯,當子站數量多、修改次數多的時候,依然顯得麻煩。 後來也嘗試過程序動态生成robots.txt,但一直沒有成功,昨天還嘗試了在自定義module中編寫,但顯示的内容包含在html.tpl.php, page.tpl.php等模闆之中,也不行。 再多查了一些網上的資料并反複測試,終于是可以實現了,步驟如下: 删除原來的robots.txt; By James Qi, 2012年10月24日 Drupal系列網站用robotstxt模塊生成獨立robots.txt Drupal系統本身支持多站點,默認情況下,這些系列網站都是用同一個robots.txt文件,這在多數情況下都很方便,但我們發現在robots.txt中添加過多的Sitemap:标簽來提交站點地圖的時候,Google Webmaster Tools會因為robots.txt文件過大而進行變換、截取,從而這些提交無效。 以前知道有個RobotsTxt的插件,但為了讓系統保持精簡就沒有安裝過,這兩天嘗試了安裝這個模塊,還是比較方便的,可以在菜單中編輯每個站點自己的robots.txt,而且會自動在底部添加一個sitemap提交。 我們的多語言網站可 By James Qi, 2011年10月31日 修改Drupal網站的robots.txt來避免搜索引擎蜘蛛直接爬取cache路徑的内容 前些天收到Google Webmaster Tools的提醒郵件: Googlebot 發現您的網站中包含大量的網址:http://jilin.youbianku.com/ October 24, 2011 Googlebot 在抓取您的網站“http://jilin.youbianku.com/”時遇到問題。 Googlebot 在您的網站上抓取到了非常多的鍊接。 這可能表示您網站的網址結構存在問題。 這樣可能會使 Googleb
By James Qi, 2012年10月24日 Drupal系列網站用robotstxt模塊生成獨立robots.txt Drupal系統本身支持多站點,默認情況下,這些系列網站都是用同一個robots.txt文件,這在多數情況下都很方便,但我們發現在robots.txt中添加過多的Sitemap:标簽來提交站點地圖的時候,Google Webmaster Tools會因為robots.txt文件過大而進行變換、截取,從而這些提交無效。 以前知道有個RobotsTxt的插件,但為了讓系統保持精簡就沒有安裝過,這兩天嘗試了安裝這個模塊,還是比較方便的,可以在菜單中編輯每個站點自己的robots.txt,而且會自動在底部添加一個sitemap提交。 我們的多語言網站可
By James Qi, 2011年10月31日 修改Drupal網站的robots.txt來避免搜索引擎蜘蛛直接爬取cache路徑的内容 前些天收到Google Webmaster Tools的提醒郵件: Googlebot 發現您的網站中包含大量的網址:http://jilin.youbianku.com/ October 24, 2011 Googlebot 在抓取您的網站“http://jilin.youbianku.com/”時遇到問題。 Googlebot 在您的網站上抓取到了非常多的鍊接。 這可能表示您網站的網址結構存在問題。 這樣可能會使 Googleb