只要是建有数据量比较多的网站，几乎不可避免采集的情况，这方面我们已经有多年的对付经验，主要是通过分析Web访问日志，找到采集的规律，相应来设置屏蔽IP地址或者URL网址来解决。
国内的Linux服务器上我们都安装了Squid作为Apache的前端缓存，所以我们遇到采集的情况就分析Squid的日志，在squid.conf文件中进行设置屏蔽，然后重启Squid服务就可以。
近期租用的国外Linux服务器上默认是没有Squid的，我们也就只用了Apache作为Web服务器，修改了httpd.conf来让Apache的日志文件显示更详细的虚拟主机域名、
我们用MediaWiki搭建的网站中，一些页面需要用到内部搜索结果，我们以前的办法是采用Google Search API，嵌入JavaScript代码后就可以显示Google已经收录的相关页面，这个办法简单易行，缺点是没有被收录的页面无法出现，已经展示的JS内容不会被搜索引擎发现内容。
十八大前后这一阵子Google搜索一直不正常，也影响到我们网站上含有Google搜索代码的页面，间歇性会出现打不开或者打开极慢的情况，影响用户正常访问我们的页面。这个问题有可能长期存在，所以必须设法解决了，否则只好把相关页面删除。
昨天试了一些办法，后
上个月还获得了一批最新的进出口企业名录，本月也搭建成了网站供免费浏览，简介如下：
进出口企业名录属于名录集旗下子网站，提供截止2012年底的进出口外贸企业名单、联系方式，包括单位名称、地址、邮编、负责人、职务、电话、传真、邮箱、网址、成立时间、雇员人数、主要产品等资料。
如需购买下载名录数据，请进入进出口名录-商业数据库超市。
该
上个月获得11万多的外贸企业名录，这个月把站点建立起来了，简介如下：
外贸名录属于名录集旗下子网站，提供11万多家外贸进出口企业名单、联系方式，包含单位名称、负责人、地址、电话、邮箱、网址、所属行业、产品或服务、详细介绍等资料。
如需购买下载名录数据，请进入外贸名录-商业数据库超市。
前年公司技术部做了一个名录集配套的销售网站(http://xiaoshou.mingluji.com/)，支持支付宝在线付款，并用QQ/MSN做在线销售客服咨询，用了一年多，效果还不错，后来信息服务部自行用Drupal搭建了新版本的名录购买超市(http://goumai.mingluji.com/)，能让客户自行下单、付款和下载，进一步方便了客户的购买。
但两种方式一直并存也让部分客户感到疑惑，于是我们上个月做了合并，10月11日将DNS修改，xiaoshou.mingluji.com的A记录从58.49.59.191改为219.140.165.17，在新服务器
前几天在为系列网站提交网站地图的时候，发现提交多语言、包含手机版的上百个sitemap实在是太痛苦了，不停地click+copy&paste做多了直让人犯困，算了一下，至少需要几十个小时来做这种极度无聊的工作。
了解到Google Webmaster Data API是可以用于批量提交sitemap的，但不知道如何使用，查了一些资料也没有找到突破头绪就先搁置了，后来尝试用robots.txt提交，但这种办法只能提交网站更目录下的sitemap（例如http://che.postcodebase.com/sitemap.xml），无法识别子目录（或者说子
Drupal系统本身支持多站点，默认情况下，这些系列网站都是用同一个robots.txt文件，这在多数情况下都很方便，但我们发现在robots.txt中添加过多的Sitemap:标签来提交站点地图的时候，Google Webmaster Tools会因为robots.txt文件过大而进行变换、截取，从而这些提交无效。
以前知道有个RobotsTxt的插件，但为了让系统保持精简就没有安装过，这两天尝试了安装这个模块，还是比较方便的，可以在菜单中编辑每个站点自己的robots.txt，而且会自动在底部添加一个sitemap提交。
我们的多语言网站可
6月份写了一篇《网站扩展100倍：50种语言x(电脑版＋手机版)》，之后几个月逐步获得更多数据、搭建更多网站、导入更多数据，现在基本上完成了初步的工作，可以推出这100多个国家地区的多语言邮编网站：
去年下半年开始就以做外文网站为主，少有中文网站推出，最近把积累的一些数据与同事一起整理，准备逐步再添加网站推出。除了很老旧的工商企业名录以外，我们去年也新添了一些更新数据，先只是在名录集数据超市进行销售，现在添加了最新几个月的数据后也做成了网站：
新工商名录
| 省份 |
分页站内搜索2002-2023 v11.7 a-j-e-0 |
|---|
