去年上半年在名录集网站中搭建31个省份的中国工商企业名录子网站已经过去一年了,原计划在第一批数据添加完不久就增加第二批数据的,但因为服务器负载的问题以及我们的工作安排问题,一拖再拖,直到上个月更新了服务器、这个月才抽出时间来进行。
第二批数据其实也不是很新,稍微比第一批新一点,数量大约有100多万,平均到每个省有几万,为了避免重复,我们还专门用VB做了个程序来进行分拣,把重复的剔除。这个程序先运行效率不高,几万*几十万=上百亿次的循环,电脑连续运行几天都分拣不完一个省份的数据,后来改了程序,只要几万次循环,几个小时就可以分拣一个省份的数据。
第二批数据的格式与第一批也不太一样,需要修改模板再导入,特别是经济行业没有代码,直接是文字,需要重新判断、归类。不过搞顺了也还方便,只是31个省份都要修改、导入,工作量大些,服务器虽然配置不错了,但同时导入上十个省份数据还是会出现一些问题,因此需要降低一些速度,预计到下周初才能导入完成。
这里做个第二批数据的列表链接:
==华北地区==
==华东地区==
==华南地区==
==华中地区==
==东北地区==
==西北地区==
==西南地区==
时隔差不多10个月后添加这第2批数据,希望能有些用,后面还要设法添加更新的第3批数据,以及其他类型的数据。
自由标签
评论