你在这里


数据

查号吧手机号段数据更新

James Qi 2016年4月7日 - 14:28 发布

  查号吧网站从2010年增加手机号段数据以来一直都保持着更新,《全国各地移动、联通、电信手机号段数据,归属地查询持续更新》这篇文章中有具体记录,在2014年底之前都是很有规律地每月更新一次,数据对比、处理、导入都很习惯了。但2015年1月原来的数据来源出了一套大的更新版本后基本停止更新了,我们到2016年3月才再次寻找数据来源进行更新,因为数据来源、格式、字段都有一些变化,所以需要编写程序来进行处理,现在把步骤记录一下:

看到一些地图POI数据

James Qi 2014年3月1日 - 23:54 发布

  很久以前我们开始做名录黄页等信息的时候,我就考虑设法获得更多的数据来源,当时考虑过GPS中的信息数据,但不知道如何获取,两年过去了这个事情也就搁置下来了。

  今天偶然去网上搜索一些数据库资料,看到淘宝上有百度POI数据库之类的商品出售,仔细一下,这不就正是我以前想要找到GPS数据吗?还有什么手机基站定位等数据,看来搞采集、出售数据的人还有不少人在做啊。

  又在网上搜索了一番,Point of Interest有各种数据,版权上包括商业的、共享的、免费的等等,国家、地区也基本上都涵盖了,各种行业的兴趣点都有,例如Subway餐厅在Germany可以找到500多家,在全球85个国家/地区有26000多家。中文、英文等各种语言都有,如果真正充分挖掘、利用起来,真是一个宝库!

  也许别人早在利用这些数据了,我这里又后知后觉了,不过还是准备以后再多详细了解一些,包括离线下载的、在线获取的,如果保持更新等等。

  另外顺便记录一下,前一段时间收到淘宝的邮件通知,我几年前开设的淘宝小店因为长期没有打理,商品没有更新、销售极少,需要充实内容,否则将会被关闭。这店子我也确实没有怎么管,放了一点邮编之类的数据,一年也只有销售几笔吧,所以就没有去扩充打理,已经被关闭了。

自由标签:

服务器硬盘故障,恢复备份数据

James Qi 2012年8月13日 - 15:09 发布

  今年新购入的服务器上的硬盘时常有些毛病,在导入数据的时候就多次出现故障,用了2、3个月的时间导入数据后,算是稳定了几个月,但最近随着我们添加手机版工作的开展,硬盘又开始忙起来,服务器负载明显增加。两周前出现了几次服务器死机情况,每次重启后都会导致数据库保存,需要检查、修复,这样的情况持续出现后,终于有一次服务器重启不了了,好在数据都已经备份、复制出来了。这些备份数据就直接在新购的美国服务器上恢复,站点启用后,发现普通内页可以打开,但数据量大网站的分类页却频频出现报错,服务器8核CPU长期都被占用100%,而硬盘IO看上去还不是那么满,问题原因还在查找中。我们把情况向服务商反映后,他们检查说是有一块硬盘有问题,给我们更换了硬盘,raid 1的resync过程很慢,已经有两天了还没有完成。
  新服务器还没有搞定,有一台老服务器又出问题了,周末有块硬盘找不到了,不得不恢复备份,而这些备份文件非常大,都是一个10G以上,查看有好多个星期的备份都是不完整的,从前面几个月的备份中查找相对完整的来恢复。唉,这个过程太漫长、痛苦了,网站也停了几十个小时。后面还要修改完善备份的脚本,及时反映出备份中出现的报错信息,以便备份数据得到充分保障。
 

导入大量名录数据到Drupal网站的例子

James Qi 2010年12月26日 - 00:21 发布

  2010年5月17日我在日志中写了一篇《导入大量名录数据到MediaWiki网站的例子》,详细记录了导入数据的过程步骤,后面进行了不少导入工作,也都是基本上按照那个步骤来的。

  前段时间在国外的空间中安装了Drupal以及一些模块,进行了数据导入的尝试工作,这个月又在国内的服务器上设置了Drupal平台的新站jamesqi.com和adsensebook.cn,明年初将会开始导入大量数据的工作。这几天还在让技术部的同事帮忙修改php模板来实现一些功能。为了让自己后面的工作更清晰,也将过程记录如下:

1 导入前

1.1 搭建安装

先架设好网站,安装Drupal软件及需要的模块,让网址可以访问。

一般安装以下的模块:

数据销售:AdSense以外的一种商品出售和增值服务

James Qi 2010年12月15日 - 23:47 发布

  这些年做了很多实用查询类网站,收集整理了无数的数据,其中一些还是很有用处的,而且其他地方难以找到。

  前几个月开始,我们把供网友免费浏览的名录集网站的数据进行了专门的整理和定价,放置在单独的名录集销售中心网站出售,虽然收入不算多,但这种尝试还是有一定效果的,起码打开了AdSense以外的新收入方式。

  前些天我整理了一部分放在我的淘宝店中,在本站改版后,也特别介绍一下:

数据销售:全国各地移动、联通、电信手机号段数据,归属地查询持续更新

数据简介

  本数据是与查号吧网站保持一致的手机号段信息。每个号段包括1万个号码,每个号段数据包括所属省份、地市、运营商、卡类型。目前有20多万个号段信息,包括最新放号的18x、15x等号段数据,保证持续更新。可以供群发短信选取号段使用,也可以供判断某个号码判断来源使用。

付款信息

  • 一口价:人民币500元
  • 付款方式:支付宝、网上银行、柜台转账、邮局汇款、贝宝(PayPal)等

包括内容


北京市手机

重庆市手机

上海市手机

天津市手机

安徽手机

  • 安庆手机、蚌埠手机、亳州手机、巢湖手机、池州手机、滁州手机、阜阳手机、合肥手机、淮北手机、淮南手机、六安手机、马鞍山手机、宿州手机、铜陵手机、芜湖手机

福建手机

数据销售:170万条邮政编码信息Access数据库

数据简介

  本数据是与邮编库网站保持一致的邮政编码信息。共有170余万条邮政编码数据,城市精确到街道,农村精确到村组,每条数据包括省份、地市、区县、详细地址和邮政编码。可以供企事业单位、个人查找邮政编码使用,也可以供相关数据分析研究使用。

付款信息

  • 一口价:人民币600元
  • 付款方式:支付宝、网上银行、柜台转账、邮局汇款、贝宝(PayPal)等

包含内容

  每条邮政编码信息包含:

订阅 RSS - 数据