佛山信息港
育儿
当前位置:首页 > 育儿

Twitter的100亿条信息带来的BU

发布时间:2019-04-11 01:55:30 编辑:笔名

今天上午的Twitter信息统计显示,Twitter信息发送总量已经突破100亿条。此时距离Twitter信息总量突破50亿条仅过去5个月。

这个消息对Twitter来说是个好消息,但对于使用我先前开发的GAE同步程序的用户来说是个灾难,因为原先程序有个BUG,在Twitter信息量大于100亿条的时候会出现,导致用户的Twitter的ID号码在之后的信息会反复发布。

造成这个问题的原因是因为原先的数据排序通过id号进行,当id号升到11位的时候,该数据的排序错误,反而排在10位的id号后面。

目前我已经做了一个补丁程序,修正了这个错误,使用时间来进行排序,彻底解决了这个问题,原先使用我这个程序的用户,请下载的代码后重新发布,就会解决信息重复同步的问题。

手动修改方法:找到id=ringProperty()一行,在后面增加一行created = teTimeProperty(auto_now_add=True) 。找到msg=lQuery( SELECT * FROM Twitter ORDER BY id DESC )一行,将其修改为msg=lQuery( SELECT * FROM Twitter ORDER BY created DESC ),使用更新即可。

项目地址:

SVN Checkout地址:

今天我的所有电脑都不能登录WPS文档,其中三台是连电信宽带的,一台是连联通宽带的。上午已经登录的电脑被发现不能打开文件,下午才想登录的电脑输入用户名和密码之后就一直在不停的与服务器进行连接始终无法登录了。超级郁闷呀,由于对谷歌的超级崇拜和信任,所以一直都在使用WPS文档,并且大部分重要的文档都是存放在WPS文档上。这一下就让我全线停机了。。。

2010/3/5 23:51:40 支持(13)反对(9) 回复

Error: Server Error

The server encountered an error and could not complete your request.

If the problem persists, please report your problem and mention this error message and the query that caused it.

显示上面的,今天的一直无法同步!请楼主解决一下,谢谢!

2010/3/6 22:26:01 支持(11)反对(7) 回复

如果同时开了许多支同步,其中有一个不能用就会影响其他,我把我用的几个分别在GAE里建独立的app试了一下,貌似易和是可用的龙门加工中心
,sina、digu不可用

另外hellotxt也不可用,我在hellotxt里面申请了一个app,得到了user_key和API_key,但下面显示了一行This application is not enabled.不知如何解决。。。

2010/3/9 2:03:34 支持(10)反对(6) 回复

嘀咕把GAE的IP封了优质铝艺大门厂家直销价格
,因此会导致其他帐号如新浪微博、易微博等出现刷屏现象,现在同步的同学请先将嘀咕的帐号注释一下,等嘀咕将来取消封锁后再添加。怡红公子 于 17:45:38 回复原来如此……不过……偶就是想同步嘀咕啊……额,看来没办法了……==我还是先用下那个PHP版的急用吧……

2010/3/8 13:29:13 支持(10)反对(8) 回复

请教一下为啥新浪的无法同步?易的可以了,检查过新浪的用户、密码都没有错误,怎么就不行呢,难道是因为用hotmail邮箱而不是新浪邮箱的缘故吗?williamlong 于 19:57:37 回复新浪把GAE的IP封了。Allen 于 14:31:43 回复我的sina还能同步,可是以前的那个总是要重复的提交,郁闷。这下好了 Thanks! William

2010/3/5 17:30:31 支持(6)反对(5) 回复

之前我也是修改之后仍然重复发布,后来把GAE的datastore清掉就好了。另外似乎digu无法进行同步了?直接访问api地址不断弹出身份验证对话框,莫非账户被ban了?napbonking 于 13:33:03 回复嘀咕。。我一旦同步嘀咕。。新浪易方面就不断重复。。一取消嘀咕就不重复= =。。每次update都清除了datastore的了Bronco 于 20:45:14 回复update似乎不会自动清除datastore,需要进到控制台,打开datastore view,将数据全部删除。反正我删除之后就好了,目前能正常更新Sina,嘀咕不行,似乎API有问题。

2010/3/7 10:04:03 支持(11)反对(10) 回复

你好,月光兄。

我更新你的代码后,且更换了follow5的新api,以及删除了id为100亿之后的推,但还是出现了重复推消息的问题。

我设置的是同步到sina,follow5, digu, 。现在的结果是sina不停在推我一条id号小于100亿的推,而其他的微博则没有更新。

我确信已经更新完毕GAE,不知道问题出在哪里?

2010/3/7 9:23:01 支持(7)反对(7) 回复

用了升级昨天都好好的。只有sina和F5。

今天易那边又重复不断,不知道为什么。又有问题。

看月光你自己的却很正常,我RP问题?anndi 于 22:31:42 回复更新后依旧重复发布,主要是163和新浪,只好暂停程序了

2010/3/6 14:14:39 支持(7)反对(9) 回复

杯具了,更新程序后都不同步了。

我只更新了。以前可以右键点击“链接另存为”保存,现在不知为何这样保存下来的文件非常大塑料土工格栅厂家
,有60多kb,但看你的文件列表,只有8.6kb啊,在ff里打开后复制粘贴到写字板里保存为unicode格式的文本文件有22kb,这样做有没有问题呢?裸奔的鱼 于 14:37:37 回复回9楼

你不能那样下载程序,那样保存下来的是个嵌带着html代码的文件。你可以只复制那个py文件的代码,复制到文本文档然后另存为文件。还是按照原先的下载方式,用suv检测 ,直接重新来一遍。

上传新文件后,貌似还会把100亿以后的消息重新发一遍,然后就恢复正常了。

还有把 .find('@',1) == -1 改为 .startswith('@',1) == False (不含引号)可以达到只转RT,不转@的效果。我没学过Python,自己找的函数,请月光老师鉴定。纯粹 于 14:41:29 回复上面给的那个是链接页面,不是py文件,打开后再点右边那个才是下载。假如你直接另存为的话,是一个htm文件lzlh 于 14:57:52 回复我晕了,我把代码复制粘贴到pythonWin程序,显示正常,保存后再用pythonwin打开,就显示的全是等号了

2010/3/5 14:28:02 支持(4)反对(8) 回复

(*)

验证(*)