第864章 大中台的技术障碍

大时代之巅 荒野悲歌 1827 字 3个月前

就最近半个月的成绩来看,效果很好。

许亮杰叹了口气,“就因为成绩太好,负载也成了问题。”

“啥?”周不器眉梢一挑,“又出技术问题了?”

许亮杰道:“现在,金币钱包系统的活跃用户超过2000万,日活用户在2500万。这个数据可不低啊。以我为这套系统设计的架构来看,高峰的时候,能够承受每小时1亿PV的负载。可根据观测,在晚上7点-8点高峰期的时候,每小时的PV已经超过了6000万。”

周不器松了口气,“我还以为现在就扛不住了呢。”

许亮杰苦笑道:“现在是没问题,可大家对积攒金币的兴趣太高了。如果不解决,一个月内就要出问题。”

周不器不太懂,试探着问:“增加服务器?”

许亮杰道:“增加服务器来提高负载,这个问题比较好解决,我已经在处理了。真正的困难,是这么大规模数据的处理问题。”

沈向阳解释了一句,“是数据库的问题。”

见周大老板不太懂,几个技术大牛就给他解释了这其中的简单原理。

金币钱包系统,会产生大量的数据。每一次的金币采集都要做好记录,每一个PV,可能要创造2-3条数据。

也就意味着,在高峰期,需要有1亿-2亿条数据被数据库存储、使用,并完成同步。

未来只会更多。

当数据量小的时候,类似“select * from tableXX where title like %XX%”这样的SQL语言,可以很快速的响应并执行。

可是当数据量超级大的时候,这样的语句就完蛋了。

就死机了。

尤其对备受互联网同行诟病的Oracle数据库来说,执行超过10亿条数据的指令时,反应速度就会奇慢无比。

可能要处理半个多小时,才能响应。

这黄花菜都凉了。

当用户积攒金币,从2000金币积攒到2100金币,结果半个小时以后才在数据显示中刷新显示出来……用户体验就会严重的降低。

就算许亮杰的团队设计出了好几套分布式算法来优化、改进响应速度,效果依旧不是很满意。

许亮杰道:“一栋地基不扎实的大楼,再怎么通过技术手段修缮,也改不了危房的事实。金币钱包系统要协调多个网站,会诞生大量的数据,必须要底层逻辑上予以解决。”

张一明道:“是啊,朋友网的数据量就够大了。结果这套金币钱包系统,不仅要处理朋友网的数据,还要把今日头条、校内网的数据都包容进去,技术难度太大。这个大中台的构思啊,首先遇到的不是管理问题,而是技术障碍。”

“现在,还只是今日头条、校内网和朋友网。如果以后把更多的产品都放进来,加上Helo和微点,加上薇蜜网、糗事百科、秘密网、豆瓣,再加上第三方的优酷、UC、京东……那数据规模将会非常恐怖。”

许亮杰感慨了一番。

要想实现“大中台”的战略,首先就是要解决技术问题,让紫微星拥有能够处理超大数据的能力。

周不器表情比较平淡,技术问题肯定还是要依靠专业人士,“你们的解决方案呢?”

许亮杰道:“两条路一起走。第一,由紫微星研究院牵头,马上启动对开源大数据系统Hadoop的研究。”

第二呢?

“胆子要再大一下,放弃Oracle,应用上我们自研的飞天分布式数据库!”