当前位置:趣投网 > 数码产品 > 正文

国产数据库 不再卡脖子 这一国产核心技术终于"硬"了起来!

导语:在丛林中,最终能生存下来的不是最大最强的物种,而是能对变化做出最快反应的物种。——达尔文,英国生物学家和进化论的创始人对于今天的IT行业来说,新旧势力的对抗已经司空见惯。比如说过去流行的诺基亚,被苹果和三星打败了。比如在企业,传统的IT系统正在被云计算取代。这个场景也正在数据库市场上演。甲骨文创始人拉里·埃里

在丛林中,最终能生存下来的不是最大最强的物种,而是能对变化做出最快反应的物种。

——达尔文,英国生物学家和进化论的创始人

对于今天的IT行业来说,新旧势力的对抗已经司空见惯。比如说过去流行的诺基亚,被苹果和三星打败了。比如在企业,传统的IT系统正在被云计算取代。这个场景也正在数据库市场上演。

甲骨文创始人拉里·埃里森

多年来,中国的数据库市场一直被外国厂商牢牢占据,仅甲骨文就占了全国的一半。当甲骨文R&D中心从中国撤出时,创始人埃里森的话一定深深地伤害了中国人民的心:不能允许中国培养出比美国更多的工程师!

自中兴事件以来,“中国在核心技术方面缺乏什么”的话题在业界不断发酵。一度,芯片、操作系统、光刻机、触觉传感器、工业软件等。,都被归入“卡脖子”领域,希望能得到更多的公众关注。

但在沉寂已久的国内数据库领域,却突然变得热闹起来。

去年5月15日,华为正式推出分布式数据库GaussDB,集成人工智能技术,实现数据库的自我监控和独立运维。今年5月14日,腾讯云还透露,其分布式数据库TDSQL的金融政府和企业用户数量超过600...

令人振奋的是,今年5月,蚂蚁金服开发的分布式数据库OceanBase在TPC-C基准测试中首次突破十亿级大关,达到7.07亿tpmC,意味着每分钟创造7.07亿个新订单。

距离上一次破世界纪录只有7个月了,成绩大幅度提升了近11倍,也打破了甲骨文等美国公司9年来一直“独霸排行榜”的现状。

就在最近,蚂蚁金服再次宣布将独立运营OceanBase作为公司,成立蚂蚁100%控股的数据库公司北京奥星贝思科技,由蚂蚁集团CEO胡小明亲自担任董事长。

这意味着自主开发的数据库产品OceanBase已经成为蚂蚁金服旗下面向B端的独立技术服务公司,代表了其数据库业务模式的成熟,其在蚂蚁集团内部的升级也进入了一个全新的发展阶段。

为什么国内数据库不行?

数据库的概念可以追溯到20世纪60年代。顾名思义,数据库是存储数据的仓库,按照一定的数据结构进行组织和存储。我们需要按照数据库的方法来管理、提取和利用数据。它也被认为是一种基本的、必要的核心技术能力。

到了20世纪70年代,关系模型已经诞生。20世纪80年代,关系数据库逐渐成为整个社会的信息基础设施。经过40多年的发展,以甲骨文为代表的传统商业数据库仍然占据市场主导地位。

数据库处于整个行业的底层,置换风险相当大,但收益要小得多。这就是为什么即使是IBM、微软这样的后来者也无法取代甲骨文的原因。这导致数据库成为门槛极高、人强的领域,后来者很难保持领先。

在国内数据库发展的40年里,它起源于国家的指导、支持和扶持。现阶段国内数据库的研发起源于大学。直到今天,这些有大学背景的数据库公司仍然是国内数据库的重要参与力量。大蒙、NPC金仓、NTU通用,也被称为传统的三剑客。

但是国家的高效扶持和投入是不够的。学术基因、市场和生态支持的缺乏,使得国内数据库的发展举步维艰。

1977年黄山第一届数据库年会

大梦——由华中理工大学冯玉才教授创立,自主开发。以甲骨文为参照,追到对象。

人大金仓——由中国人民大学王梓霏教授创立,自主开发。公共关系数据库。

NTU通用-南开大学背景,2010年左右自主开发的数据库系统,基于列存储,面向数据分析和数据仓库。

20世纪90年代,市场上的国内关系数据库大多源于或借鉴开源MySQL、PostgreSQL数据库及其变体,或收购商业源代码+自行开发。国内还有少数数据库是纯自主开发的,数据库类型不够丰富。

此时的Oracle数据库软件功能已经极其丰富,支持语句非常全面,超过了ANSISQL的标准,代码量巨大。

数据库管理系统行业观察员肖军在《国内数据库发展现状分析》中指出:“在数据库技术发展的今天,中国人不知道如何开发数据库底层,但是自己的代码在市场上磨练的比较少,对稳定性缺乏信心,这种缺乏信心也来自客户。”

不可否认,有大专背景的数据库厂商也有自己的优势,在技术上也在不断成长,对国内数据库的发展也起到了引领作用,培养人才。

2007年后,除了传统的数据库厂商和数据服务提供商,互联网厂商、云计算厂商、硬件厂商和新兴创业公司也越来越多地投资于数据库的研发,呈现出蓬勃发展的态势。蚂蚁金服的海洋基地就是代表之一。

海洋基地是如何诞生的?

随着互联网、电子商务和移动支付的发展,并发访问的数量急剧增加,甚至达到数百万到数千万的水平。企业对数据库的可扩展性和通用性提出了更高的要求,而传统的商业数据库越来越难以容纳和处理如此海量的数据和访问。

在2010年之前,IBM小型机、Oracle数据库和EMC存储设备几乎成为银行、电信和其他主要公司的标准。这些公司追求的是高可靠性和不差钱,都很喜欢IOE。然而,对于正在崛起的互联网公司来说,随着业务的快速增长,传统关系数据库的缺点越来越明显:可扩展性差、容量小、处理能力不足、成本高。

中国电商和支付量最大的阿里巴巴首先吹响了“IOE”的号角。2009年,刚刚加入阿里的王健院士提出,将IOE从阿里的IT系统中移除,代之以自主开发的系统。这一目标也反映在阿里2010年的技术预算报告中。

来源:阿里科技微信官方账号

当时还有一个小故事:当时高德现任总统刘振飞负责成立淘宝科技安全部。他在向王健博士汇报预算时,得意地说“2010年不会再买小型机了”,但王健博士严厉地批评他:“既然2010年可以不买小型机了,为什么还要留自己活口?2011年后还能买?补充一句话:2010年起不再购买小型机!”

随后,阿里发起的“去IOE”浪潮开始在全行业造成较大影响。

2010年,做了两年多分布式系统研究的杨振坤加入阿里巴巴,开始开发分布式数据库OceanBase。作为OceanBase的创始人,杨振坤放弃了基于成熟开源数据库二次开发的老路,毅然选择了周期长、投资大、可能失败的自主研究之路。

蚂蚁金服高级研究员、海洋基地创始人杨振坤

面对日益增加的流量压力,他认为单机数据库已经走到尽头,下一步只能分布式了。如果分布式技术可以应用到传统的关系数据库中,那么单机数据库中存在的各种问题都可以得到解决,这对于当时的整个互联网基础设施来说将是一个巨大的进步。

第二年,第一版OceanBase发布。首先,服务器数量减少了一个数量级,取得了非常好的效果。在接下来的几年里,采用分布式技术的OceanBase迅速从内部支持迭代到外部技术输出:

2014年,OceanBase在支付宝交易系统上取代甲骨文,承担10%的“双十一”流量;

2015年,网商银行成立,OceanBase成为全球首个应用于金融核心业务系统的分布式关系数据库;

2016年在支付宝会计系统上推出OceanBase,支持12万笔每秒的峰值支付;

2017年,支付宝首次将包括会计库在内的所有核心数据链接移至OceanBase,创造了4200万次/秒数据库处理的峰值记录;

同年,在阿里以外的商业银行南京银行首次推出OceanBase。

从关系数据库的角度来看,这么大的量很难通过TPC-C基准测试,维护系统性能更是难上加难。1500多个数据库节点,5000多万个仓库,以及相应数量的客户端,连续测试8个多小时,对整个系统来说是一个很大的考验。

OceanBase突破的关键在于采用了新一代分布式技术,颠覆了传统的集中式数据库处理技术架构。

一般来说,传统的数据库只能通过提高单机性能来提高整体性能,难以满足市场不断扩大的数据处理需求。通过分布式扩展集群,海洋基地可以极大地提高其扩展能力,并在整体性能上实现一个数量级的提高。

数据库云,阿里的新机遇

根据高德纳的研究,2019年全球数据库市场达到520亿美元,增长18.2%,成为整个基础软件行业中增长最快、规模最大的市场。在中国大陆,增长率为32%,越来越多的制造商和资本参与其中。

高德纳高级研究总监孙鑫告诉《创业》杂志,从现在开始,国内数据库厂商不会对甲骨文产生太大影响。在过去的十年里,虽然业界一直有“走向IOE”的声音,但甲骨文就像一座不可逾越的大山,市场份额依然排在第一位。与此同时,以阿里、腾讯、华为为代表的国内数据库新生依然有很大的机会。

首先,国内数据库将逐渐成为政府、央企、国企的首选。基于目前的政策原因,这些机构将重新认可国内数据库或开源数据库,并将其纳入采购系统。

其次,云将主导数据库市场的未来,成为大多数企业部署数据库的首选。云供应商正在撕裂传统数据库牢不可破的防线,走向云正成为国有企业和中央企业的一个关键考虑因素。

以金融业为例。近两年来,金融行业对开放技术的需求越来越明显。但是,目前纯云服务已经不能真正满足企业的需求。此前银监会提出银行业要稳步实施架构迁移。到十三五末,所有面向互联网场景的重要信息系统都将迁移到云计算架构平台,其他系统的迁移率不低于60%。

高德纳预测,到2022年,世界上75%的数据库将运行在云上,只有5%的数据库将部署在本地。在中国,云计算市场无疑是由BAT、华为等国内厂商主导的,这些厂商推出的数据库产品的生态在云中会越来越繁荣。

来源:高德纳

孙新指出,其实阿里、腾讯、华为也在利用自己在云计算市场的优势,带动自己的数据库业务收入快速增长。根据高德纳公布的全球DBMS市场份额排名,阿里巴巴云第9,华为第11,腾讯云第13。虽然离甲骨文、微软、IBM还有很长的路要走,但是他们的成长速度已经很惊人了。

作为全球云计算的领导者,AWS在丰富的云产品和生态能力方面已经超过了老牌厂商IBM。我们也有理由相信数据库市场的未来是云计算。

BAT等云厂商不仅做数据库,还在云上有很多周边产品,进行了很多创新和增值服务。

比如阿里巴巴云的BI产品QuickBI,作为阿里数据中心的核心产品,用户可以通过拖放操作完成数据建模和分析。这也使用户越来越深刻地认识到,基于数据库的产品实际上可以做更多的事情,而不仅仅是存储数据。云还可以给企业带来更多的附加值,而不仅仅是把数据换到另一个地方,这样云的生态也会让更多的人参与进来。

目前,云上生态已经基本建立。大多数企业数据都是在云中生成的。如果把云中的数据带到本地进行数据分析和数据存储,会增加很多集成的难度。所以很多国企和央企也在考虑如何在纯云环境下部署和整合数据库。

从创新的角度来看,无论是数据库公司还是前端商业BI公司,他们的发展和创新都集中在云上。无论是算法、工具还是功能,基本都首选基于云的环境,甚至有些功能只能在云上运行。所以,中国企业要想寻求创新,上云几乎是必由之路。

未来几年,云计算无疑将成为国内外数据库厂商关注的焦点。作为中国云计算的“大哥”,阿里在云方面的OceanBase创新将进一步吸引用户的关注。

“一石二鸟”

2017年以来,蚂蚁金服面临相当大的金融监管压力:储备资金上缴央行,没有一次性产生任何利息。2017年消费贷款ABS发行量超过3000亿元峰值后,监管部门强调杠杆率,2018年发行规模大幅下降。此外,还有一些关键问题,如平衡宝规模放缓。

在这种背景下,公司面临加速转型。从2017年蚂蚁金服拆分数据来看,支付连接占比54%;金融服务业占11%;技术服务占34%。蚂蚁金服表示,2021年,技术服务收入将上升至总收入的65%,超过支付收入,成为最大收入项目,也算是规避支付业务监管风险的举措。

蚂蚁金服的三大业务

广发证券曾预测,蚂蚁金服技术服务将是公司未来的“增长极”之一,致力于提高机构用户的营销和风险控制能力,带来增量收入。作为蚂蚁金服的主要发展方向,技术出口经历了多个阶段。

2015年,蚂蚁金服集团董事长敬先东提出“推互联网”计划;2016年,蚂蚁金服强调TechFin定位,宣布金融科技对外开放;2017年,蚂蚁宣布全面对外开放;2018年9月,蚂蚁金服云升级为蚂蚁金服科技,加速开放。

通过开放金融云服务,为中小银行构建业务系统,帮助银行等传统金融机构进行数字化改造,已经成为蚂蚁金服技术输出的主要内容。

蚂蚁金服副总裁刘伟光表示,公司经历了重组自身结构的过程,通过不断挖掘市场需求,形成了自己的产品。在蚂蚁金服科技的开放板块,主要包括区块链、金融情报、金融安全、分布式架构、移动开发和OceanBase所在的分布式数据库板块。

据悉,OceanBase独立后的新公司今年将发布重大版本升级,在原有功能的基础上增加分析业务处理能力,OceanBase将升级为支持HTAP混合负载的企业级分布式数据库。海洋基地还宣布,它将在未来三年为全球10,000多家企业客户提供服务。

资料来源:海洋基地

孙鑫告诉创业状态,蚂蚁金服作为一家公司独立运营海洋基地,但对海洋基地本身并没有太大改变,只是改变了与蚂蚁金服的实体关系。这种实体关系的改变,会带来“一箭双雕”的效果,可谓一盘精彩的棋。

从资本来看,截至2020年6月,蚂蚁金服已发生9起融资事件。其中,首次公开募股前一轮融资额为140亿美元,是迄今为止世界上最大的单笔私人融资。此次融资后,蚂蚁金服估值达到1500亿美元。

近几年来,关于蚂蚁金服何时何地上市的各种新闻不断。蚂蚁金服作为超级独角兽,似乎离市场越来越近了。

蚂蚁金服融资流程

孙鑫认为,OceanBase独立后,蚂蚁金服会有更清晰的定位,可以更专注于作为一家专业的金融公司运营,银行这样的实体存在,也可能是作为独角兽上市的途径。

此外,传统银行在使用互联网金融公司的产品时,仍然存在一些担忧和恐惧。蚂蚁金服作为阿里旗下的科技金融公司,有自己的技术能力。传统金融公司在使用OceanBase产品时,必然会担心数据安全和隐私问题。

OceanBase独立后,作为一家B端数据库产品公司,金融客户的心态和信任度会有很大的变化。

南京银行“云信+”互联网金融平台是海洋基地最早的对外商业项目。2017年10月,阿里巴巴云和蚂蚁金服打造的平台上线,南京银行互金核心系统交易处理能力、成本控制、对接效率大幅提升。

平台上线后,业务增长迅速,贷款交易处理能力从原来的10万笔/日全面提升到100万笔/日。轻资产模式将单账户管理成本从30-50元降低到4元。相对于传统银行系统,维护人员只有1/5左右。

可以说,此次蚂蚁金服将独立运营OceanBase,将有利于为其上市铺平道路,打消客户对其大规模商业化的安全顾虑。

马云曾经说过:

核心技术很难,但也不是高不可攀。

我们错过了昨天的机会,也不能再错过明天的机会。

真正的大企业不看市值,

重要的是你有多大,而不是你的市场份额有多大。

看你是否掌握了核心和关键技术。

参考文献:

杨振坤:10年打造“一流”产品,IT168

“在一篇文章中阅读数据库70年的发展历史”,常磊首都冯斯基

《盘点2019:国内数据库的一点观察和总结》,老鱼

免责申明:以上内容属作者个人观点,版权归原作者所有,不代表趣投网立场!登载此文只为提供信息参考,并不用于任何商业目的。如有侵权或内容不符,请联系我们处理,谢谢合作!
当前文章地址:https://www.qthbsb.com/shuma/639118.html 感谢你把文章分享给有需要的朋友!
上一篇:360wifi路由器 信号无死角!360 Wi-Fi 6全屋路由天穹系列上手 下一篇: 热水器爆炸的早期征兆 热水器爆炸致使家人烧伤:为何热水器会成威胁安全的定时炸弹