高效应对高并发:数据库事务设计精要 (高并发数据库事务设计)

随着互联网的快速发展,越来越多的企业开始将业务向线上转移,例如电商、在线旅游等等。这种转移给数据库带来了前所未有的挑战,超高并发的访问量、快速的数据变更等等,都使得数据库的稳定性、性能等方面的要求提高了很多。因此,对于数据库事务设计的精要,也就成为了业内人士关注的热点。

一、事务概念

在数据库中,事务(Transaction)是指一组在逻辑上被看成是一个整体,要么全部执行,要么都不执行的操作。例如,在一个银行转账的操作中,涉及到从一个账户中扣除一定金额,同时向另一个账户中增加相应的金额,这两个操作的执行应该是“不可分割”的。

二、事务特性

数据库事务有四个特性,即原子性、一致性、隔离性和持久性。

1. 原子性(ACID的”A”)

原子性是指一个事务中包含的所有操作要么全部成功,要么全部失败。事务的执行结果不能部分提交,也不能部分成功。如果事务在执行过程中发生了错误,那么整个事务都会被回滚到开始执行时的状态。

2. 一致性(ACID的”C”)

一致性指的是事务执行前后,数据库的状态保持一致。事务所执行的操作应该满足业务要求,例如在某个账户中存入一定金额,那么执行完事务后,该账户的余额应该与执行前的余额相加得到。

3. 隔离性(ACID的”I”)

隔离性是指一个事务的执行不能被其他事务干扰。同一个时间,多个事务在数据库中同时进行,它们的执行过程之间应该互不干扰,即一个事务中所做的改变对其他事务来说不可见。

4. 持久性(ACID的”D”)

持久性是指一个事务执行结束后,其结果应该永久保存在数据库中。确保在数据库退出或者服务器崩溃等异常情况下,数据能够得到恢复。

三、多个事务之间的并发

由于互联网应用的特殊性,很多时候会面对多个数据库事务之间的并发。例如某个购物网站,有两个用户同时在下单,两个事务都试图向订单表中插入一条记录,那么就需要考虑这种并发下,事务的执行效率与数据的一致性如何平衡。一般来说,数据库系统中会采用锁机制来解决并发问题。

1. 锁的种类

共享锁(Shared Lock):当一个事务在读一个数据时,使用共享锁对数据进行加锁,其他事务只能读该数据,不能进行修改操作。

排他锁(Exclusive Lock):当一个事务在修改一个数据时,使用排他锁对数据进行加锁,其他事务无法读取或修改该数据。

2. 锁的级别

事务的隔离级别是指在多个事务处理的同时,能否操作同一个数据。SQL标准定义了4个事务隔离级别:Read Uncommitted(读未提交)、Read Committed(读已提交)、Repeatable Read(可重复读)和Serializable(可串行化)。这些级别从上到下逐步提高。事务的隔离级别越高,性能方面的开销一般越大。

3. 并发带来的问题

锁虽然可以解决并发问题,但也会带来一些问题。例如死锁、饥饿等等。死锁是指多个事务互相占有对方需要的资源,最终导致所有事务都无法继续执行。饥饿则是指某个事务因为无法取得必要的资源而一直无法执行下去。

四、数据库事务设计

1. 高并发下的性能问题

高并发下,系统的性能会变得很重要。为了保证系统的高性能,需要考虑以下因素:

优化SQL语句,减少数据库的无效读取

增加缓存层,避免重复读取

分库分表,减少单个表的数据量

2. 事务的设计

为了保证事务的原子性、一致性、隔离性和持久性,需要注意以下几点:

避免人为错误,例如在一个事务中修改了多个表,但只提交了部分修改,导致数据一致性问题

尽量采用较短的事务,避免长时间占用数据库资源

尽量先进行读操作,避免对同一个数据进行多次更新

对于一些非常重要的事务,可以采用事务超时机制,强制事务在一定时间内执行完毕。

五、

对于数据库事务的设计,需要考虑多个方面,例如事务的原子性、一致性、隔离性和持久性、锁机制的运用、事务的设计等等。要想在高并发下保证系统的高效稳定运行,需要引入一些优化手段,例如优化SQL语句、增加缓存层、分库分表等。只有在综合考虑了这些方面之后,才能给用户带来更好的使用体验。

相关问题拓展阅读:

关系型数据库的局限性有哪些难以满足高并发读写的需求

随着互联网web2.0网站的兴起,非关系型的数据库现在成了一个极其热门的新领域,非关系数据库产品的发展非常迅速。而传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,例如:

1、High performance——对数据库高并发读写的需求

Web2.0网站要根据用户个性化信息来实时生成动态页面和提供动态信息,所以基本上无法使用动态页面静态化技术,因此数据库并发负载非常高,往往要达到每秒上万次读写请求。关系数据库应付上万次SQL查询还勉强顶得住,但是应付上万次SQL写数据请求,硬盘IO就已经无法承受了。其实对于普通的BBS网站,往往也存在对高并发写请求的需求,例如像JavaEye网站的实时统计在线用户状态,记录热门帖子的点击次数,投票计数等,因此这是一个相当普衡肢遍的需求。

2、Huge Storage——对海量数据的高效率存储和访问的需求

类似镇租Facebook,twitter,Friendfeed这样的SNS网站,每天用户产生海量的用户动态,以Friendfeed为例,一个月就达到了2.5亿条用户动态,对于关系数据库来说,在一张2.5亿条记录的表里面进行SQL查询,效率是极其低下乃至不可忍受的。再例如大型web网站的用户登录系统,例如腾讯,盛大,动辄数以亿计的帐号,关系数据库也很难应付。

3、High Scalability && High Availability——对数据库的高可扩展性和高可用性的需求

在基于web的架构当中,数据库是最难进行横向扩展的,当一个应用系统的用户量和访问量与日俱增的时候,你的数据库却没有办法像web server和app server那样简单的通过添加更多的硬件和服务节点来扩展性能和负载能力。对于很多需要提供24小时不间断服务的网站来说,对数据库系统进行升级和扩展是非常痛苦的事情,往往需要停机维护和数据迁移,为什么数据库不能通过不断的添加服务器节点来实现扩展呢?

在上面提到的“三高”需求面前,关系数据库遇到了难以克服的障碍,而对于web2.0网站来说,关系数据库的很多主要特性却往往无用武之地,例如:

1. 数据库事务一致性需求

很多web实时系统并不要求严格的数据库事务,对读一致性的要求很低,有些场合对写一致性要求也不高。因此数据库事务管理成了数据库高负载下一个沉重的负担。

2. 数据库的写实时性和读实时性需求

对关系数据库来说,插入一条数据之后立刻查询,是肯定可以读出来这条数据的,但是对于很多web应用来说,并不要求这么高的实时性,比方说我(JavaEye的robbin)发一条消息之后,过几秒乃至十几秒之后,我的订阅者才看到这条动态是完全可以接受的。

3、对复杂的SQL查询,特别是多表关联查询的需求

任何大数据量的web系统,都非常忌讳多个大表的关联查询,以及复杂的数据分析类型的复杂SQL报表查询,特别是SNS类型的网站,从需求以及产品设计角度,就避免了这种情况的产生。往往更多的只是单表的主键查询,以及单表的简单条件分页查询,SQL的功能被极大的弱化了。

因此,关系数据库在这些越来越多的应用场景下显得不那么合适了,为了解决这类问题的非关系数据库应运而生,现在这两年,各种各样非关系数据库,特别是键值数据库(Key-Value Store DB)风起云涌,多得让人眼花缭乱。前不久国外刚刚举办了NoSQL Conference,各路NoSQL数据库纷纷亮相,加上未亮相但是名声在外的,起码有超过10个开源的NoSQLDB,例如:

Redis,Tokyo Cabinet,Cassandra,Voldemort,MongoDB,御拦兆Dynomite,HBase,CouchDB,Hypertable, Riak,Tin, Flare, Lightcloud, KiokuDB,Scalaris, Kai, ThruDB, ……

这些NoSQL数据库,有的是用C/C++编写的,有的是用Java编写的,还有的是用Erlang编写的,每个都有自己的独到之处,看都看不过来了,我(robbin)也只能从中挑选一些比较有特色,看起来更有前景的产品学习和了解一下。

高并发数据库事务设计的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于高并发数据库事务设计,高效应对高并发:数据库事务设计精要,关系型数据库的局限性有哪些难以满足高并发读写的需求的信息别忘了在本站进行查找喔。


数据运维技术 » 高效应对高并发:数据库事务设计精要 (高并发数据库事务设计)