消息队列：应对数据库执行失败的处理方式 (消息队列数据库执行失败处理)
在现代应用程序中，数据库是不可或缺的组成部分，其具有存储和检索数据的重要功能。然而，当数据库执行失败时，会导致应用程序出现一系列问题，例如错误或崩溃等。为了避免这种情况，消息队列已经成为处理数据库执行失败的一种重要方式，它可以帮助我们在特定时间检测和修复错误，从而提高应用程序的可靠性。
什么是消息队列？
消息队列是一种跨进程、跨网络的通信方式，其中消息发送者将消息发送到队列中，并由消息接收者从队列中接收和处理消息，即“发布和订阅”模式。消息队列基于异步通信方式，可以提高应用程序的性能和并发性，并且可以帮助我们在高负载情况下处理消息，从而提高应用程序的可伸缩性和可靠性。
消息队列的优势
在处理数据库执行失败的情况下，消息队列具有以下优势：
1. 分离数据库操作和应用程序：当应用程序需要执行数据库操作时，可以将这些操作交给消息队列来处理，从而避免在应用程序中直接处理数据库操作，减少数据库操作对应用程序的干扰。
2. 异步处理：消息队列是基于异步通信的，可以帮助我们在高负载情况下处理消息，从而提高应用程序的性能和并发性。此外，消息队列还可以帮助我们在应用程序停止或崩溃时保持消息和状态的完整性。
3. 可重试性和可恢复性：当数据库执行失败时，消息队列可以将消息重新排队，以便稍后重新尝试。此外，如果消息无法修复，则可以将其发送到“死信队列”，以便进行后续处理。
消息队列的实现方式
在处理数据库执行失败的情况下，消息队列可以采用以下实现方式：
1. 事务性消息：当应用程序需要执行一系列数据库操作时，可以将这些操作作为事务性消息发送到消息队列中，以便在一定时间内进行提交或回滚。如果其中的某个操作发生错误，则可以回滚事务，从而保证数据的完整性。
2. 数据库通知：在数据库执行失败时，可以使用数据库通知机制将错误信息发送到消息队列中，并由应用程序订阅相应的消息进行处理。例如，使用PostgreSQL中的“LISTEN”和“NOTIFY”。
3. 延迟队列：在处理一些对时效性没有特别要求的任务时，可以使用延迟队列。当数据库执行失败时，可以将任务放入延迟队列中，并设置一定的延迟时间，以便在稍后处理。
4. 死信队列：当消息无法修复时，可以将其发送到死信队列中，进行后续处理。例如，可以将故障消息发送到监控系统中，以便管理员进行数据修复或人工处理。
结论
在现代应用程序中，数据库是不可或缺的组成部分，但当数据库执行失败时，会导致应用程序出现一系列问题。为了解决这个问题，消息队列成为处理数据库执行失败的一种重要方式，它可以帮助我们在特定时间检测和修复错误，从而提高应用程序的可靠性。在使用消息队列时，事务性消息、数据库通知、延迟队列和死信队列等多种实现方式可以根据应用程序的需求和场景进行选择。
相关问题拓展阅读：
统计局证书助手 数据库操作失败
因为数据库当前在使用中。
删除数据库、终止数据库连接和创建数据库的备份副本之类的一些数据库操作需要岁悄关联数据库处于不活动状态并且该数据库不能有相连的
应用程序
。如果尝试对有相连应用程序的活动数据库执行这类操作，拦戚那么该操作将失败。
在php队列php-resque里头使用了数据库的单例模式显示MySQL server has gone away
PHP的轻量消息队列php-resque使用说明
消息队列处理后台任务带来的问题
项目中经常会有后台运行任务的需求，比如发送邮件时，因为要连接邮件服务器，往往需要5-10秒甚至更长时间，如果能先给用户一个成功的提示信息，然后在后台慢慢处理发送邮件的操作，显然会有更好的用户体验。
为了实现类似的需求，Web项目中一般的实现方法是使用消息队列(Message Queue)，比如MemcacheQ，RabbitMQ等等，都是很著名的产品。
消息队列说白了就是一个最简单的先进先出队列，队列的一个成员就是一段文本。正是因为消息队列实在太简单了，当拿着消息队列时，反而有点无从下手的感觉，因为这仅仅一个发送邮件的任务，就会引申出很多问题：
消息队列只能存储字符串类型的数据，如何将一个发送邮件这样的“任务”，转换为消息队列中的一个“消息”?
消息队列只负责数据的存放与进出，本身不能执行任何程序，那么我们要如何从消息队列中一个一个取出数据，再将这些数据转化回任务并执行。
我们无法预知消息队列何时会有数据产生，所以我们的任务执行程序还需要具备监控消息队列的能力，也就是一个常驻后台的守护进程。
一般的Web应用PHP都以cgi方式运行，无法常驻内存。我们知道php还有cli模式，那么守护进程是否能以php cli来实现，效率如何？
当守护进程运行时，Web应用能否与后台守护进程交互，实现开启/杀死进程的功能以及获得进程的运行状态？
Resque对后台任务的设计与角色划分
对以上这些问题，目前为止我能找到的更好答案，并不是来自php，而是来自Ruby的项目Resque，正是由于Resque清晰简单的解决了后台任务带来的一系列问题，Resque的设计也被Clone到Python、php、NodeJs等语言：比如Python下的pyres以及PHP下的php-resque等等，这里有各种语言版本的Resque实现，而在本篇日志里，我们虚袜笑当然要以PHP版本为例来说明如何用php-resque运行一个后台任务，可能一些细节方面会与Ruby版有出入，但是本文中以php版为准。
Resque是这样解决这些问题的：
后台任务的角色划分
其实从上面的问题已经可以看出，只靠一个消息队列是无法解决所有问题的，需要新的角色介入。在Resque中，一个后台任务被抽象为由三种角色共同完成：
Job | 任务 ： 一个Job就是一个需要在后成的任务，比如本文举例的发送邮件，就可以抽象为一个Job。在Resque中一个Job就是一个Class。
Queue | 队列 ： 也就是上文的消息队列，在Resque中，队列则是由Redis实现的。Resque还提供了一个简单的队列管理器，可以实现将Job插入/取出队列等功能。
Worker | 执行者 ： 负责从队列中取出Job并执行，可以以守护进程的方式运行在后台。
那么基于这个划分，一个后台任务在Resque下的基本流程是这样好碰的：
将一个后台任务编写为一个独立的Class，这个Class就是一个Job。
在需要使用后台程序的地方，系统将Job Class的名称以及所需参数放入队列。
以命令差含行方式开启一个Worker，并通过参数指定Worker所需要处理的队列。
Worker作为守护进程运行，并且定时检查队列。
当队列中有Job时，Worker取出Job并运行，即实例化Job Class并执行Class中的方法。
至此就可以完整的运行完一个后台任务。
在Resque中，还有一个很重要的设计：一个Worker，可以处理一个队列，也可以处理很多个队列，并且可以通过增加Worker的进程/线程数来加快队列的执行速度。
php-resque的安装
需要提前说明的是，由于涉及到进程的开辟与管理，php-resque使用了php的PCNTL函数，所以只能在Linux下运行，并且需要php编译PCNTL函数。如果希望用Windows做同样的工作，那么可以去找找Resque的其他语言版本，php在Windows下非常不适合做后台任务。
以Ubuntu12.04LTS为例，Ubuntu用apt安装的php已经默认编译了PCNTL函数，无需任何配置，以下指令均为root帐号安装Redis
apt-get install redis-server
安装Composer
apt-get install curl
cd /usr/local/bin
curl -s
| phpchmod a+x composer.phar
alias composer=’/usr/local/bin/composer.phar’
使用Composer安装php-resque
假设web目录在/opt/htdocs
apt-get install git git-core
cd /opt/htdocs
git clone php-resque
composer install
php-resque的使用
编写一个Worker
其实php-resque已经给出了简单的例子， demo/job.php文件就是一个最简单的Job：
class PHP_Job
{
public function perform()
{
sleep(120);
fwrite(STDOUT, ‘Hello!’);
}
}
这个Job就是在120秒后向STDOUT输出字符Hello!
在Resque的设计中，一个Job必须存在一个perform方法，Worker则会自动运行这个方法。
将Job插入队列
php-resque也给出了最简单的插入队列实现 demo/queue.php：
if(empty($argv)) {
die(‘Specify the name of a job to add. e.g, php queue.php PHP_Job’);}
require __DIR__ . ‘/init.php’;
date_default_timezone_set(‘GMT’);
Resque::setBackend(‘127.0.0.1:6379’);
$args = array(
’time’ => time(),
’array’ => array(
’test’ => ‘test’,
),
);
$jobId = Resque::enqueue(‘default’, $argv, $args, true);echo “Queued job “.$jobId.”\n\n”;
在这个例子中，queue.php需要以cli方式运行，将cli接收到的之一个参数作为Job名称，插入名为’default’的队列，同时向屏幕输出刚才插入队列的Job Id。在终端输入：
php demo/queue.php PHP_Job
结果可以看到屏幕上输出：
Queued job b1f01038e5e833d24b46271a0e31f6d6即Job已经添加成功。注意这里的Job名称与我们编写的Job Class名称保持一致：PHP_Job查看Job运行情况
php-resque同样提供了查看Job运行状态的例子，直接运行：
php demo/check_status.php b1f01038e5e833d24b46271a0e31f6d6可以看到输出为：
Tracking status of b1f01038e5e833d24b46271a0e31f6d6. Press to stop.
Status of b1f01038e5e833d24b46271a0e31f6d6 is: 1我们刚才创建的Job状态为1。在Resque中，一个Job有以下4种状态：
Resque_Job_Status::STATUS_WAITING = 1; (等待)Resque_Job_Status::STATUS_RUNNING = 2; (正在执行)Resque_Job_Status::STATUS_FAILED = 3; (失败)Resque_Job_Status::STATUS_COMPLETE = 4; (结束)因为没有Worker运行，所以刚才创建的Job还是等待状态。
运行Worker
这次我们直接编写demo/resque.php：
date_default_timezone_set(‘GMT’);
require ‘job.php’;
require ‘../bin/resque’;
可以看到一个Worker至少需要两部分：
可以直接包含Job类文件，也可以使用php的自动加载机制，指定好Job Class所在路径并能实现自动加载包含Resque的默认Worker： bin/resque
在终端中运行：
QUEUE=default php demo/resque.php
前面的QUEUE部分是设置环境变量，我们指定当前的Worker只负责处理default队列。也可以使用QUEUE=* php demo/resque.php
来处理所有队列。
运行后输出为
#!/usr/bin/env php
*** Starting worker
用ps指令检查一下：
ps aux | grep resque
可以看到有一个php的守护进程已经在运行了
07 0.0 0. pts/3 S+ 14:52 0:00 php demo/resque.php再使用之前的检查Job指令
php demo/check_status.php b1f01038e5e833d24b46271a0e31f6d62分钟后可以看到
Status of b1f01038e5e833d24b46271a0e31f6d6 is: 4任务已经运行完毕，同时屏幕上应该可以看到输出的Hello!
消息队列数据库执行失败处理的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于消息队列数据库执行失败处理,消息队列：应对数据库执行失败的处理方式,统计局证书助手 数据库操作失败,在php队列php-resque里头使用了数据库的单例模式显示MySQL server has gone away的信息别忘了在本站进行查找喔。
