如何避免Redis队列中的重复消费（redis 队列重复消费）

  Redis队列分布式技术已被广泛应用于各种业务场景,但是使用Entity Framework时,它有一个常见的问题：重复消费。多个客户端将同一条消息从消息队列中分发出去,但有时候只有一个客户端可以消费消息,从而导致重复消费的问题。因此,怎样避免Redis队列中的重复消费是运维人员和开发人员面临的一个有趣的问题。

  首先,对于一个单个消息,提供一个消息编号,每个消息在分发之前,都 应该被赋予一个唯一的值,当消费者从Redis中收取消息时,可以设置一个key来标识当前消息,这样做可以让微服务可以安全地运行,同时又能保证消息不会被重复消费。代码如下：

public Task publish(string message)
{
    //获取消息编号
    int messageId = GetMessageId();

    //将消息封装成一个带有消息编号的完整消息
    Message message = new Message(){
        messageId = messageId,
        content = message;
    }

    //将消息发布到Redis
    awt _redis.EnqueueAsync(key,message);
    return Task.CompletedTask;
}

  其次,实现一个函数来保证发布消息时完整性：在写入Redis之前,先检查到底当前消息是否已被发布,也就是说在将消息发送给多个客户端之前,通过一些并发算法和技术去检查是否存在消息编号相同的消息,只有数据校验通过之后,才将消息写入Redis。代码如下：

public Task publish(string message)
{
    int messageId = GetMessageId();
    string key = "message:" + messageId;

    //把任务放入缓存中
    if(!awt _redis.StringSetAsync(key, message))
    {
        //缓存中的消息和要发布的消息不一致。
        //将消息放回原队列
        awt _redis.EnqueueAsync(message);
        return;
    }
    Message message = new Message(){
        messageId = messageId,
        content = message;
    }
    
    //将消息发布到Redis
    awt _redis.EnqueueAsync(key,message);

    return Task.CompletedTask;
}

  最后,提供一个队列标记机制,如果有消费者发现消息正在被处理,则可以立刻移除消息,从而避免重复消费。例如我们可以在发布消息前,使用如下代码标记当前消息：

//设置一个key表示当前消息的消费是否结束
string key = "inprogress:" + messageId;

//每次订阅该消息之前,使用iflock()方法防止重复消费
bool lockResutl = awt _redis.IfLockAsync(key);
if(lockResutl == false)
{
    //table 表示当前消息在处理的过程中,已经被别人消费了,因此从队列中移除
    awt _redis.DequeueAsync(message);
    
    return;                        
}

  总之,要想避免Redis队列中出现重复消费的问题，就必须要做到三点：首先提供消息编号，其次实现消息写入之前的数据完整性校验，最后提供队列标记机制。

香港服务器首选港服(Server.HK)，2H2G首月10元开通。
港服(Server.HK)（www.IDC.Net）提供简单好用，价格厚道的香港/美国云服务器和独立服务器。IDC+ISP+ICP资质。ARIN和APNIC会员。成熟技术团队15年行业经验。