从Redis源码中学习如何复制（redis 源码 复制）

从Redis源码中学习如何复制

复制（replication）是Redis的一个重要功能，它可以将一个Redis实例中的所有数据复制到另一个实例中，实现数据的高可用性和可扩展性。本文将从Redis源码的角度分析如何实现Redis的复制功能。

一、概述

Redis复制的实现分为以下四个步骤：

1. 主从建立连接

主从之间通过socket连接进行通信，首先需要建立连接。在Redis源码中，建立连接的函数为`connectWithMaster`，它在`replication.c`文件中定义。

“`c

int connectWithMaster(void) {

// …

// 创建socket连接

if (connectWithMasterInner(conn, config.masterhost, config.masterport,

&timeout, NULL) == C_ERR)

{

// …

}

// …

// 发送INFO命令获取主节点信息

if (syncWithMaster() == C_ERR) {

// …

}

// …

}

2. 发送PSYNC命令同步数据

连接建立成功后，从节点需要向主节点发送`PSYNC`命令来同步数据。如果是初次同步，则需要全量复制（full sync），否则是增量复制（partial sync）。

在Redis源码中，`PSYNC`的处理逻辑在`readQueryFromClient`函数中，如果收到`PSYNC`命令，则会调用`replicationFeedSlave`函数开始同步数据。

```c
void readQueryFromClient(aeEventLoop *el, int fd, void *privdata, int mask) {
    // ...

    // 处理命令
    if (sdslen(ci->buf) && ci->buf[sdslen(ci->buf)-1] == '\n') {
        if (processInlineBuffer(ci) == C_OK) {
            // ...
        } else {
            // ...
            replicationFeedSlave(fd, readreploff, syncstage, NULL);
        }
    }

    // ...
}

3. 从节点执行同步操作

主从连接和发送命令后，从节点需要执行同步操作。同步过程中，主节点将所有写命令（包括增删改操作）的日志记录到内存中，称为复制积压缓冲区（replication backlog）或复制缓存。从节点连接成功后，会发送`SYNC`命令要求主节点将缓存中的数据复制到从节点中，从而实现同步。

从节点执行同步操作的代码在`replication.c`文件中，其中最核心的函数是`readSyncBulkPayload`，它负责读取同步数据：

“`c

ssize_t readSyncBulkPayload(aeEventLoop *el, int fd, char *lp, uint64_t left) {

// …

if (left == 1) {

// PSYNC后的第一次同步，需要全量同步

// 读取RDB文件

// …

} else {

// 增量同步，读取复制缓存

// …

}

// …

// 读取缓存中的数据

for (j = 0; j

// …

}

// …

}

4. 增量同步

如果是增量同步，从节点需要周期性地向主节点发送`REPLCONF ACK `命令来确认同步点。主节点会根据这个确认点来确定从节点的同步点，从而防止数据的丢失。
增量同步的代码在`replication.c`文件中，主节点会记录从节点的确认点，并且根据同步点来清理复制缓存。从节点在确认同步点时需要调用`replicationCron`函数来更新同步点，并且允许主节点执行缓存清理操作。

```c
void replicationCron(struct aeEventLoop *eventLoop, long long id, void *clientData, int mask) {
    // ...
    
    // 如果没有增量复制在执行，则更新同步点
    if (!g_pserver->repl_backlog_histlen)
        updateSlavesWtingBgsave(-1);

    // ...
}

二、总结

Redis复制功能的实现非常精简高效，主要通过socket连接和字节流的方式来传输数据。在数据同步的过程中，主从节点需要通过一定的协议来传输数据、同步点和确认点。通过了解Redis的复制功能，我们可以更加深入的理解Redis的工作原理，并且可以在实际应用开发中更好地使用Redis。