Redis源码剖析——简单动态字符串(SDS)

解析Redis的一个底层数据结构——简单动态数组,讨论起优点和不足

Redis没有直接使用C语言传统的字符串表示(以空字符结尾的字符数组),而是自己构建了一种名为简单动态字符串( simple dynamic string,SDS)的抽象类型,并将SDS用作 Redis的默认字符串表示。现在作者把这一个部分抽出来,单独做了一个项目,地址在这里

数据结构定义定义

1
2
3
4
5
struct sdshdr {
unsigned int len; // buf数组中已经使用的字节数量
unsigned int free; // buf数组中未使用的字节数量
char buf[]; // 字节数组,保存字符
};

SDS遵循C字符串以空字符结尾的惯例,保存空字符的1字节空间不计算在SDS的1en属性里面,并且为空字符分配额外的1字节空间,以及添加空字符到字符串末尾等操作

优势

获取字符串长度是常数级复杂度

C语言中获取字符串的长度需要把整个字符串都遍历一遍,而对于SDS来说,只需要访问len属性,将时间复杂度从O(N)降低到了O(1)

杜绝缓冲区溢出

除了获取字符串长度的复杂度高之外,C字符串不记录自身长度带来的另一个问题是容易造成缓冲区溢出( buffer overflow)。C语言字符串进行拼接的时候如果不对原来的字符串分配足够的空间,容易造成溢出。

与C字符串不同,SDS的空间分配策略完全杜绝了发生缓冲区溢出的可能性:当SDS API需要对SDS进行修改时,API会先检查SDS的空间是否满足修改所需的要求,如果不满足的话,API会自动将SDS的空间扩展至执行修改所需的大小,然后才执行实际的修改

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
// 追加长度为len的字符串到buf的末尾
sds sdscatlen(sds s, const void *t, size_t len) {
struct sdshdr *sh;
size_t curlen = sdslen(s);
// 扩展sds空间,确保其至少含有len+1个空间可以放置字符串
s = sdsMakeRoomFor(s,len);
if (s == NULL) return NULL;
sh = (void*) (s-(sizeof(struct sdshdr)));
// 复制字符串
memcpy(s+curlen, t, len);
// 更新长度
sh->len = curlen+len;
sh->free = sh->free-len;
s[curlen+len] = '\0';
return s;
}
sds sdscat(sds s, const char *t) {
return sdscatlen(s, t, strlen(t));
}

减少修改字符串时带来的内存重分配次数

C语言中,每次对字符串进行修改都要进行内存的重新分配,在SDS中使用空间预分配和惰性空间释放来减少内存重新分配的次数

空间预分配

SDS在执行空间扩展的时候将执行以下策略:

  • 如果对SDS进行修改之后,SDS的长度(也即是1en属性的值)将小于1MB,那么程序分配和1en属性同样大小的未使用空间,这时SDs1en属性的值将和free属性的值相同。
  • 如果对SDs进行修改之后,SDS的长度将大于等于1MB,那么程序会分配1MB的未使用空间。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
// 对sds中buf的长度进行扩展,至少有addlen+1长度的剩余空间
sds sdsMakeRoomFor(sds s, size_t addlen) {
struct sdshdr *sh, *newsh;
size_t free = sdsavail(s);
size_t len, newlen;
// 目前剩余空间足够
if (free >= addlen) return s;
len = sdslen(s);
sh = (void*) (s-(sizeof(struct sdshdr)));
newlen = (len+addlen);
// 分配两倍空间
if (newlen < SDS_MAX_PREALLOC)
newlen *= 2;
// 分配1M空间
else
newlen += SDS_MAX_PREALLOC;
newsh = zrealloc(sh, sizeof(struct sdshdr)+newlen+1);
if (newsh == NULL) return NULL;
// 更新剩余空间
newsh->free = newlen - len;
return newsh->buf;
}

惰性空间释放

惰性空间释放用于优化SDS的字符串缩短操作:当SDS的API需要缩短SDS保存的字符串时,程序并不立即使用内存重分配来回收缩短后多出来的字节,而是使用free属性将这些字节的数量记录起来,并等待将来使用。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
// 移除所有在s中出现过的cset字符
sds sdstrim(sds s, const char *cset) {
struct sdshdr *sh = (void*) (s-(sizeof(struct sdshdr)));
char *start, *end, *sp, *ep;
size_t len;
sp = start = s;
ep = end = s+sdslen(s)-1;
while(sp <= end && strchr(cset, *sp)) sp++;
while(ep > start && strchr(cset, *ep)) ep--;
len = (sp > ep) ? 0 : ((ep-sp)+1);
if (sh->buf != sp) memmove(sh->buf, sp, len);
sh->buf[len] = '\0';
// 并没有释放buf空间,而是增加free数量
sh->free = sh->free+(sh->len-len);
sh->len = len;
return s;
}

二进制安全

C字符串中的字符必须符合某种编码方式,并且除了字符串的末尾处,字符串里面不能包含空字符。使得C字符串只能保存文本数据,而不能保存像图片、音频、视频、压缩文件这样的二进制数据。

Redis可以适用于各种不同的使用场景,SDS的API都是二进制安全的(binary-safe),所有 SDS API都会以处理二进制的方式来处理SDs存放在buf数组里的数据

不足

API返回后不能确定内部是否重新分配了空间

1
s = sdscat(s, "Hello world");

s既是参数,又作为了返回值,原因是我们在调用sdscat函数之前不确定s的剩余空间是否足够分配出data长度的字节,如果不够的话,内部会重新malloc空间,然后把目前的sds包括头部全部挪过去,这样的话如果我们没有把返回的地址重新赋值给s,那么s实际上是失效的。