Redis

定義

　　redis是一個(gè)key-value存儲系統(tǒng)。和Memcached類似，它支持存儲的value類型相對更多，包括string(字符串)、list(鏈表)、set(集合)、zset(sorted set --有序集合)和hash（哈希類型）。這些數(shù)據(jù)類型都支持push/pop、add/remove及取交集并集和差集及更豐富的操作，而且這些操作都是原子性的。在此基礎(chǔ)上，redis支持各種不同方式的排序。與memcached一樣，為了保證效率，數(shù)據(jù)都是緩存在內(nèi)存中。區(qū)別的是redis會周期性的把更新的數(shù)據(jù)寫入磁盤或者把修改操作寫入追加的記錄文件，并且在此基礎(chǔ)上實(shí)現(xiàn)了master-slave(主從)同步。

　　Redis 是一個(gè)高性能的key-value數(shù)據(jù)庫。 redis的出現(xiàn)，很大程度補(bǔ)償了memcached這類key/value存儲的不足，在部 分場合可以對關(guān)系數(shù)據(jù)庫起到很好的補(bǔ)充作用。它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客戶端，使用很方便。[1]

　　Redis支持主從同步。數(shù)據(jù)可以從主服務(wù)器向任意數(shù)量的從服務(wù)器上同步，從服務(wù)器可以是關(guān)聯(lián)其他從服務(wù)器的主服務(wù)器。這使得Redis可執(zhí)行單層樹復(fù)制。存盤可以有意無意的對數(shù)據(jù)進(jìn)行寫操作。由于完全實(shí)現(xiàn)了發(fā)布/訂閱機(jī)制，使得從數(shù)據(jù)庫在任何地方同步樹時(shí)，可訂閱一個(gè)頻道并接收主服務(wù)器完整的消息發(fā)布記錄。同步對讀取操作的可擴(kuò)展性和數(shù)據(jù)冗余很有幫助。

　　redis的官網(wǎng)地址，非常好記，是redis.io。（特意查了一下，域名后綴io屬于國家域名，是british Indian Ocean territory，即英屬印度洋領(lǐng)地）

　　目前，Vmware在資助著redis項(xiàng)目的開發(fā)和維護(hù)。

作者

　　redis[2] 的作者，叫Salvatore Sanfilippo，來自意大利的西西里島，現(xiàn)在居住在卡塔尼亞。目前供職于Pivotal公司。他使用的網(wǎng)名是antirez。

性能

　　下面是官方的bench-mark數(shù)據(jù)：[1]

　　測試完成了50個(gè)并發(fā)執(zhí)行100000個(gè)請求。

　　設(shè)置和獲取的值是一個(gè)256字節(jié)字符串。

　　Linux box是運(yùn)行Linux 2.6,這是X3320 Xeon 2.5 ghz。

　　文本執(zhí)行使用loopback接口(127.0.0.1)。

　　結(jié)果:讀的速度是110000次/s,寫的速度是81000次/s 。

支持語言

　　許多語言都包含Redis支持，包括：[1]

　　ActionScript

　　C

　　C++

　　C#

　　Clojure

　　Common Lisp

　　Dart

　　Erlang

　　Go

　　Haskell

　　Haxe

　　Io

　　Java

　　Node.js

　　Lua

　　Objective-C

　　Perl

　　PHP

　　Pure Data

　　Python

　　R

　　Ruby

　　Scala

　　Smalltalk

　　Tcl

　　數(shù)據(jù)模型編輯

　　Redis的外圍由一個(gè)鍵、值映射的字典構(gòu)成。與其他非關(guān)系型數(shù)據(jù)庫主要不同在于：Redis中值的類型[1] 不僅限于字符串，還支持如下抽象數(shù)據(jù)類型：

　　字符串列表

　　無序不重復(fù)的字符串集合

　　有序不重復(fù)的字符串集合

　　鍵、值都為字符串的哈希表[1]

　　值的類型決定了值本身支持的操作。Redis支持不同無序、有序的列表，無序、有序的集合間的交集、并集等高級服務(wù)器端原子操作。

數(shù)據(jù)結(jié)構(gòu)

　　redis提供五種數(shù)據(jù)類型：string，hash，list，set及zset(sorted set)。

　　string（字符串）

　　string是最簡單的類型，你可以理解成與Memcached一模一樣的類型，一個(gè)key對應(yīng)一個(gè)value，其上支持的操作與Memcached的操作類似。但它的功能更豐富。

　　redis采用結(jié)構(gòu)sdshdr和sds封裝了字符串，字符串相關(guān)的操作實(shí)現(xiàn)在源文件sds.h/sds.c中。

　　數(shù)據(jù)結(jié)構(gòu)定義如下：

　　typedefchar*sds;

　　structsdshdr{

　　longlen;

　　longfree;

　　charbuf[];

　　};

　　list(雙向鏈表)

　　list是一個(gè)鏈表結(jié)構(gòu)，主要功能是push、pop、獲取一個(gè)范圍的所有值等等。操作中key理解為鏈表的名字。

　　對list的定義和實(shí)現(xiàn)在源文件adlist.h/adlist.c，相關(guān)的數(shù)據(jù)結(jié)構(gòu)定義如下：

　　//list迭代器

　　typedefstructlistIter{

　　listNode*next;

　　intdirection;

　　}listIter;

　　//list數(shù)據(jù)結(jié)構(gòu)

　　typedefstructlist{

　　listNode*head;

　　listNode*tail;

　　void*(*dup)(void*ptr);

　　void(*free)(void*ptr);

　　int(*match)(void*ptr,void*key);

　　unsignedintlen;

　　listIteriter;

　　}list;

　　dict(hash表)

　　set是集合，和我們數(shù)學(xué)中的集合概念相似，對集合的操作有添加刪除元素，有對多個(gè)集合求交并差等操作。操作中key理解為集合的名字。

　　在源文件dict.h/dict.c中實(shí)現(xiàn)了hashtable的操作，數(shù)據(jù)結(jié)構(gòu)的定義如下：

　　//dict中的元素項(xiàng)

　　typedefstructdictEntry{

　　void*key;

　　void*val;

　　structdictEntry*next;

　　}dictEntry;

　　//dict相關(guān)配置函數(shù)

　　typedefstructdictType{

　　unsignedint(*hashFunction)(constvoid*key);

　　void*(*keyDup)(void*privdata,constvoid*key);

　　void*(*valDup)(void*privdata,constvoid*obj);

　　int(*keyCompare)(void*privdata,constvoid*key1,constvoid*key2);

　　void(*keyDestructor)(void*privdata,void*key);

　　void(*valDestructor)(void*privdata,void*obj);

　　}dictType;

　　//dict定義

　　typedefstructdict{

　　dictEntry**table;

　　dictType*type;

　　unsignedlongsize;

　　unsignedlongsizemask;

　　unsignedlongused;

　　void*privdata;

　　}dict;

　　//dict迭代器

　　typedefstructdictIterator{

　　dict*ht;

　　intindex;

　　dictEntry*entry,*nextEntry;

　　}dictIterator;

　　dict中table為dictEntry指針的數(shù)組，數(shù)組中每個(gè)成員為hash值相同元素的單向鏈表。set是在dict的基礎(chǔ)上實(shí)現(xiàn)的，指定了key的比較函數(shù)為dictEncObjKeyCompare，若key相等則不再插入。

　　zset(排序set)

　　zset是set的一個(gè)升級版本，他在set的基礎(chǔ)上增加了一個(gè)順序?qū)傩?，這一屬性在添加修改元素的時(shí)候可以指定，每次指定后，zset會自動重新按新的值調(diào)整順序?？梢岳斫饬擞袃闪械膍ysql表，一列存value，一列存順序。操作中key理解為zset的名字。

　　typedefstructzskiplistNode{

　　structzskiplistNode**forward;

　　structzskiplistNode*backward;

　　doublescore;

　　robj*obj;

　　}zskiplistNode;

　　typedefstructzskiplist{

　　structzskiplistNode*header,*tail;

　　unsignedlonglength;

　　intlevel;

　　}zskiplist;

　　typedefstructzset{

　　dict*dict;

　　zskiplist*zsl;

　　}zset;

　　zset利用dict維護(hù)key -> value的映射關(guān)系，用zsl(zskiplist)保存value的有序關(guān)系。zsl實(shí)際是叉數(shù)

　　不穩(wěn)定的多叉樹，每條鏈上的元素從根節(jié)點(diǎn)到葉子節(jié)點(diǎn)保持升序排序。

常用命令

　　就DB來說，Redis成績已經(jīng)很驚人了，且不說memcachedb和Tokyo Cabinet之流，就說原版的memcached，速度似乎也只能達(dá)到這個(gè)級別。Redis根本是使用內(nèi)存存儲，持久化的關(guān)鍵是這三條指令：SAVE BGSAVE LASTSAVE …

　　當(dāng)接收到SAVE指令的時(shí)候，Redis就會dump數(shù)據(jù)到一個(gè)文件里面。

　　值得一說的是它的獨(dú)家功能：存儲列表和集合，這是它與mc之流相比更有競爭力的地方。

　　不介紹mc里面已經(jīng)有的東東，只列出特殊的：

　　TYPE key — 用來獲取某key的類型

　　KEYS pattern — 匹配所有符合模式的key，比如KEYS * 就列出所有的key了，當(dāng)然，復(fù)雜度O(n)

　　RANDOMKEY - 返回隨機(jī)的一個(gè)key

　　RENAME oldkeynewkey— key也可以改名

　　列表操作，精華

　　RPUSH key string — 將某個(gè)值加入到一個(gè)key列表末尾

　　LPUSH key string — 將某個(gè)值加入到一個(gè)key列表頭部

　　LLEN key — 列表長度

　　LRANGE key start end — 返回列表中某個(gè)范圍的值，相當(dāng)于mysql里面的分頁查詢那樣

　　LTRIM key start end — 只保留列表中某個(gè)范圍的值

　　LINDEX key index — 獲取列表中特定索引號的值，要注意是O(n)復(fù)雜度

　　LSET key index value — 設(shè)置列表中某個(gè)位置的值

　　LPOP key

　　RPOP key — 和上面的LPOP一樣，就是類似棧或隊(duì)列的那種取頭取尾指令，可以當(dāng)成消息隊(duì)列來使用了

　　集合操作

　　SADD key member — 增加元素

　　SREM key member — 刪除元素

　　SCARD key — 返回集合大小

　　SISMEMBER key member — 判斷某個(gè)值是否在集合中

　　SINTER key1 key2 ... keyN — 獲取多個(gè)集合的交集元素

　　SMEMBERS key — 列出集合的所有元素

　　還有Multiple DB的命令，可以更換db，數(shù)據(jù)可以隔離開，默認(rèn)是存放在DB 0。

存儲

　　redis使用了兩種文件格式：全量數(shù)據(jù)和增量請求。

　　全量數(shù)據(jù)格式是把內(nèi)存中的數(shù)據(jù)寫入磁盤，便于下次讀取文件進(jìn)行加載；

　　增量請求文件則是把內(nèi)存中的數(shù)據(jù)序列化為操作請求，用于讀取文件進(jìn)行replay得到數(shù)據(jù)，序列化的操作包括SET、RPUSH、SADD、ZADD。

　　redis的存儲分為內(nèi)存存儲、磁盤存儲和log文件三部分，配置文件中有三個(gè)參數(shù)對其進(jìn)行配置。

　　save seconds updates，save配置，指出在多長時(shí)間內(nèi)，有多少次更新操作，就將數(shù)據(jù)同步到數(shù)據(jù)文件。這個(gè)可以多個(gè)條件配合，比如默認(rèn)配置文件中的設(shè)置，就設(shè)置了三個(gè)條件。

　　appendonly yes/no ，appendonly配置，指出是否在每次更新操作后進(jìn)行日志記錄，如果不開啟，可能會在斷電時(shí)導(dǎo)致一段時(shí)間內(nèi)的數(shù)據(jù)丟失。因?yàn)閞edis本身同步數(shù)據(jù)文件是按上面的save條件來同步的，所以有的數(shù)據(jù)會在一段時(shí)間內(nèi)只存在于內(nèi)存中。

　　appendfsync no/always/everysec ，appendfsync配置，no表示等操作系統(tǒng)進(jìn)行數(shù)據(jù)緩存同步到磁盤，always表示每次更新操作后手動調(diào)用fsync()將數(shù)據(jù)寫到磁盤，everysec表示每秒同步一次。

安裝

　　獲取源碼、解壓、進(jìn)入源碼目錄

　　使用wget工具等下載：

　　wget （百度不讓用鏈接）

　　tar xzf redis-1.2.6.tar.gz

　　cd redis-1.2.6。

　　編譯生成可執(zhí)行文件

　　由于makefile文件已經(jīng)寫好，我們只需要直接在源碼目錄執(zhí)行make命令進(jìn)行編譯即可：

　　make

　　make-test

　　sudo make install

　　make命令執(zhí)行完成后，會在當(dāng)前目錄下生成本個(gè)可執(zhí)行文件，分別是redis-server、redis-cli、redis-benchmark、redis-stat，它們的作用如下：

　　redis-server：Redis服務(wù)器的daemon啟動程序

　　redis-cli：Redis命令行操作工具。當(dāng)然，你也可以用telnet根據(jù)其純文本協(xié)議來操作

　　redis-benchmark：Redis性能測試工具，測試Redis在你的系統(tǒng)及你的配置下的讀寫性能

　　redis-stat：Redis狀態(tài)檢測工具，可以檢測Redis當(dāng)前狀態(tài)參數(shù)及延遲狀況。

　　建立Redis目錄（非必須）

　　這個(gè)過程不是必須的，只是為了將Redis相關(guān)的資源統(tǒng)一管理而進(jìn)行的操作。

　　執(zhí)行以下命令建立相關(guān)目錄并拷貝相關(guān)文件至目錄中：

　　sudo -s

　　mkdir -p /usr/local/redis/bin

　　mkdir -p /usr/local/redis/etc

　　mkdir -p /usr/local/redis/var

　　cp redis-server redis-cli redis-benchmark redis-stat /usr/local/redis/bin/

　　cp redis.conf /usr/local/redis/etc/

　　配置參數(shù)

　　在我們成功安裝Redis后，我們直接執(zhí)行redis-server即可運(yùn)行Redis，此時(shí)它是按照默認(rèn)配置來運(yùn)行的（默認(rèn)配置甚至不是后臺運(yùn)行）。我們希望Redis按我們的要求運(yùn)行，則我們需要修改配置文件，Redis的配置文件就是我們上面第二個(gè)cp操作的redis.conf文件，它被我們拷貝到了/usr/local/redis/etc/目錄下。修改它就可以配置我們的server了。如何修改？下面是redis.conf的主要配置參數(shù)的意義：

　　daemonize：是否以后臺daemon方式運(yùn)行

　　pidfile：pid文件位置

　　port：監(jiān)聽的端口號

　　timeout：請求超時(shí)時(shí)間

　　loglevel：log信息級別

　　logfile：log文件位置

　　databases：開啟數(shù)據(jù)庫的數(shù)量

　　save * *：保存快照的頻率，第一個(gè)*表示多長時(shí)間，第二個(gè)*表示執(zhí)行多少次寫操作。在一定時(shí)間內(nèi)執(zhí)行一定數(shù)量的寫操作時(shí)，自動保存快照?？稍O(shè)置多個(gè)條件。

　　rdbcompression：是否使用壓縮

　　dbfilename：數(shù)據(jù)快照文件名（只是文件名，不包括目錄）

　　dir：數(shù)據(jù)快照的保存目錄（這個(gè)是目錄）

　　appendonly：是否開啟appendonlylog，開啟的話每次寫操作會記一條log，這會提高數(shù)據(jù)抗風(fēng)險(xiǎn)能力，但影響效率。

　　appendfsync：appendonlylog如何同步到磁盤（三個(gè)選項(xiàng)，分別是每次寫都強(qiáng)制調(diào)用fsync、每秒啟用一次fsync、不調(diào)用fsync等待系統(tǒng)自己同步）

　　下面是一個(gè)略做修改后的配置文件內(nèi)容：

　　daemonizeyes

　　pidfile/usr/local/redis/var/redis.pid

　　port6379

　　timeout300

　　logleveldebug

　　logfile/usr/local/redis/var/redis.log

　　databases16

　　save9001

　　save30010

　　save6010000

　　rdbcompressionyes

　　dbfilenamedump.rdb

　　dir/usr/local/redis/var/

　　appendonlyno

　　appendfsyncalways

　　glueoutputbufyes

　　shareobjectsno

　　shareobjectspoolsize1024

　　將上面內(nèi)容寫為redis.conf并保存到/usr/local/redis/etc/目錄下

　　然后在命令行執(zhí)行：

　　/usr/local/redis/bin/redis-server /usr/local/redis/etc/redis.conf

　　即可在后臺啟動redis服務(wù)，這時(shí)你通過

　　telnet127.0.0.16379

　　即可連接到你的redis服務(wù)

　　Redis常用內(nèi)存優(yōu)化手段與參數(shù)

　　通過我們上面的一些實(shí)現(xiàn)上的分析可以看出redis實(shí)際上的內(nèi)存管理成本非常高，即占用了過多的內(nèi)存，作者對這點(diǎn)也非常清楚，所以提供了一系列的參數(shù)和手段來控制和節(jié)省內(nèi)存，我們分別來討論下。

　　首先最重要的一點(diǎn)是不要開啟Redis的VM選項(xiàng)，即虛擬內(nèi)存功能，這個(gè)本來是作為Redis存儲超出物理內(nèi)存數(shù)據(jù)的一種數(shù)據(jù)在內(nèi)存與磁盤換入換出的一個(gè)持久化策略，但是其內(nèi)存管理成本也非常的高，并且我們后續(xù)會分析此種持久化策略并不成熟，所以要關(guān)閉VM功能，請檢查你的redis.conf文件中 vm-enabled 為 no。

　　其次最好設(shè)置下redis.conf中的maxmemory選項(xiàng)，該選項(xiàng)是告訴Redis當(dāng)使用了多少物理內(nèi)存后就開始拒絕后續(xù)的寫入請求，該參數(shù)能很好的保護(hù)好你的Redis不會因?yàn)槭褂昧诉^多的物理內(nèi)存而導(dǎo)致swap,最終嚴(yán)重影響性能甚至崩潰。

　　另外Redis為不同數(shù)據(jù)類型分別提供了一組參數(shù)來控制內(nèi)存使用，我們在前面詳細(xì)分析過Redis Hash是value內(nèi)部為一個(gè)HashMap，如果該Map的成員數(shù)比較少，則會采用類似一維線性的緊湊格式來存儲該Map, 即省去了大量指針的內(nèi)存開銷，這個(gè)參數(shù)控制對應(yīng)在redis.conf配置文件中下面2項(xiàng)：

　　hash-max-zipmap-entries 64

　　hash-max-zipmap-value 512

　　hash-max-zipmap-entries

　　含義是當(dāng)value這個(gè)Map內(nèi)部不超過多少個(gè)成員時(shí)會采用線性緊湊格式存儲，默認(rèn)是64,即value內(nèi)部有64個(gè)以下的成員就是使用線性緊湊存儲，超過該值自動轉(zhuǎn)成真正的HashMap。

　　hash-max-zipmap-value 含義是當(dāng) value這個(gè)Map內(nèi)部的每個(gè)成員值長度不超過多少字節(jié)就會采用線性緊湊存儲來節(jié)省空間。

　　以上2個(gè)條件任意一個(gè)條件超過設(shè)置值都會轉(zhuǎn)換成真正的HashMap，也就不會再節(jié)省內(nèi)存了，那么這個(gè)值是不是設(shè)置的越大越好呢，答案當(dāng)然是否定的，HashMap的優(yōu)勢就是查找和操作的時(shí)間復(fù)雜度都是O(1)的，而放棄Hash采用一維存儲則是O(n)的時(shí)間復(fù)雜度，如果

　　成員數(shù)量很少，則影響不大，否則會嚴(yán)重影響性能，所以要權(quán)衡好這個(gè)值的設(shè)置，總體上還是最根本的時(shí)間成本和空間成本上的權(quán)衡。

　　同樣類似的參數(shù)

　　list-max-ziplist-entries 512

　　說明：list數(shù)據(jù)類型多少節(jié)點(diǎn)以下會采用去指針的緊湊存儲格式。

　　list-max-ziplist-value 64

　　說明：list數(shù)據(jù)類型節(jié)點(diǎn)值大小小于多少字節(jié)會采用緊湊存儲格式。

　　set-max-intset-entries 512

　　說明：set數(shù)據(jù)類型內(nèi)部數(shù)據(jù)如果全部是數(shù)值型，且包含多少節(jié)點(diǎn)以下會采用緊湊格式存儲。

　　最后想說的是Redis內(nèi)部實(shí)現(xiàn)沒有對內(nèi)存分配方面做過多的優(yōu)化，在一定程度上會存在內(nèi)存碎片，不過大多數(shù)情況下這個(gè)不會成為Redis的性能瓶頸，不過如果在Redis內(nèi)部存儲的大部分?jǐn)?shù)據(jù)是數(shù)值型的話，Redis內(nèi)部采用了一個(gè)shared integer的方式來省去分配內(nèi)存的開銷，即在系統(tǒng)啟動時(shí)先分配一個(gè)從1~n 那么多個(gè)數(shù)值對象放在一個(gè)池子中，如果存儲的數(shù)據(jù)恰好是這個(gè)數(shù)值范圍內(nèi)的數(shù)據(jù)，則直接從池子里取出該對象，并且通過引用計(jì)數(shù)的方式來共享，這樣在系統(tǒng)存儲了大量數(shù)值下，也能一定程度上節(jié)省內(nèi)存并且提高性能，這個(gè)參數(shù)值n的設(shè)置需要修改源代碼中的一行宏定義REDIS_SHARED_INTEGERS，該值默認(rèn)是10000，可以根據(jù)自己的需要進(jìn)行修改，修改后重新編譯就可以了。

　　另外redis 的6種過期策略redis 中的默認(rèn)的過期策略是volatile-lru 。設(shè)置方式

　　config set maxmemory-policy volatile-lru

　　maxmemory-policy 六種方式

　　volatile-lru：只對設(shè)置了過期時(shí)間的key進(jìn)行LRU（默認(rèn)值）

　　allkeys-lru ： 是從所有key里 刪除 不經(jīng)常使用的key

　　volatile-random：隨機(jī)刪除即將過期key

　　allkeys-random：隨機(jī)刪除

　　volatile-ttl ： 刪除即將過期的

　　noeviction ： 永不過期，返回錯(cuò)誤

　　maxmemory-samples 3 是說每次進(jìn)行淘汰的時(shí)候 會隨機(jī)抽取3個(gè)key 從里面淘汰最不經(jīng)常使用的（默認(rèn)選項(xiàng)）