Redis基本數(shù)據(jù)類型有哪些

 

字符串：redis沒有直接使用C語言傳統(tǒng)的字符串表示，而是自己實(shí)現(xiàn)的叫做簡(jiǎn)單動(dòng)態(tài)字符串SDS的抽象類型。C語言的字符串不記錄自身的長(zhǎng)度信息，而SDS則保存了長(zhǎng)度信息，這樣將獲取字符串長(zhǎng)度的時(shí)間由O（N）降低到了O（1），同時(shí)可以避免緩沖區(qū)溢出和減少修改字符串長(zhǎng)度時(shí)所需的內(nèi)存重分配次數(shù)。

 

 

鏈表linkedlist：redis鏈表是一個(gè)雙向無環(huán)鏈表結(jié)構(gòu)，很多發(fā)布訂閱、慢查詢、監(jiān)視器功能都是使用到了鏈表來實(shí)現(xiàn)，每個(gè)鏈表的節(jié)點(diǎn)由一個(gè)listNode結(jié)構(gòu)來表示，每個(gè)節(jié)點(diǎn)都有指向前置節(jié)點(diǎn)和后置節(jié)點(diǎn)的指針，同時(shí)表頭節(jié)點(diǎn)的前置和后置節(jié)點(diǎn)都指向NULL。

 

字典hashtable：用于保存鍵值對(duì)的抽象數(shù)據(jù)結(jié)構(gòu)。redis使用hash表作為底層實(shí)現(xiàn)，每個(gè)字典帶有兩個(gè)hash表，供平時(shí)使用和rehash時(shí)使用，hash表使用鏈地址法來解決鍵沖突，被分配到同一個(gè)索引位置的多個(gè)鍵值對(duì)會(huì)形成一個(gè)單向鏈表，在對(duì)hash表進(jìn)行擴(kuò)容或者縮容的時(shí)候，為了服務(wù)的可用性，rehash的過程不是一次性完成的，而是漸進(jìn)式的。

 

跳躍表skiplist：跳躍表是有序集合的底層實(shí)現(xiàn)之一，redis中在實(shí)現(xiàn)有序集合鍵和集群節(jié)點(diǎn)的內(nèi)部結(jié)構(gòu)中都是用到了跳躍表。redis跳躍表由zskiplist和zskiplistNode組成，zskiplist用于保存跳躍表信息（表頭、表尾節(jié)點(diǎn)、長(zhǎng)度等），zskiplistNode用于表示表跳躍節(jié)點(diǎn)，每個(gè)跳躍表的層高都是1-32的隨機(jī)數(shù)，在同一個(gè)跳躍表中，多個(gè)節(jié)點(diǎn)可以包含相同的分值，但是每個(gè)節(jié)點(diǎn)的成員對(duì)象必須是唯一的，節(jié)點(diǎn)按照分值大小排序，如果分值相同，則按照成員對(duì)象的大小排序。

 

整數(shù)集合intset：用于保存整數(shù)值的集合抽象數(shù)據(jù)結(jié)構(gòu)，不會(huì)出現(xiàn)重復(fù)元素，底層實(shí)現(xiàn)為數(shù)組。

 

壓縮列表ziplist：壓縮列表是為節(jié)約內(nèi)存而開發(fā)的順序性數(shù)據(jù)結(jié)構(gòu)，他可以包含多個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)可以保存一個(gè)字節(jié)數(shù)組或者整數(shù)值。

 

基于這些基礎(chǔ)的數(shù)據(jù)結(jié)構(gòu)，redis封裝了自己的對(duì)象系統(tǒng)，包含字符串對(duì)象string、列表對(duì)象list、哈希對(duì)象hash、集合對(duì)象set、有序集合對(duì)象zset，每種對(duì)象都用到了至少一種基礎(chǔ)的數(shù)據(jù)結(jié)構(gòu)。

 

redis通過encoding屬性設(shè)置對(duì)象的編碼形式來提升靈活性和效率，基于不同的場(chǎng)景redis會(huì)自動(dòng)做出優(yōu)化。不同對(duì)象的編碼如下：

 

字符串對(duì)象string：int整數(shù)、embstr編碼的簡(jiǎn)單動(dòng)態(tài)字符串、raw簡(jiǎn)單動(dòng)態(tài)字符串

 

列表對(duì)象list：ziplist、linkedlist

 

哈希對(duì)象hash：ziplist、hashtable

 

集合對(duì)象set：intset、hashtable

 

有序集合對(duì)象zset：ziplist、skiplist

 

Redis為什么快呢？

 

redis的速度非常的快，單機(jī)的redis就可以支撐每秒10幾萬的并發(fā)，相對(duì)于mysql來說，性能是mysql的幾十倍。速度快的原因主要有幾點(diǎn)：

 

完全基于內(nèi)存操作

 

C語言實(shí)現(xiàn)，優(yōu)化過的數(shù)據(jù)結(jié)構(gòu)，基于幾種基礎(chǔ)的數(shù)據(jù)結(jié)構(gòu)，redis做了大量的優(yōu)化，性能極高

 

使用單線程，無上下文的切換成本

 

基于非阻塞的IO多路復(fù)用機(jī)制

 

那為什么Redis6.0之后又改用多線程呢？

 

redis使用多線程并非是完全摒棄單線程，redis還是使用單線程模型來處理客戶端的請(qǐng)求，只是使用多線程來處理數(shù)據(jù)的讀寫和協(xié)議解析，執(zhí)行命令還是使用單線程。

 

這樣做的目的是因?yàn)閞edis的性能瓶頸在于網(wǎng)絡(luò)IO而非CPU，使用多線程能提升IO讀寫的效率，從而整體提高redis的性能。

 

知道什么是熱key嗎？熱key問題怎么解決？

 

所謂熱key問題就是，突然有幾十萬的請(qǐng)求去訪問redis上的某個(gè)特定key，那么這樣會(huì)造成流量過于集中，達(dá)到物理網(wǎng)卡上限，從而導(dǎo)致這臺(tái)redis的服務(wù)器宕機(jī)引發(fā)雪崩。

 

針對(duì)熱key的解決方案：

 

提前把熱key打散到不同的服務(wù)器，降低壓力

 

加入二級(jí)緩存，提前加載熱key數(shù)據(jù)到內(nèi)存中，如果redis宕機(jī)，走內(nèi)存查詢

 

什么是緩存擊穿、緩存穿透、緩存雪崩？

 

緩存擊穿

 

緩存擊穿的概念就是單個(gè)key并發(fā)訪問過高，過期時(shí)導(dǎo)致所有請(qǐng)求直接打到db上，這個(gè)和熱key的問題比較類似，只是說的點(diǎn)在于過期導(dǎo)致請(qǐng)求全部打到DB上而已。解決方案：

鎖定和更新，比如請(qǐng)求查詢A，發(fā)現(xiàn)不在緩存中，鎖定密鑰A，同時(shí)查詢數(shù)據(jù)庫(kù)中的數(shù)據(jù)，寫入緩存，然后返回給用戶，這樣以后的請(qǐng)求就可以從緩存中獲取數(shù)據(jù)。

將到期時(shí)間的組合寫入值中，并以異步方式不斷刷新到期時(shí)間，以防止這種現(xiàn)象。

緩存穿透

緩存穿透指的是查詢緩存中不存在的數(shù)據(jù)，每個(gè)請(qǐng)求都會(huì)命中DB，就好像緩存不存在一樣。

為了解決這個(gè)問題，添加一層布隆過濾器。Bloom  filter的原理是當(dāng)你存儲(chǔ)數(shù)據(jù)時(shí)，會(huì)通過hash函數(shù)映射到一個(gè)位數(shù)組中的K個(gè)點(diǎn)，同時(shí)將它們?cè)O(shè)置為1。

這樣，當(dāng)用戶再次查詢A，而A在Bloom過濾器中為0，直接返回時(shí)，就不會(huì)有對(duì)DB的細(xì)分請(qǐng)求。

顯然，使用Bloom  filter后，會(huì)出現(xiàn)誤判的問題，因?yàn)樗旧砭褪且粋€(gè)數(shù)組，可能會(huì)有多個(gè)值落到同一個(gè)位置。理論上，只要我們的陣列足夠長(zhǎng)，誤判的概率就會(huì)更低，這種問題要根據(jù)實(shí)際情況來定。

緩存雪崩

當(dāng)某個(gè)時(shí)刻發(fā)生大規(guī)模的緩存故障，比如你的緩存服務(wù)宕機(jī)，就會(huì)有大量的請(qǐng)求進(jìn)來，直接打到DB，可能導(dǎo)致整個(gè)系統(tǒng)崩潰，這就叫雪崩。與雪崩擊穿和熱鍵問題不同，他的意思是大規(guī)模緩存已經(jīng)過期。

雪崩的幾種解決方案：

為不同的密鑰設(shè)置不同的到期時(shí)間，以避免同時(shí)到期。

限流，如果redis宕機(jī)，您可以前往限流，從而避免同時(shí)出現(xiàn)大量崩潰DB的請(qǐng)求。

二級(jí)緩存，同樣的熱鍵方案。

Redis的到期政策有哪些？

Redis主要有兩種過期刪除策略。

惰性缺失

惰性刪除是指我們查詢密鑰時(shí)檢測(cè)到密鑰，如果已經(jīng)到了過期時(shí)間，則刪除密鑰。顯然，他的一個(gè)缺點(diǎn)是，如果這些過期的密鑰不被訪問，那么它們就不能一直被刪除，而且它們總是會(huì)占用內(nèi)存。

定期刪除

定期刪除意味著redis每隔一段時(shí)間檢查一次數(shù)據(jù)庫(kù)，刪除其中過期的密鑰。因?yàn)椴豢赡茌喸兯墟I來刪除它們，所以redis會(huì)隨機(jī)選擇一些鍵來一次檢查和刪除。

過期的鑰匙沒有被常規(guī)慣性刪除怎么辦？

假設(shè)redis定期隨機(jī)查詢時(shí)每次都沒有刪除密鑰，并且這些密鑰沒有被查詢，會(huì)導(dǎo)致這些密鑰被保存在redis中，無法刪除。這時(shí)候就要去redis的內(nèi)存消除機(jī)制了。

Volatile-lru:從設(shè)置了清除過期時(shí)間的密鑰中刪除最近最少使用的密鑰。

Volatile-ttl:從已設(shè)置過期時(shí)間的密鑰中刪除將要過期的密鑰。

Volatile-random:從設(shè)置了過期時(shí)間的密鑰中隨機(jī)選擇密鑰剔除。

Allkeys-lru:選擇最近最少使用的鍵進(jìn)行消除。

Allkeys-random:從按鍵中隨機(jī)選擇按鍵以消除它們。

注意：當(dāng)內(nèi)存達(dá)到閾值時(shí)，新的寫操作會(huì)報(bào)告一個(gè)錯(cuò)誤。

堅(jiān)持的方式有哪些？有什么區(qū)別？

Redis持久性方案分為RDB和AOF。

關(guān)系數(shù)據(jù)庫(kù)

RDB持久性可以根據(jù)配置手動(dòng)或定期執(zhí)行。它的功能是將某個(gè)時(shí)間點(diǎn)的數(shù)據(jù)庫(kù)狀態(tài)保存到一個(gè)RDB文件中，這是一個(gè)壓縮的二進(jìn)制文件，通過它可以恢復(fù)某個(gè)時(shí)刻的數(shù)據(jù)庫(kù)狀態(tài)。因?yàn)镽DB文件存儲(chǔ)在硬盤上，所以即使redis崩潰或退出，只要RDB文件存在，它就可以用于恢復(fù)已恢復(fù)數(shù)據(jù)庫(kù)的狀態(tài)。

您可以通過保存或保存來生成RDB文件。

SAVE將阻止redis進(jìn)程，直到生成RDB文件。在進(jìn)程阻塞期間，redis不能處理任何命令請(qǐng)求，這顯然是不合適的。

BGSAVE會(huì)分叉出一個(gè)子進(jìn)程，然后子進(jìn)程負(fù)責(zé)生成RDB文件，父進(jìn)程可以繼續(xù)處理命令請(qǐng)求，而不會(huì)阻塞進(jìn)程。

吖啶橙熒光檢查法

與RDB不同，AOF通過保存redis服務(wù)器執(zhí)行的寫命令來記錄數(shù)據(jù)庫(kù)狀態(tài)。

AOF通過三個(gè)步驟實(shí)現(xiàn)持久性機(jī)制：追加、寫入和同步。

當(dāng)AOF持久性處于活動(dòng)狀態(tài)時(shí)，在服務(wù)器執(zhí)行寫命令后，寫命令將被追加到aof_buf緩沖區(qū)的末尾。

在服務(wù)器結(jié)束事件循環(huán)之前，它將調(diào)用flushAppendOnlyFile函數(shù)來決定是否將aof_buf的內(nèi)容保存在aof文件中，這可以通過配置appendfsync來決定。

總是##aof_buf內(nèi)容被寫入并同步到aof文件

Everysec  ##將aof_buf的內(nèi)容寫入aof文件，如果上次同步AOF文件的時(shí)間超過一秒鐘，請(qǐng)?jiān)俅瓮紸OF文件。

No  ##將aof_buf的內(nèi)容寫入aof文件，但不同步AOF文件，同步時(shí)間由操作系統(tǒng)決定。如果沒有設(shè)置，默認(rèn)選項(xiàng)將是每秒，因?yàn)榭偸亲畎踩?只丟失一次事件循環(huán)的寫命令)，但它的性能很差，而每秒模式可能只丟失1秒的數(shù)據(jù)，而沒有模式具有與每秒相同的效率，但它將丟失最后一次同步AOF文件后的所有寫命令數(shù)據(jù)。

如何實(shí)現(xiàn)Redis的高可用性？

要實(shí)現(xiàn)高可用性，一臺(tái)機(jī)器肯定是不夠的，redis有兩種選擇來保證高可用性。

主從架構(gòu)

主從模式是實(shí)現(xiàn)高可用性最簡(jiǎn)單的方案，核心是主從同步。主從同步的原理如下：

從機(jī)向主機(jī)發(fā)送同步命令

收到mastersync后，執(zhí)行bgsave以生成完整的RDB文件。

將主從命令寫入緩存。

BG執(zhí)行后，將RDB文件發(fā)送給從機(jī)，從機(jī)執(zhí)行。

主機(jī)將緩存中的寫命令發(fā)送給從機(jī)，從機(jī)執(zhí)行該命令。

我這里寫的命令是sync，但是在redis2.8版本之后，用psync代替了sync，因?yàn)閟ync命令消耗了大量的系統(tǒng)資源，psync效率更高。

哨兵

主從方案的缺點(diǎn)很明顯。如果主機(jī)宕機(jī)，那么數(shù)據(jù)無法寫入，那么從機(jī)將失去功能，整個(gè)架構(gòu)將不可用。除非手動(dòng)切換，否則主要原因是沒有自動(dòng)故障轉(zhuǎn)移機(jī)制。Sentinel比簡(jiǎn)單的主從架構(gòu)功能更全面，具有自動(dòng)故障轉(zhuǎn)移、集群監(jiān)控、消息通知等功能。

哨兵可以同時(shí)監(jiān)控多個(gè)主從服務(wù)器，當(dāng)被監(jiān)控的主服務(wù)器離線時(shí)，自動(dòng)將一個(gè)從服務(wù)器提升為主服務(wù)器，然后新的主服務(wù)器將繼續(xù)接收命令。整個(gè)過程如下：

初始化sentinel，用sentinel特有的代碼替換普通的redis代碼。

初始化主詞典和服務(wù)器信息。服務(wù)器信息主要存儲(chǔ)ip:port，記錄實(shí)例的地址和ID。

用master創(chuàng)建兩個(gè)連接，命令連接和訂閱連接，訂閱sentinel:hello頻道。

每10秒向主機(jī)發(fā)送一次info命令，獲取主機(jī)及其下所有從機(jī)的當(dāng)前信息。

發(fā)現(xiàn)主機(jī)有新的從機(jī)后，sentinel和新的從機(jī)也建立兩個(gè)連接，每10秒發(fā)送一個(gè)info命令更新主機(jī)信息。

Sentinel每1秒鐘向所有服務(wù)器發(fā)送ping命令。如果服務(wù)器在配置的響應(yīng)時(shí)間內(nèi)連續(xù)返回?zé)o效回復(fù)，它將被標(biāo)記為脫機(jī)。

選舉領(lǐng)袖哨兵，領(lǐng)袖哨兵需要哨兵同意的一半以上。

領(lǐng)導(dǎo)者哨兵從離線主設(shè)備的所有從設(shè)備中選擇一個(gè)，并將其轉(zhuǎn)換為主設(shè)備。

讓所有從機(jī)從新主機(jī)復(fù)制數(shù)據(jù)。

將原主服務(wù)器設(shè)置為新主服務(wù)器的從服務(wù)器。當(dāng)原主服務(wù)器再次回復(fù)連接時(shí)，它將成為新主服務(wù)器的從服務(wù)器。

Sentinel會(huì)每1秒向所有實(shí)例(包括主從服務(wù)器和其他sentinel)發(fā)送ping命令，并根據(jù)回復(fù)判斷是否已經(jīng)離線。這種方法叫主觀下線。當(dāng)判斷為主觀下線時(shí)，會(huì)詢問其他監(jiān)控哨。如果超過半數(shù)的選票認(rèn)為是離線，則標(biāo)記為客觀離線，觸發(fā)故障轉(zhuǎn)移。

你能告訴我redis集群的原理嗎？

如果依靠sentry可以實(shí)現(xiàn)redis的高可用性，如果想支持高并發(fā)同時(shí)又能容納大量數(shù)據(jù)，就需要redis集群。Redis集群是redis提供的分布式數(shù)據(jù)存儲(chǔ)方案。群集通過數(shù)據(jù)分片共享數(shù)據(jù)，并提供復(fù)制和故障轉(zhuǎn)移功能。

結(jié)節(jié)

redis集群由多個(gè)節(jié)點(diǎn)組成，這些節(jié)點(diǎn)通過cluster  meet命令進(jìn)行連接。節(jié)點(diǎn)的握手過程：

節(jié)點(diǎn)從客戶端接收群集會(huì)議命令。

a根據(jù)接收到的IP地址和端口號(hào)向B發(fā)送滿足消息。

節(jié)點(diǎn)B接收到滿足消息并返回pong。

知道A和B收到了見面消息，他們返回了ping消息，握手成功。

最后，節(jié)點(diǎn)A會(huì)通過流言協(xié)議將節(jié)點(diǎn)B的信息傳播給集群中的其他節(jié)點(diǎn)，其他節(jié)點(diǎn)也會(huì)和B握手。

當(dāng)接收到客戶端EXEC命令時(shí)，WATCH命令監(jiān)控整個(gè)事務(wù)中的鍵是否被修改。如果是，它會(huì)向客戶端返回一個(gè)空的回復(fù)來指示失敗。否則，redis將遍歷整個(gè)事務(wù)隊(duì)列，執(zhí)行存儲(chǔ)在隊(duì)列中的所有命令，最后將結(jié)果返回給客戶端。

WATCH機(jī)制本身是一個(gè)CAS機(jī)制。受監(jiān)控的密鑰將保存在鏈接列表中。如果一個(gè)密鑰被修改，REDIS_DIRTY_CAS標(biāo)志將被打開，服務(wù)器將拒絕執(zhí)行該事務(wù)。