寫在前面：出于項(xiàng)目的需要,最近打算對(duì)SQLite的內(nèi)核進(jìn)行一個(gè)完整的剖析,在此希望和對(duì)SQLite有興趣的一起交流。我知道，這是一個(gè)漫長(zhǎng)的過(guò)程，就像曾經(jīng)去讀Linux內(nèi)核一樣，這個(gè)過(guò)程也將是辛苦的，但我相信結(jié)果一定是美好的... ...接下來(lái)是第一章。

1、SQLite介紹

自幾十年前出現(xiàn)的商業(yè)應(yīng)用程序以來(lái)，數(shù)據(jù)庫(kù)就成為軟件應(yīng)用程序的主要組成部分。正與數(shù)據(jù)庫(kù)管理系統(tǒng)非常關(guān)鍵一樣，它們也變得非常龐大，并占用了相當(dāng)多的系統(tǒng)資源，增加了管理的復(fù)雜性。隨著軟件應(yīng)用程序逐漸模塊模塊化，一種新型數(shù)據(jù)庫(kù)會(huì)比大型復(fù)雜的傳統(tǒng)數(shù)據(jù)庫(kù)管理系統(tǒng)更適應(yīng)。嵌入式數(shù)據(jù)庫(kù)直接在應(yīng)用程序進(jìn)程中運(yùn)行，提供了零配置（zero-configuration）運(yùn)行模式，并且資源占用非常少。 SQLite是一個(gè)開源的嵌入式關(guān)系數(shù)據(jù)庫(kù)，它在2000年由D. Richard Hipp發(fā)布，它的減少應(yīng)用程序管理數(shù)據(jù)的開銷，SQLite可移植性好，很容易使用，很小，高效而且可靠。 SQLite嵌入到使用它的應(yīng)用程序中，它們共用相同的進(jìn)程空間，而不是單獨(dú)的一個(gè)進(jìn)程。從外部看，它并不像一個(gè)RDBMS，但在進(jìn)程內(nèi)部，它卻是完整的，自包含的數(shù)據(jù)庫(kù)引擎。

嵌入式數(shù)據(jù)庫(kù)的一大好處就是在你的程序內(nèi)部不需要網(wǎng)絡(luò)配置，也不需要管理。因?yàn)榭蛻舳撕头?wù)器在同一進(jìn)程空間運(yùn)行。SQLite 的數(shù)據(jù)庫(kù)權(quán)限只依賴于文件系統(tǒng)，沒(méi)有用戶帳戶的概念。SQLite 有數(shù)據(jù)庫(kù)級(jí)鎖定，沒(méi)有網(wǎng)絡(luò)服務(wù)器。它需要的內(nèi)存，其它開銷很小，適合用于嵌入式設(shè)備。你需要做的僅僅是把它正確的編譯到你的程序。

2、架構(gòu)(architecture)

SQLite采用了模塊的設(shè)計(jì)，它由三個(gè)子系統(tǒng)，包括8個(gè)獨(dú)立的模塊構(gòu)成。

?

2.1、接口(Interface)

接口由SQLite C API組成，也就是說(shuō)不管是程序、腳本語(yǔ)言還是庫(kù)文件，最終都是通過(guò)它與SQLite交互的(我們通常用得較多的ODBC/JDBC最后也會(huì)轉(zhuǎn)化為相應(yīng)C API的調(diào)用)。

2.2、編譯器(Compiler)

在編譯器中，分詞器（Tokenizer）和分析器(Parser)對(duì)SQL進(jìn)行語(yǔ)法檢查，然后把它轉(zhuǎn)化為底層能更方便處理的分層的數(shù)據(jù)結(jié)構(gòu)---語(yǔ)法樹，然后把語(yǔ)法樹傳給代碼生成器(code generator)進(jìn)行處理。而代碼生成器根據(jù)它生成一種針對(duì)SQLite的匯編代碼，最后由虛擬機(jī)(Virtual Machine)執(zhí)行。

2.3、虛擬機(jī)(Virtual Machine)

架構(gòu)中最核心的部分是虛擬機(jī)，或者叫做虛擬數(shù)據(jù)庫(kù)引擎(Virtual Database Engine,VDBE)。它和Java虛擬機(jī)相似，解釋執(zhí)行字節(jié)代碼。VDBE的字節(jié)代碼由128個(gè)操作碼(opcodes)構(gòu)成，它們主要集中在數(shù)據(jù)庫(kù)操作。它的每一條指令都用來(lái)完成特定的數(shù)據(jù)庫(kù)操作(比如打開一個(gè)表的游標(biāo))或者為這些操作?？臻g的準(zhǔn)備(比如壓入?yún)?shù))。總之，所有的這些指令都是為了滿足SQL命令的要求(關(guān)于VM，后面會(huì)做詳細(xì)介紹)。

2.4、后端(Back-End)

后端由B-樹(B-tree)，頁(yè)緩存(page cache，pager)和操作系統(tǒng)接口(即系統(tǒng)調(diào)用)構(gòu)成。B-tree和page cache共同對(duì)數(shù)據(jù)進(jìn)行管理。B-tree的主要功能就是索引，它維護(hù)著各個(gè)頁(yè)面之間的復(fù)雜的關(guān)系，便于快速找到所需數(shù)據(jù)。而pager的主要作用就是通過(guò)OS接口在B-tree和Disk之間傳遞頁(yè)面。

3、SQLite的特點(diǎn)(SQLite’s Features and Philosophy)

3.1、零配置(Zero Configuration)

3.2、可移植(Portability)：

它是運(yùn)行在Windows,Linux,BSD,Mac OS X和一些商用Unix系統(tǒng)，比如Sun的Solaris,IBM的AIX，同樣，它也可以工作在許多嵌入式操作系統(tǒng)下，比如QNX,VxWorks,Palm OS, Symbin和Windows CE。

3.3、Compactness：

SQLite是被設(shè)計(jì)成輕量級(jí)，自包含的。one header file, one library, and you’re relational, no external database server required

3.4、簡(jiǎn)單(Simplicity)

3.5、靈活(Flexibility)

3.6、可靠(Reliability)：

SQLite的核心大約有3萬(wàn)行標(biāo)準(zhǔn)C代碼，這些代碼都是模塊化的，很容易閱讀。

寫在前面:我原打算直接從VDBE入手的，因?yàn)樗鹬猩蠁⑾碌淖饔茫钦麄€(gè)SQLite的核心，并分析源碼，但考慮到這是一個(gè)系列的文章，我希望能把問(wèn)題說(shuō)全，所以還是從基本概念入手，對(duì)于初學(xué)者，如果沒(méi)有這些概念，是很繼續(xù)下去的。好了，下面開始第二章，由于這一章內(nèi)容很多，我將分兩部分討論，下面開始第一部分。

1、 API

由兩部分組成: 核心API(core API) 和擴(kuò)展API（extension API）

核心API的函數(shù)實(shí)現(xiàn)基本的數(shù)據(jù)庫(kù)操作：連接數(shù)據(jù)庫(kù)，處理SQL，遍歷結(jié)果集。它也包括一些實(shí)用函數(shù)，比如字符串轉(zhuǎn)換，操作控制，調(diào)試和錯(cuò)誤處理。

擴(kuò)展API通過(guò)創(chuàng)建你自定義的SQL函數(shù)去擴(kuò)展SQLite。

1.1、SQLite Version 3的一些新特點(diǎn)：

SQLite的API全部重新設(shè)計(jì)，由第二版的15個(gè)函數(shù)增加到88個(gè)函數(shù)。這些函數(shù)包括支持UTF-8和UTF-16編碼的功能函數(shù)。

改進(jìn)并發(fā)性能。加鎖子系統(tǒng)引進(jìn)一種鎖升級(jí)模型(lock escalation model)，解決了第二版的寫進(jìn)程餓死的問(wèn)題(該問(wèn)題是任何一個(gè)DBMS必須面對(duì)的問(wèn)題)。這種模型保證寫進(jìn)程按照先來(lái)先服務(wù)的算法得到排斥鎖(Exclusive Lock)。甚至，寫進(jìn)程通過(guò)把結(jié)果寫入臨時(shí)緩沖區(qū)(Temporary Buffer)，可以在得到排斥鎖之前就能開始工作。這對(duì)于寫要求較高的應(yīng)用，性能可提高400%（引自參考文獻(xiàn)）。

改進(jìn)的B-樹。對(duì)于表采用B+樹，大大提高查詢效率。

SQLite 3最重要的改變是它的存儲(chǔ)模型。由第二版只支持文本模型，擴(kuò)展到支持5種本地?cái)?shù)據(jù)類型。

總之，SQLite Version 3與SQLite Vertion 2有很大的不同，在靈活性，特點(diǎn)和性能方面有很大的改進(jìn)。

1.2、主要的數(shù)據(jù)結(jié)構(gòu)(The Principal Data Structures)

SQLite由很多部分組成－parser,tokenize,virtual machine等等。但是從程序員的角度，最需要知道的是:connection, statements, B-tree和pager。它們之間的關(guān)系如下：

?

上圖告訴我們?cè)?a target="_blank">編程需要知道的三個(gè)主要方面：API,事務(wù)(Transaction)和鎖(Locks)。從技術(shù)上來(lái)說(shuō)，B-tree和pager不是API的一部分。但是它們卻在事務(wù)和鎖上起著關(guān)鍵作用（稍后將討論）。

1.3、Connections和Statements

Connection和statement是執(zhí)行SQL命令涉及的兩個(gè)主要數(shù)據(jù)結(jié)構(gòu)，幾乎所有通過(guò)API進(jìn)行的操作都要用到它們。一個(gè)連接(Connection)代表在一個(gè)獨(dú)立的事務(wù)環(huán)境下的一個(gè)連接A (connection represents a single connection to a database as well as a single transaction context)。每一個(gè)statement都和一個(gè)connection關(guān)聯(lián)，它通常表示一個(gè)編譯過(guò)的SQL語(yǔ)句，在內(nèi)部，它以VDBE字節(jié)碼表示。Statement包括執(zhí)行一個(gè)命令所需要一切，包括保存VDBE程序執(zhí)行狀態(tài)所需的資源，指向硬盤記錄的B-樹游標(biāo)，以及參數(shù)等等。

1.4、B-tree和pager

一個(gè)connection可以有多個(gè)database對(duì)象---一個(gè)主要的數(shù)據(jù)庫(kù)以及附加的數(shù)據(jù)庫(kù)，每一個(gè)數(shù)據(jù)庫(kù)對(duì)象有一個(gè)B-tree對(duì)象，一個(gè)B-tree有一個(gè)pager對(duì)象(這里的對(duì)象不是面向?qū)ο蟮摹皩?duì)象”，只是為了說(shuō)清楚問(wèn)題)

Statement最終都是通過(guò)connection的B-tree和pager從數(shù)據(jù)庫(kù)讀或者寫數(shù)據(jù)，通過(guò)B-tree的游標(biāo)(cursor)遍歷存儲(chǔ)在頁(yè)面(page)中的記錄。游標(biāo)在訪問(wèn)頁(yè)面之前要把數(shù)所從disk加載到內(nèi)存，而這就是pager的任務(wù)。任何時(shí)候，如果B-tree需要頁(yè)面，它都會(huì)請(qǐng)求pager從disk讀取數(shù)據(jù)，然后把頁(yè)面(page)加載到頁(yè)面緩沖區(qū)(page cache)，之后，B-tree和與之關(guān)聯(lián)的游標(biāo)就可以訪問(wèn)位于page中的記錄了。

如果cursor改變了page，為了防止事務(wù)回滾，pager必須采取特殊的方式保存原來(lái)的page?？偟膩?lái)說(shuō)，pager負(fù)責(zé)讀寫數(shù)據(jù)庫(kù)，管理內(nèi)存緩存和頁(yè)面（page），以及管理事務(wù)，鎖和崩潰恢復(fù)(這些在事務(wù)一節(jié)會(huì)詳細(xì)介紹).

總之，關(guān)于connection和transaction，你必須知道兩件事：

對(duì)數(shù)據(jù)庫(kù)的任何操作，一個(gè)連接存在于一個(gè)事務(wù)下。

一個(gè)連接決不會(huì)同時(shí)存在多個(gè)事務(wù)下。

whenever a connection does anything with a database, it always operates under exactly one transaction, no more, no less.

1.5、核心API

核心API 主要與執(zhí)行SQL命令有關(guān)，本質(zhì)上有兩種方法執(zhí)行SQL語(yǔ)句：prepared query 和wrapped query。Prepared query由三個(gè)階段構(gòu)成：preparation，execution和finalization。其實(shí)wrapped query只是對(duì)prepared query的三個(gè)過(guò)程包裝而已，最終也會(huì)轉(zhuǎn)化為prepared query的執(zhí)行。

1.5.1、連接的生命周期(The Connection Lifecycle)

和大多數(shù)據(jù)庫(kù)連接相同，由三個(gè)過(guò)程構(gòu)成：

連接數(shù)據(jù)庫(kù)(Connect to the database)：

每一個(gè)SQLite數(shù)據(jù)庫(kù)都存儲(chǔ)在單獨(dú)的操作系統(tǒng)文件中，連接，打開數(shù)據(jù)庫(kù)的C API為：sqlite3_open()，它的實(shí)現(xiàn)位于main.c文件中，如下： int sqlite3_open(const char *zFilename, sqlite3 **ppDb) { return openDatabase(zFilename, ppDb, SQLITE_OPEN_READWRITE | SQLITE_OPEN_CREATE, 0); } 當(dāng)連接一個(gè)在磁盤上的數(shù)據(jù)庫(kù)，如果數(shù)據(jù)庫(kù)文件存在，SQLite打開一個(gè)文件；如果不存在，SQLite會(huì)假定你想創(chuàng)建一個(gè)新的數(shù)據(jù)庫(kù)。在這種情況下，SQLite不會(huì)立即在磁盤上創(chuàng)建一個(gè)文件，只有當(dāng)你向數(shù)據(jù)庫(kù)寫入數(shù)據(jù)時(shí)才會(huì)創(chuàng)建文件，比如：創(chuàng)建表、視圖或者其它數(shù)據(jù)庫(kù)對(duì)象。如果你打開一個(gè)數(shù)據(jù)，不做任何事，然后關(guān)閉它，SQLite會(huì)創(chuàng)建一個(gè)文件，只是一個(gè)空文件而已。 另外一個(gè)不立即創(chuàng)建一個(gè)新文件的原因是，一些數(shù)據(jù)庫(kù)的參數(shù)，比如：編碼，頁(yè)面大小等，只在在數(shù)據(jù)庫(kù)創(chuàng)建前設(shè)置。默認(rèn)情況下，頁(yè)面大小為1024字節(jié)，但是你可以選擇512-32768字節(jié)之間為 2冪數(shù)的數(shù)字。有些時(shí)候，較大的頁(yè)面能更有效的處理大量的數(shù)據(jù)。

2.執(zhí)行事務(wù)(Perform transactions)：

all commands are executed within transactions。默認(rèn)情況下，事務(wù)自動(dòng)提交，也就是每一個(gè)SQL語(yǔ)句都在一個(gè)獨(dú)立的事務(wù)下運(yùn)行。當(dāng)然也可以通過(guò)使用BEGIN..COMMIT手動(dòng)提交事務(wù)。 （3） 斷開連接(Disconnect from the database)： 主要是關(guān)閉數(shù)據(jù)庫(kù)的文件。

1.5.2、執(zhí)行Prepared Query

前面提到，預(yù)處理查詢(Prepared Query)是SQLite執(zhí)行所有SQL命令的方式，包括以下三個(gè)過(guò)程：

Prepared Query：

分析器（parser），分詞器(tokenizer)和代碼生成器(code generator)把SQL Statement編譯成VDBE字節(jié)碼，編譯器會(huì)創(chuàng)建一個(gè)statement句柄(sqlite3_stmt)，它包括字節(jié)碼以及其它執(zhí)行命令和遍歷結(jié)果集的所有資源。 相應(yīng)的C API為sqlite3_prepare()，位于prepare.c文件中，如下： int sqlite3_prepare( sqlite3 *db, /* Database handle. */ const char *zSql, /* UTF-8 encoded SQL statement. */ int nBytes, /* Length of zSql in bytes. */ sqlite3_stmt **ppStmt, /* OUT: A pointer to the prepared statement */ const char **pzTail /* OUT: End of parsed string */ ){ int rc; rc = sqlite3LockAndPrepare(db,zSql,nBytes,0,ppStmt,pzTail); assert( rc==SQLITE_OK || ppStmt==0 || *ppStmt==0 ); /* VERIFY: F13021 */ return rc; }

2.Execution：

虛擬機(jī)執(zhí)行字節(jié)碼，執(zhí)行過(guò)程是一個(gè)步進(jìn)(stepwise)的過(guò)程，每一步(step)由sqlite3_step()啟動(dòng)，并由VDBE執(zhí)行一段字節(jié)碼。由sqlite3_prepare編譯字節(jié)代碼，并由sqlite3_step()啟動(dòng)虛擬機(jī)執(zhí)行。在遍歷結(jié)果集的過(guò)程中，它返回SQLITE_ROW，當(dāng)?shù)竭_(dá)結(jié)果末尾時(shí)，返回SQLITE_DONE。

3.Finalization：

VDBE關(guān)閉statement，釋放資源。相應(yīng)的C API為sqlite3_finalize()。

通過(guò)下圖可以更容易理解該過(guò)程：

?

最后以一個(gè)具體的例子結(jié)束本節(jié)，

#include 
#include 
#include "sqlite3.h"
#include 
int main(int argc, char **argv)
{
int rc, i, ncols;
sqlite3 *db;
sqlite3_stmt *stmt;
char *sql;
const char *tail;
//打開數(shù)據(jù)
rc = sqlite3_open("foods.db", &db);
if(rc) {
fprintf(stderr, "Can't open database: %s\n", sqlite3_errmsg(db));
sqlite3_close(db);
exit(1);
}
sql = "select * from episodes";
//預(yù)處理
rc = sqlite3_prepare(db, sql, (int)strlen(sql), &stmt, &tail);
if(rc != SQLITE_OK) {
fprintf(stderr, "SQL error: %s\n", sqlite3_errmsg(db));
}
rc = sqlite3_step(stmt);
ncols = sqlite3_column_count(stmt);
while(rc == SQLITE_ROW) {
for(i=0; i < ncols; i++) {
fprintf(stderr, "'%s' ", sqlite3_column_text(stmt, i));
}
fprintf(stderr, "\n");
rc = sqlite3_step(stmt);
}
//釋放statement
sqlite3_finalize(stmt);
//關(guān)閉數(shù)據(jù)庫(kù)
sqlite3_close(db);
return 0;
}

?