其他HBase的特性:
1)沒有真正的索引,行順序存儲,也沒有所謂的索引膨脹問題。
2) 自動分區,表增長時,自動分區到新的節點上。
3) 線性擴展和區域會自動重新平衡,運行RegionServer,達到負載均衡的目的。
4)容錯和普通商用的硬件支持。這點同hadoop類似。
HBase與RDBMS的區別?
1) 表的設計:HBase的表可以很高,很寬,可伸縮性很強。而且表的模式是物理存儲的直接反映。
2) 拓撲: HBase能水平分區并在上千個節點上自動復制。
3) 應用形式: 開發者必須承擔更多的責任來正確地利用HBase的檢索和存儲方式。
4) RDBMS 遵循固定的模式,如“codd 12 規則”,強調事務的“強一致性”、參照完整性、SQL支持、數據的邏輯與物理形式相對獨立。等等。適用于中小規模的數據,但對于數據的規模和并發讀寫方面進行大規模擴展時,RDBMS會性能大大降低,分布式更為困難,因為其需要放棄很多RDBMS的易用的特性。
HBase適用于上億、上千億級的數據,如果是只有上千、上百萬級別是數據,傳統的RDBMS是更好的選擇。
HBase需要更多硬件,如果硬件較少,如5個,干不成什么好事。
如果從RDBMS移植到HBase,需要消除RDBMS的很多額外特性,如列數據類型、第二索引、事務、高級查詢等。
HBase的數據模式是怎么樣的?即有哪些元素?如何存儲?
1) 數據模式
如下列三個表:
第一個是一個稀疏的表,實際上它是一個虛表,僅是一個概念視圖,不是真實的存儲形式,它來源于后兩個表。
而后兩個表才是真正的表,物理視圖,他們是實際的存儲形式,而且它們是按列族進行存儲的。
2) HBase的基本元素:
表、行、列、單元格: 表的基本要素
鍵:一般是指行的鍵,即唯一標識某行的元素。表中的行,可以根據鍵進行排序,而對表的訪問,也通過鍵。
列族:所有列族成員擁有相同的前綴,某列族的成員,需要預先定義,但也可以直接進行追加。
列族成員會一起放進存儲器。而HBase面向列的存儲,是面向列族的數據存儲(這個通過上面那個表的示例可以看出來),數據存儲與調優都在這個層次,HBase表與RDBMS中表類似,行是排序的,客戶端可以把列添加到列族中去。
單元格cell: 單元格中存放的是不可分割的字節數組。并且每個單元格擁有版本信息。HBase的是按版本信息倒序排列。
區域region:將表水平劃分,是HBase集群分布數據的最小單位。在線的所有區域就構成了表的內容。
加鎖:對數據行進行更新,都需加鎖。保持原子性。
3) 數據模型有哪些操作?
Get、Scan、Put、Delete,即返回特定行的屬性,多行屬性、插入、刪除數據。
這些都需要一個HTable實例來操作。分別有Get、Scan、Put、Delete類來指定相應的參數、屬性。
4) 返回結果的排序方式是什么?
先是行、再是列族、再是列修飾符,最后是時間戳(反向排序,最新的在前面)。
5)最后,HBase不支持聯合查詢
6)mapreduce與HBase表配合使用,默認mapreduce的任務分割是根據HBase表中region的多少來分割,一個region就有一個map。
HBase的模式Schema設計的一些概念和原則
1)模式的創建與更新
可以使用HBase Shell或HBase Admin來創建和編輯HBase的模式。
在0.90.x 版本,只能先禁用表,再修改列族,而0.92.x版本以后,支持在線修改。
而且表和列族修改后,如size, region, block size等,在下次 主緊縮 或 存儲文件時 起作用。
2)列族的數量
-列族數量越少越好,即使同時有兩個列族,查詢的時候總是訪問其中一個列族,不會同時訪問。
-當一個表存在多個列族,當基數差距很大時,如A族有100萬行,B族10億行,A族可能會被分散到很多區域region,導致掃描A的效率降低。
-另外,多個列族在flush和compaction時,會造成很多I/O負擔。
3)行鍵設計RowKey
a. 不要將RowKey設計成有序的形式,因為這樣容易阻塞并行性,將負載壓都在一臺機器上
b. 定位一個單元,需要行,列名和時間戳。如果一個單元格的坐標很大,會占用內存,索引用光。所以,解決方法:列族名盡量小,如一個字符a,短屬性名,而行鍵長度可讀即可(行鍵長度對數據訪問無太大影響),將數字字符轉換為數字字節模式(節省空間)。
c. 倒序時間戳有助于找到找到最近版本值
d. 行鍵是在列族范圍內有效,不同列族中可以擁有同樣的行鍵
e. 行鍵永遠不能變
4)HBase支持所有能轉換為字節數組的東西,如字符串、數字、復雜對象、計數器、甚至圖像。
5)列族可以設置存活時間TTL,超時后,HBase自動刪除數據
6)第二索引和查詢: 這里面有很多東西,需要查看對應版本官方的文檔更好些。
HBase的拓撲結構是什么?
1)拓撲結構: 類似于HDFS的mast與slave,mapreduce的tasktracker與jobtracker的關系,HBase也有master和RegionServer
2)HBase與ZooKeeper的關系是什么?
HBase必須管理一個ZooKeeper實例,它依賴ZooKeeper,主要目的是,通過ZooKeeper來協調區域內的服務器,它負責目錄表、主控機地址等重要信息,若有服務器崩潰,HBase就可以通過ZooKeeper來協調分配。
RegionServer在HBase的配置文件conf/regionservers文件中,而HBase集群的站點配置在conf/hbase-site.xml和conf/hbase-env.sh中配置。HBase盡量遵循了Hadoop的規則。
3)HBase的內部結構管理狀況:
其內部有-ROOT, -META的特殊目錄表,用于維護當前集群上所有區域的列表、位置和狀態。
-ROOT表包含 -META表的區域列表,而-META表示包含用戶的的區域列表。
所以,HBase管理的流程是:
Client -- 鏈接到ZooKeeper -- 查找-ROOT表的位置 -- 查找-META表的位置 -- 查找用戶的區域所在的節點、位置及其狀態等 -- 直接管理指定區域的RegionServer并進行交互。
HBase支持Java及MapReduce的開發。
HBase提供了Thrift、REST及Avro的接口。HBase需要有一個相應的接口客戶端負責與這些接口的交互。但是這些需要代理進行處理請求和響應,所以比java更慢。
%hbase-daemon.sh start/stop rest/thrift/avro //啟動或終止對應的客戶端
評論