上海聚搜信息技術有限公司是阿里云的代理商網址:http://www.4526.cn/可以直接在網站上聯系阿里云代理商客服進行咨詢服務器架構和配置以及優(yōu)惠價格!(聚搜營銷介紹鏈接:http:///meiyou/)是一家致力于搜索引聚搜營銷及全網營銷,致力于為客戶提供搜索營銷領域的服務,幫助廣告客戶在搜索引聚搜獲取的投資回報,包括搜索引聚搜競價服務(SEM),搜索引聚搜優(yōu)化服務(seo)和搜索營銷代運營服務,能夠有效為廣告主帶來高效的投放回報,我們的理念一直是:讓搜索營銷營銷具有價值。
如下為基礎版架構圖,整體由Coordinator和Worker組成,各自的職責如下介紹。
1.1 Coordinator: 前端控制節(jié)點,職責包括
(1)MySQL協議層接入,SQL解析
(2)認證和鑒權,提供了更完善和細化的權限體系模型,白名單和集群級別RAM控制,并審計與合規(guī)記錄所有SQL操作。
(3)集群管理:成員管理、元數據、數據一致性、路由同步、備份與恢復(數據與log管理)
(4)后臺異步任務管理
(5)事務管理
(6)優(yōu)化器,執(zhí)行計劃生成
(7)計算調度,負責執(zhí)行任務調度
1.2 Worker: 存儲和計算節(jié)點,包含
(1)計算模塊
分布式MPP+DAG混合計算引擎和優(yōu)化器達到了更高的復雜計算能力和混合負載管理能力。利用阿里云計算平臺之上資源靈活調度上的優(yōu)勢,實現了計算資源的彈性調度。計算 Worker節(jié)點可以單獨拉起,因應業(yè)務需求做到分鐘級甚至秒級擴展,實現資源的最有效利用。
(2)存儲模塊
存儲模塊更加輕量化,具備了承載更大吞吐數據實時寫入和讀取能力,寫入性能比之前版本同等規(guī)格高50%倍左右,毫秒級可見,滿足客戶實時分析需求。
存儲節(jié)點提供全量和增量備份和恢復能力,云盤的定期快照和日志會實時同步到oss中保存,對用戶數據提供更高的安全保障,幫助用戶在數據庫發(fā)生問題時最大限度的找回。
(3)Worker Group
帶存儲模塊的Worker節(jié)點被劃分為一個個節(jié)點組(Worker Group),集群版提供三副本的存儲,通過Raft分布式一致性協議像一個整體一樣工作,允許其中一些Worker節(jié)點出現故障也能繼續(xù)提供服務,基礎版只有單副本提供服務。
2.基礎版優(yōu)化器
優(yōu)化器負責對Parser生成的語法樹進行處理,通過優(yōu)化算法生成代價最優(yōu)的計劃提供給計算引擎。計劃代價直接影響查詢性能,因此優(yōu)化器是數據庫中最核心的模塊之一。基礎版采用了與集群版一樣強大的優(yōu)化器,包含基于規(guī)則、基于代價、和基于模式的多種復合優(yōu)化技術。
復雜分析型查詢經常包含多表join,表的join順序直接影響查詢性能。AnalyticDB優(yōu)化器采用了基于代價估算和實時采樣信息的join order優(yōu)化算法,能夠感知底層存儲的數據分布。優(yōu)化器利用AnalyticDB全索引特征提高了過濾因子(filter factor)估算的準確性。針對復雜join,優(yōu)化器基于數據分布信息動態(tài)調整join order,同時評估數據reshuffling的代價,來從全局代價的維度選擇最優(yōu)的執(zhí)行計劃。
AnalyticDB優(yōu)化器在經典基于規(guī)則優(yōu)化器(Rule-Based Optimizer)的基礎上增加了代價估算和迭代優(yōu)化,并且集成了Cascades CBO(Cost-Based Optimizer)優(yōu)化框架。CBO搜索框架會調用 property Enforcement模塊生成分布式執(zhí)行計劃,然后調用代價估算模塊,給每一種候選計劃評估代價,選擇最優(yōu)的分布式執(zhí)行計劃。為了進一步提高join order的優(yōu)化效果和效率,AnalyticDB優(yōu)化器還采用了基于歷史信息的優(yōu)化技術(History-Based Optimizer)、基于常見SQL模式的動態(tài)優(yōu)化技術(Pattern-Based Optimizer),以及數據驅動的智能技術,例如Auto Analyze模塊自動搜集統計信息,為優(yōu)化器搜索最佳計劃提供準確的數據支持。
此外,AnalyticDB優(yōu)化器還針對復雜查詢中經常出現的組合過濾條件、聚合算子、關聯子查詢等進行了一系列優(yōu)化處理以提升性能。比如下推優(yōu)化技術將計劃中的過濾條件和聚合算子盡量推到整個鏈路的底層模塊去執(zhí)行,不但提高底層算子的效率,也減少了上游算子要處理的數據量,提高整體查詢性能。針對關聯子查詢語句,優(yōu)化器通過關系代數轉化,將關聯子查詢改寫為語義等價的非關聯計劃,使得計算引擎可以高效流水線處理。
AnalyticDB計算引擎采用大規(guī)模并行處理MPP+DAG體系結構和基于內存的pipeline執(zhí)行模式,具有高并發(fā)、低延遲的特點。為了加快對復雜表達式的求值速度,優(yōu)化執(zhí)行性能,計算引擎通過Runtime Codegen在運行時生成JVM bytecode,動態(tài)加載生成對象的實例,減少了執(zhí)行過程中虛函數調用,提高了cpu-Intensive任務的效率。計算引擎還采用向量化執(zhí)行模型處理表達式求值,利用CPU SIMD指令集來加速求值計算。
4.基礎版存儲引擎
AnalyticDB存儲引擎采用行列混合存儲的設計。如圖所示。對于一張表的每k行數據(Row Group),每列數據連續(xù)的存放在單獨的Data Block中,每行組的列Block的在磁盤上連續(xù)存放。行組內列Block的數據可按指定列排序存放,可以在按該列查詢時顯著減少磁盤隨機IO次數。這種設計的獨特優(yōu)勢是兼具了行存(適合OLTP點查詢)和列存(適合OLAP多維分析)的長處,很好的滿足了不同類型workload的需求:
針對OLTP類型的點查詢需要select出一整行的明細數據,行列混存設計下將列存的完全隨機讀轉化為了順序讀
針對OLAP類型的多維分析:不僅解決了海量數據統計分析下行存的讀放大問題,而且進行單列IO時將列存的順序讀轉化為了順序跳讀,進行多列IO時則將隨機讀轉化為了順序讀
寫入大吞吐:列存時的隨機寫被轉化為了順序寫
AnalyticDB存儲引擎采用智能全索引,對每列數據建立一個值到行號的倒排索引。查詢時,將SQL多個條件表達式的AND、OR 轉換成Boolean Query同時走索引,通過搜索得到滿足where條件的結果集行號,支持快速多路合并,能夠在毫秒級別找出滿足條件的結果集。
5.基礎版優(yōu)勢
基礎版大幅度降低了用戶構建數據倉庫門檻,與大數據(Hadoop,Spark和EMR)和OLTP建倉方式相比都有超高的性價比。
(1)降低使用門檻
基礎版最低1.75元/小時,860元/月,與集群版相比,起步價降低了約三分之一。磁盤空間僅0.6元/GB,磁盤空間上限最大為4T,可以隨時按需擴展,大大降低中小企業(yè)復雜分析和構建實時數倉的使用門檻。
(2)性能高
同等配置下其數據查詢性能約為MySQL的10倍,很好地幫助用戶解決MySQL復雜分析慢的痛點。
(3)規(guī)格豐富
基礎版支持四種規(guī)格:T8、T16、T32和T52,可以根據業(yè)務的不同要求選擇規(guī)格和任意調整規(guī)格。
(4)生態(tài)透明
上下游生態(tài)完全兼容集群版,對用戶透明。
6.適合客戶
特別適合以下人群:
(1)Hadoop/Spark等太復雜,想快速實現數據化轉型的中小型企業(yè);
(2)報表數據庫查詢慢,有交互式BI分析訴求的中小型企業(yè);
(3)需要快速構建測試環(huán)境的進行數倉選型的用戶;
(4)學習類人群,可快速了解AnalyticDB for MySQL的用戶;