DSW 2.0：面向AI研發(fā)的集成開(kāi)發(fā)平臺(tái)
DSW（Data Science Workshop）是阿里巴巴PAI團(tuán)隊(duì)根據(jù)多年的AI算法和產(chǎn)品研發(fā)經(jīng)驗(yàn)積累，圍繞提高AI算法研發(fā)效率，降低研發(fā)成本而推出的一款適用于各類AI開(kāi)發(fā)者的云端機(jī)器學(xué)習(xí)集成開(kāi)發(fā)環(huán)境。DSW2.0是借助阿里云ecs，Docker和Kubernetes等云原生技術(shù)，能夠在幾分鐘內(nèi)幫用戶完成環(huán)境搭建，相對(duì)DSW1.0開(kāi)放更高的開(kāi)發(fā)權(quán)限，滿足各個(gè)層面客戶的使用需求。
云原生架構(gòu)
DSW借助阿里云ECS，Docker和Kubernetes等云原生技術(shù)，能夠在幾分鐘內(nèi)幫用戶完成環(huán)境搭建。用戶可以根據(jù)算法需要和成本考慮，選擇阿里云ECS提供的包括cpu和異構(gòu)計(jì)算GPU在內(nèi)的所有資源規(guī)格。

滿足不同層次開(kāi)發(fā)習(xí)慣
結(jié)合交互式編程和命令行輸入，DSW提供了三種編程入口： WebIde適用于工程化要求比較高的項(xiàng)目；JupyterLab適用于快速POC試驗(yàn)；Terminal入口可用于快速執(zhí)行Shell命令，運(yùn)行程序和簡(jiǎn)單的編輯等。
預(yù)裝豐富插件
DSW還開(kāi)發(fā)和預(yù)裝了各種JupyterLab和WebIDE插件，比如廣受深度學(xué)習(xí)開(kāi)發(fā)者喜愛(ài)的可視化工具Tensorboard，用戶在DSW內(nèi)通過(guò)Launcher，Commands打開(kāi)，甚至還可以使用%tensorboard魔法命令直接在Notebook中開(kāi)啟等多種方式使用Tensorboard。不僅支持本地文件，還可以打開(kāi)存放在oss，ODPS里的訓(xùn)練日志。針對(duì)算法同學(xué)使用Python比較多的特點(diǎn)， DSW的WebIDE內(nèi)安裝了Python插件，可以直接在瀏覽器內(nèi)在線調(diào)試，單步跟蹤程序運(yùn)行。用戶還可以根據(jù)需要，自主安裝需要的任意插件。
支持多種數(shù)據(jù)源讀寫(xiě)
NAS， OSS，云盤和MaxCompute，尤其是內(nèi)置了dswmagic魔法命令可以讓用戶在ipynb文件中使用SQL語(yǔ)句讀寫(xiě)MaxCompute表中數(shù)據(jù)，預(yù)置的SQL編輯器支持語(yǔ)法高亮、智能提示、自動(dòng)補(bǔ)全等功能，還支持運(yùn)行帶變量替換功能的Sql腳本。查詢結(jié)果自動(dòng)以最友好的圖形化展示。
Alink：流批一體機(jī)器學(xué)習(xí)算法平臺(tái)
Alink擁有豐富的批式算法和流式算法，能夠幫助數(shù)據(jù)分析和應(yīng)用開(kāi)發(fā)人員能夠從數(shù)據(jù)處理、特征工程、模型訓(xùn)練、預(yù)測(cè)，端到端地完成整個(gè)流程。Alink提供的功能算法模塊中，每一個(gè)模塊都包含流式和批式算法。比如線性回歸，包含批式線性回歸訓(xùn)練，流式線性回歸預(yù)測(cè)和批式線性回歸預(yù)測(cè)。另外，Alink算法覆蓋分類、回歸、聚類、評(píng)估、統(tǒng)計(jì)分析、特征工程、異常檢測(cè)、文本、在線學(xué)習(xí)、關(guān)聯(lián)分析等經(jīng)典領(lǐng)域，是一個(gè)通用的機(jī)器學(xué)習(xí)算法平臺(tái)。
算法性能
我們從下圖中可以看出在回歸算法中，Alink算法性能最高優(yōu)于Spark 1.38倍；分類算法中Alink大多數(shù)算法性能優(yōu)于Spark，最高優(yōu)于2.52倍；聚類算法Alink算法性能最高優(yōu)于Spark 1.85倍；協(xié)同過(guò)濾Alink算法性能最高優(yōu)于Spark 2.26倍。
Flink VS Spark算法性能

更友好的交互式體驗(yàn)
我們提供兩種用戶使用界面：web和PyAlink。Web界面提供拖拽的方式創(chuàng)建試驗(yàn)，通過(guò)對(duì)每一個(gè)組件進(jìn)行配置完成整個(gè)試驗(yàn)的參數(shù)配置。在各個(gè)算法節(jié)點(diǎn)旁，我們用閃爍的小燈泡??表示“運(yùn)行中”的狀態(tài)，用對(duì)勾?表示“運(yùn)行完成”的狀態(tài)。一般情況下，只有批式（batch）組件才有可能運(yùn)行結(jié)束。基于各個(gè)組件的運(yùn)行狀態(tài)，可以十分方便地判斷當(dāng)前實(shí)驗(yàn)運(yùn)行到了什么程度。
同時(shí)為了滿足腳本用戶的需求，我們提供了PyAlink on notebook，用戶可以通過(guò)PyAlink的python包使用Alink。PyAlink支持單機(jī)運(yùn)行，也支持集群提交。并且打通Operator(Alink算子)和DataFrame的接口，從而使得Alink整個(gè)算法流程無(wú)縫融入python。PyAlink也提供使用Python函數(shù)來(lái)調(diào)用UDF或者UDTF。
阿里云機(jī)器學(xué)習(xí)PAI是覆蓋人工智能全鏈路的產(chǎn)品家族，自上線以來(lái)，受到廣大AI開(kāi)發(fā)者的喜愛(ài)，經(jīng)過(guò)千錘百煉，證明不僅適合個(gè)人和團(tuán)隊(duì)研發(fā)，也支持大規(guī)模算法競(jìng)賽和教育培訓(xùn)。本次重磅發(fā)布的PAIDSW2.0和商業(yè)版Alink致力成為最懂用戶的輕量化AI服務(wù)，包含數(shù)據(jù)處理、建模、訓(xùn)練、模型優(yōu)化、在線預(yù)測(cè)等多種產(chǎn)品版塊，為用戶提供一站式體驗(yàn)服務(wù)。