DSW 2.0：面向AI研發(fā)的集成開(kāi)發(fā)平臺
DSW（Data Science Workshop）是阿里巴巴PAI團隊根據多年的AI算法和產(chǎn)品研發(fā)經(jīng)驗積累，圍繞提高AI算法研發(fā)效率，降低研發(fā)成本而推出的一款適用于各類(lèi)AI開(kāi)發(fā)者的云端機器學(xué)習集成開(kāi)發(fā)環(huán)境。DSW2.0是借助阿里云ecs，Docker和Kubernetes等云原生技術(shù)，能夠在幾分鐘內幫用戶(hù)完成環(huán)境搭建，相對DSW1.0開(kāi)放更高的開(kāi)發(fā)權限，滿(mǎn)足各個(gè)層面客戶(hù)的使用需求。
云原生架構
DSW借助阿里云ECS，Docker和Kubernetes等云原生技術(shù)，能夠在幾分鐘內幫用戶(hù)完成環(huán)境搭建。用戶(hù)可以根據算法需要和成本考慮，選擇阿里云ECS提供的包括cpu和異構計算GPU在內的所有資源規格。

滿(mǎn)足不同層次開(kāi)發(fā)習慣
結合交互式編程和命令行輸入，DSW提供了三種編程入口： WebIde適用于工程化要求比較高的項目；JupyterLab適用于快速POC試驗；Terminal入口可用于快速執行Shell命令，運行程序和簡(jiǎn)單的編輯等。
預裝豐富插件
DSW還開(kāi)發(fā)和預裝了各種JupyterLab和WebIDE插件，比如廣受深度學(xué)習開(kāi)發(fā)者喜愛(ài)的可視化工具Tensorboard，用戶(hù)在DSW內通過(guò)Launcher，Commands打開(kāi)，甚至還可以使用%tensorboard魔法命令直接在Notebook中開(kāi)啟等多種方式使用Tensorboard。不僅支持本地文件，還可以打開(kāi)存放在oss，ODPS里的訓練日志。針對算法同學(xué)使用Python比較多的特點(diǎn)， DSW的WebIDE內安裝了Python插件，可以直接在瀏覽器內在線(xiàn)調試，單步跟蹤程序運行。用戶(hù)還可以根據需要，自主安裝需要的任意插件。
支持多種數據源讀寫(xiě)
NAS， OSS，云盤(pán)和MaxCompute，尤其是內置了dswmagic魔法命令可以讓用戶(hù)在ipynb文件中使用SQL語(yǔ)句讀寫(xiě)MaxCompute表中數據，預置的SQL編輯器支持語(yǔ)法高亮、智能提示、自動(dòng)補全等功能，還支持運行帶變量替換功能的Sql腳本。查詢(xún)結果自動(dòng)以最友好的圖形化展示。
Alink：流批一體機器學(xué)習算法平臺
Alink擁有豐富的批式算法和流式算法，能夠幫助數據分析和應用開(kāi)發(fā)人員能夠從數據處理、特征工程、模型訓練、預測，端到端地完成整個(gè)流程。Alink提供的功能算法模塊中，每一個(gè)模塊都包含流式和批式算法。比如線(xiàn)性回歸，包含批式線(xiàn)性回歸訓練，流式線(xiàn)性回歸預測和批式線(xiàn)性回歸預測。另外，Alink算法覆蓋分類(lèi)、回歸、聚類(lèi)、評估、統計分析、特征工程、異常檢測、文本、在線(xiàn)學(xué)習、關(guān)聯(lián)分析等經(jīng)典領(lǐng)域，是一個(gè)通用的機器學(xué)習算法平臺。
算法性能
我們從下圖中可以看出在回歸算法中，Alink算法性能最高優(yōu)于Spark 1.38倍；分類(lèi)算法中Alink大多數算法性能優(yōu)于Spark，最高優(yōu)于2.52倍；聚類(lèi)算法Alink算法性能最高優(yōu)于Spark 1.85倍；協(xié)同過(guò)濾Alink算法性能最高優(yōu)于Spark 2.26倍。
Flink VS Spark算法性能

更友好的交互式體驗
我們提供兩種用戶(hù)使用界面：web和PyAlink。Web界面提供拖拽的方式創(chuàng )建試驗，通過(guò)對每一個(gè)組件進(jìn)行配置完成整個(gè)試驗的參數配置。在各個(gè)算法節點(diǎn)旁，我們用閃爍的小燈泡??表示“運行中”的狀態(tài)，用對勾?表示“運行完成”的狀態(tài)。一般情況下，只有批式（batch）組件才有可能運行結束?；诟鱾€(gè)組件的運行狀態(tài)，可以十分方便地判斷當前實(shí)驗運行到了什么程度。
同時(shí)為了滿(mǎn)足腳本用戶(hù)的需求，我們提供了PyAlink on notebook，用戶(hù)可以通過(guò)PyAlink的python包使用Alink。PyAlink支持單機運行，也支持集群提交。并且打通Operator(Alink算子)和DataFrame的接口，從而使得Alink整個(gè)算法流程無(wú)縫融入python。PyAlink也提供使用Python函數來(lái)調用UDF或者UDTF。
阿里云機器學(xué)習PAI是覆蓋人工智能全鏈路的產(chǎn)品家族，自上線(xiàn)以來(lái)，受到廣大AI開(kāi)發(fā)者的喜愛(ài)，經(jīng)過(guò)千錘百煉，證明不僅適合個(gè)人和團隊研發(fā)，也支持大規模算法競賽和教育培訓。本次重磅發(fā)布的PAIDSW2.0和商業(yè)版Alink致力成為最懂用戶(hù)的輕量化AI服務(wù)，包含數據處理、建模、訓練、模型優(yōu)化、在線(xiàn)預測等多種產(chǎn)品版塊，為用戶(hù)提供一站式體驗服務(wù)。