隨著大模型時(shí)代的到來(lái),在數(shù)字化轉(zhuǎn)型加速的當(dāng)下,人工智能領(lǐng)域主要面臨著三大需求:
01
算力融合的需求
算力需求多元化與指數(shù)級(jí)增長(zhǎng),需要解決算力資源分布不均與效率問(wèn)題,從而提高算力的利用率。
02
數(shù)據(jù)融合的需求
在大數(shù)據(jù)和人工智能的應(yīng)用中,數(shù)據(jù)的準(zhǔn)備工作占到80%以上的工作量,數(shù)據(jù)清洗和治理過(guò)程非常繁瑣,需要消耗大量人力來(lái)應(yīng)對(duì)數(shù)據(jù)多樣性的挑戰(zhàn)。
03
算法融合的需求
現(xiàn)實(shí)問(wèn)題的復(fù)雜性和單一算法的局限性,只有整合多種算法,才能形成更高效率的工作流。
云創(chuàng)大數(shù)據(jù)的dBrain大數(shù)據(jù)融合智算平臺(tái),旨在打造一個(gè)全面、高效、智能的大數(shù)據(jù)融合智算平臺(tái)。通過(guò)融合智算平臺(tái)的低時(shí)延、高并發(fā)、高可靠的服務(wù)能力,服務(wù)于各業(yè)務(wù)部門(mén)。
1、打造異構(gòu)算力服務(wù)平臺(tái)
基于英偉達(dá)、國(guó)產(chǎn)通用處理芯片為底座,打造人工智能全棧自主創(chuàng)新方案,實(shí)現(xiàn)超強(qiáng)算力,最佳能效、開(kāi)放易用、安全可信和統(tǒng)一訓(xùn)練推理框架。
2、用人工智能代替繁瑣的人工
數(shù)據(jù)治理工作非常繁瑣,需要應(yīng)對(duì)不同來(lái)源、不同格式、存在沖突的數(shù)據(jù)的清洗校準(zhǔn)工作,這種枯燥的工作對(duì)人來(lái)說(shuō)是消耗,但借助大語(yǔ)言模型人工智能進(jìn)行數(shù)據(jù)治理,可以節(jié)省大量時(shí)間和資源。
3、推進(jìn)創(chuàng)新成果轉(zhuǎn)化
打造“算力、數(shù)據(jù)、算法”一體化的融合智算平臺(tái),促進(jìn)源頭創(chuàng)新、孵化育成和成果轉(zhuǎn)化。
下面,通過(guò)操作視頻,我們來(lái)詳細(xì)介紹一下平臺(tái)的相關(guān)功能,看看是如何解決算力、數(shù)據(jù)與算法需求的問(wèn)題,主要包括異構(gòu)算力管控、可視化數(shù)據(jù)治理、AI數(shù)據(jù)治理、可視化系統(tǒng)構(gòu)建、算法構(gòu)建調(diào)度等功能。
01異構(gòu)算力管控
異構(gòu)算力管控是指對(duì)不同類(lèi)型的計(jì)算資源進(jìn)行統(tǒng)一管理和調(diào)度,以?xún)?yōu)化計(jì)算資源的利用效率和性能。在實(shí)際項(xiàng)目情況中,在利舊英偉達(dá)的GPU的同時(shí),還要兼容現(xiàn)在的國(guó)產(chǎn)化GPU卡。目前,我們支持華為升騰系列的NPU卡,英偉達(dá)系列的GPU卡以及天數(shù)智芯寒武紀(jì)這些國(guó)產(chǎn)的GPU卡。也支持ARM架構(gòu)、海光龍芯架構(gòu)、X86機(jī)構(gòu)的機(jī)器。
02可視化數(shù)據(jù)治理
可視化數(shù)據(jù)治理支持傳統(tǒng)的ETL數(shù)據(jù)清洗和基于大模型的數(shù)據(jù)清洗,用戶無(wú)需編寫(xiě)代碼,即可通過(guò)直觀的圖形界面完成數(shù)據(jù)抽取、轉(zhuǎn)換、清洗、全流程,實(shí)現(xiàn)跨異構(gòu)數(shù)據(jù)源的整合與標(biāo)準(zhǔn)化管理。為了解決數(shù)據(jù)質(zhì)量的問(wèn)題,需要對(duì)項(xiàng)目的數(shù)據(jù)先進(jìn)行整合。平臺(tái)支持各種各樣數(shù)據(jù)的導(dǎo)入,通過(guò)可視化的拖拽的方式重構(gòu)數(shù)據(jù)治理流程,大幅降低技術(shù)門(mén)檻與操作復(fù)雜度。
03AI數(shù)據(jù)治理
AI數(shù)據(jù)治理是指通過(guò)AI的方式實(shí)現(xiàn)智能數(shù)據(jù)治理,將多源異構(gòu)數(shù)據(jù)通過(guò)AI實(shí)現(xiàn)數(shù)據(jù)融合。我們先將數(shù)據(jù)按照優(yōu)先級(jí)進(jìn)行區(qū)分,AI會(huì)自動(dòng)生成一張寬表,然后我們可以確認(rèn)數(shù)據(jù)的血緣關(guān)系,AI會(huì)根據(jù)數(shù)據(jù)的優(yōu)先級(jí)消除數(shù)據(jù)的沖突和歧義,完成數(shù)據(jù)的補(bǔ)全,從而解決傳統(tǒng)數(shù)據(jù)治理的難點(diǎn)問(wèn)題。若是有AI大模型無(wú)法準(zhǔn)確判斷的,也可以標(biāo)識(shí)出來(lái)提醒人工確認(rèn)。
04可視化系統(tǒng)構(gòu)建
可視化系統(tǒng)的構(gòu)建是指將復(fù)雜的數(shù)據(jù)信息通過(guò)圖形化的方式直觀展示出來(lái),以便用戶能夠快速理解和分析數(shù)據(jù)。使用可視化拖拽的方式構(gòu)建應(yīng)用系統(tǒng),系統(tǒng)支持柱狀圖、雙軸圖、折線圖、散點(diǎn)圖等圖表,選好數(shù)據(jù)集來(lái)源形成可視化圖表。平臺(tái)還支持發(fā)布編輯好的可視化系統(tǒng),方便其他用戶的查看。
05算法構(gòu)建調(diào)度
算法構(gòu)建調(diào)度是指通過(guò)組合特定的算法來(lái)完成指定的工作的過(guò)程。平臺(tái)提供預(yù)置的標(biāo)準(zhǔn)化功能、圖表組件模塊,結(jié)合直觀的配置面板,支持靈活定義數(shù)據(jù)交互邏輯、界面布局及業(yè)務(wù)規(guī)則,無(wú)需編寫(xiě)代碼即可完成系統(tǒng)應(yīng)用構(gòu)建,支持一鍵發(fā)布為獨(dú)立應(yīng)用,并自動(dòng)生成標(biāo)準(zhǔn)化API接口,便于與其他平臺(tái)無(wú)縫集成。
云創(chuàng)大數(shù)據(jù)的dBrain大數(shù)據(jù)融合智算平臺(tái),滿足算力融合、數(shù)據(jù)融合以及算法融合的三大需求,該平臺(tái)有效推動(dòng)了數(shù)據(jù)智能與算法技術(shù)在智慧園區(qū)、智慧城市、公共安全及特殊行業(yè)等多元化場(chǎng)景中的創(chuàng)新應(yīng)用與落地實(shí)施,為各領(lǐng)域的數(shù)字化轉(zhuǎn)型進(jìn)程注入了新的強(qiáng)勁動(dòng)能。