首頁 > 云計算 > 正文
分享到:

“東數西算”工程的縱深推進: 算力調度關鍵問題和實施路徑研究

時間:2023-06-09 23:27:49 來源: 評論:0 點擊:0
  6 月 9 日消息:摘要:隨著“東數西算”工程的縱深推進,如何提升跨區域算力調度水平、提供高質量算力服務已成為算力領域的重要研究方向。著眼于算力網絡中的算力調度問題,重點闡述了算力調度的體系架構及關鍵技術,并分別從整合算力資源、搭建調度平臺、建立標準規范體系三個方面介紹了實現算力調度的整體實施路徑。

  關鍵詞:算力調度;算力網絡;算網編排;算力交易

  0 引言

  隨著5G、人工智能、大數據等新技術、新業態、新平臺的蓬勃興起,自動駕駛、人臉識別、智能制造等各類新興業務對算力提出了靈活便捷、按需匹配的新要求。另外,“東數西算”工程在開啟我國算力資源全國范圍統籌布局新篇章的同時也提出了實現算力資源跨區域調度的核心挑戰。算力調度通過智能分配策略實現算力的靈活流動,能夠解決我國算力需求與資源分布不均的矛盾,快速滿足上層應用多樣化的算力需求,助推我國數字經濟進入普惠共享的新階段。

  1 我國算力調度的發展探索

  1.1 算力調度的部署要求

  我國高度重視算力產業發展,為優化算力資源供給,提升整體算力服務水平,已發布多項有關算力調度的政策文件?!吨腥A人民共和國國民經濟和社會發展第十四個五年規劃和2035年遠景目標綱要》明確指出,要“加快構建全國一體化大數據中心體系,強化算力統籌智能調度”[1]?!缎滦蛿祿行陌l展三年行動計劃(2021—2023年)》明確要形成布局合理、技術先進、綠色低碳、算力規模與數字經濟增長相適應的新型數據中心發展格局,同時指出要完善公共算力資源供給,優化算力服務體系,提升算力服務調度能力[2]?!?ldquo;十四五”信息通信行業發展規劃》指出,要提高網絡資源智能化調度能力和資源利用效能,并首次明確提出了加強跨地域、跨行業統籌協調的重點任務[3]。2022年2月,國家全面啟動“東數西算”工程,建設京津冀、長三角、粵港澳大灣區、成渝、內蒙古、貴州、甘肅、寧夏八大全國一體化算力網絡國家樞紐節點,同時規劃了十個國家數據中心集群[4]。打通東西部算力資源、實現東西部算力協同,離不開區域間的靈活調度。

  1.2 算力網絡發展探索

  在國家政策與產業需求的雙重驅動下,作為算力網絡建設的中堅力量,國內三大運營商紛紛加大對算力網絡相關的技術研發投入和發展路徑探索。中國移動通信集團有限公司在2018年就開始了關于算力感知網絡(Computing-Aware Networking,CAN)的研究,基于CAN的概念,從度量、協議、架構等不同層面協同演進,構建面向算網一體化的新型基礎網絡,目前已經完成了多個移動邊緣計算站點的CAN部署,驗證了CAN調度系統既能實現最優的系統資源利用率,又能實現最佳的用戶體驗[5]。2020年,中國聯合網絡通信集團有限公司研究院發布了《算力網絡架構與技術體系白皮書》,基于云網融合領域的不斷發展,制定了集算網控制、編排、管理、轉發等功能于一體的算力網絡體系架構,該架構能夠最大限度兼容目前發展中的軟件定義網絡(Software-Defined Networking,SDN)和網絡功能虛擬化(Network Function Virtualization,NFV)技術路線,同時實現算力資源提供方、服務提供方及業務消費方不同角色的個性化服務[6]。中國電信集團有限公司遵循“網是基礎,云為核心,網隨云動,云網一體”的十六字原則,提出云網融合目標技術架構。該架構引入云原生、安全、人工智能(Artificial Intelligence,AI)和大數據等技術要素,通過基礎設施層、云網大腦、云網操作系統和應用平臺實現云網邊端智能協同、各類資源融合調度的發展愿景[7]。算力網絡的發展目標是將算力打造成為隨用隨取的公共服務,算力調度作為算力網絡發展的關鍵技術,是解決我國東西部算力結構不均衡、算力供需不平衡、算網協同性不強等問題的重要途徑,因此,筆者將對算力調度涉及的關鍵技術以及整體實施路徑作扼要的介紹和討論。

  2 算力調度體系架構

  算力調度是解決算力供需矛盾、算力網絡傳輸問題、算力資源普惠問題的新型能力體系。算力調度根據算力資源提供方的供給能力和應用需求方的動態資源需求,整合區域內算力基礎設施底層的計算、存儲、網絡等多維資源,基于算力調度平臺對算力資源進行一致性管理、一體化編排和統一調度,實現跨行業、跨地區、跨層級的算力資源的協同聯動與精準匹配。算力調度涉及的關鍵環節從底層到上層主要有基礎設施層、管理編排層、服務運營層、算力應用層,另外還包括標準規范體系,如圖1所示。

  圖1 算力調度涉及的關鍵環節

  基礎設施層:奠定算力調度基礎能力的重要底座。該層利用現有的算力基礎設施、通信網絡基礎設施提供算力資源,充分聚合計算、存儲、網絡三大資源,向算力調度平臺提供池化資源能力;融合算力和網絡等方面的創新技術,例如異構計算、算力卸載、存算一體以及光傳送網(Optical Transport Network,OTN)等技術,以提供多元資源服務和實現最佳網絡連接。

  管理編排層:實現算力調度的“算網大腦”。該層負責全網算力資源的統一管控和智能編排。該層主要基于對全網算力資源的全面感知,利用算力解構技術解耦底層算力資源與上層業務需求之間的邏輯關系,進而通過博弈算法和智能優化算法選擇最優的調度路徑,同時根據算力資源的實時變化進行動態算力調整,實現整體算力資源的靈活部署與動態匹配。

  服務運營層:對接算力資源提供方與資源應用需求方的重要“中間管家”,管理算力服務的運營過程。該層主要提供算力注冊、身份認證、服務申請、產品定義、服務計費和服務結算等算力交易相關的場景,基于區塊鏈等去中心化技術實現分布式賬本、匿名交易、訂單溯源,為客戶提供云、算、網資源隨用隨取、便捷高效、安全可信的一站式服務。

  算力應用層:向各行業多重應用場景釋放多樣化算力服務。該層面向個人客戶、企業客戶、政府客戶等不同群體不同場景的算力業務需求,為金融科技、人工智能、智能制造、生物醫藥、科創研發、智慧城市等領域的實際需求提供算力服務,例如數據分析、狀態推理、視頻解析、模型訓練、路徑規劃、圖像渲染等。通過算力服務在不同領域的流通共享,推動算力資源與業務場景的深度融合以及算力調度在橫向和垂直領域的拓展與延伸。

  標準規范體系:實現算力服務有序發展的重要保障。該體系主要包括算力評估標準建設、綠色技術應用保障、商業模式運行機制、算力安全防護保障等。統一的算力調度標準規范體系一方面能夠為算力服務的高效發展提供安全可靠的機制保障;另一方面,能夠屏蔽廠商和地域差異,強化產業鏈各方整體協同,形成算力網絡強大的生態合力,為千行百業提供“開放、融合、綠色、安全、普惠”的算力服務。

  3 算力調度關鍵技術

  3.1 算力感知

  算力感知是實現算力調度的基礎,通過感知全網的算力資源信息,保證按需、實時調度不同位置的算力資源。算力感知既包括對算力提供方的計算、存儲、通信、服務等不同類型資源與服務的感知,也包括對算力需求方業務需求信息的全面感知。無處不在的網絡連接分布式算力節點是實現算力感知的關鍵,算力節點能夠主動將感知到的算力特性(如中央處理器(Central Processing Unit,CPU)/圖形處理器(Graphics Processing Unit,GPU)的處理能力、負載信息、部署位置等)、算力服務信息(如服務類型、服務時長等)、網絡指標(如時延、流量、丟包等)等要素上報至算力感知中心,反之,算力感知中心也能主動查詢算力節點的各類性能[8]。由于算力資源是動態變化的,因此算力感知中心還需要測量不同算力節點間的時延和路徑信息,以便于對算力資源的調配進行實時處理。未來,可以依托AI技術,利用AI流量預測模型結合AI深度神經算法學習算力應用狀態,及時預測算力節點資源信息的變化情況,從而提升全網的資源配置速度和利用效率[9]。

  3.2 算力度量

  統一的算力度量標準是實現靈活調度多元異構算力資源的前提,但算力與水力、電力等能源不同,算力資源的復雜性決定了難以通過單一維度來量化算力,算力資源的復雜性主要體現在三個方面。第一,由CPU、GPU、現場可編程邏輯門陣列(Field Programmable Gate Array,FPGA)、專用集成電路(Application Specific Integrated Circuit,ASIC)等多種計算單元組成的異構處理體系難以進行標準化的統一;第二,除了計算單元,算力資源還包括網絡、存儲等多維資源,需要從多個維度進行算力資源的建模和評估;第三,不同行業、不同企業、不同場景對算力資源類型和需求量的要求存在較大差異,用戶很難精準把握需要多少算力[10]。因此,業界亟需建立統一的標準將算力業務需求量化以提供更好的服務。確定算力資源模型是建立算力度量標準的關鍵。主流的思路是從業務場景維度出發,將總體的算力資源統一表達為包含計算、網絡、存儲等多維度資源在內的綜合模型。首先將通用算力、智能算力和超算算力三種不同的計算類型按照邏輯運算能力、并行計算能力、神經計算能力的維度進行分類,將計算能力表達為匹配不同比例系數的三種計算能力之和,即:

  公式(1)中,Ø表示計算能力;A表示邏輯運算能力;B表示并行計算能力;C表示神經網絡計算能力;α,β,γ表示比例系數。

  進而用與計算能力、存力、算法、路由和算效相關的數學模型來表示總的算力資源??偟乃懔Y源可如下表示:公式(2)中,φ表示算力資源;Ø表示計算能力;T表示存力;X表示算法,包括算法類型和復雜度等;P表示路由,包含路由協議、協議配置等信息;θ表示算效,用于算力配置策略驗證。

  最終基于以上模型,結合用戶位置、業務需求等關鍵信息,對外生成面向用戶的算力資源視圖,對內生成算力資源清單和初始配置策略[11]。

  3.3 算力路由

  算力路由將算力節點收集的算力資源信息進行整合,生成包含網絡和計算參數信息的新型路由表,從用戶的實際業務需求出發,進行算力任務動態匹配和連接調度,實現用戶體驗最優、計算資源利用率最優、網絡效率最優、調度路徑最優?,F有的路由部署策略以集中式為主,將調度問題視作一個整體,基于SDN和NFV網絡控制器將調度信息統一呈現給用戶,但集中式解決方案已無法滿足新型應用實時性的需求。計算優先網絡作為一種分布式路由協議,將算力節點的計算狀況和網絡狀況作為路由信息發布到網絡,網絡基于虛擬的服務身份識別號(Identity Document,ID)將計算任務報文路由到最合適的計算節點。在算力資源多樣性的網絡中,基于算力和算法動態調度計算資源,精確地完成算力調度,保證優質的用戶體驗[10]。

  3.4 算網編排

  算網編排是算網大腦的核心控制部分,算網編排技術基于算、網、數的原子能力按需靈活組合,完成復雜多元的算力業務的路徑編排,并通過網絡控制器進行算力路由選擇與轉發,實現算網業務的統一編排、部署和保障。算網編排具備云原生編排能力、多量綱的編排能力以及運行態的編排能力[10]。云原生編排指應用程序無需進行復雜的適配性改造,由算網大腦提供通用性編排框架,實現應用程序的自動、靈活、敏捷部署及擴縮容編排。多量綱的編排指通過多屬性決策算法,對算網資源中的成本、安全、能耗等多量綱進行實時業務編排,為用戶編排多種解決方案。運行態編排指根據算網資源實時狀態變化,由動態編排引擎根據業務特性進行動態拼裝,形成新的流程模板最終交回業務調度引擎,實現流程的動態調度和運行。未來,可在現有的編排技術基礎上利用人工智能技術,通過機器學習實現對歷史運行數據的學習和分析,進一步豐富調度策略、校正調度精度。

  3.5 算力交易

  算力交易是指算力提供方與算力需求方通過算力交易平臺進行資源交易的新型商業模式。算力交易平臺作為算力買方與賣方的中間角色,基于“身份、協議、訂單、賬單、傭金”等方面的可信交易體系,根據用戶的差異化需求,實現智能、公平、泛在、可溯、可信的算力交易。但由于算力資源種類繁多且由多方共建,總體呈現多維異構、多級泛在、歸屬復雜的特點,想要實現高效的算力交易需要解決算力并網問題、算力感知問題、多方交易公平問題、多方算網激勵問題、可信算力交易問題五大問題[8]。需要從算效、時延、綠碳、安全等多維度分類分級制定算力產品價格體系,基于多維感知精準解析實際業務需求并通過優化算法匹配出最合適的算力供給方。此外,可以利用去中心化的分布式、可信區塊鏈技術,實現對多方閑散算力資源的整合以及統一運營管理。

  4 算力調度實施路徑

  4.1 整合多元異構資源

  針對算力資源多元化、異構化的特點,首先需要統一底層算力資源度量標準,對衡量計算能力的CPU、GPU、神經網絡處理器等異構處理單元進行標準化的統一,構建對于計算、存儲、網絡等不同類型算力資源的度量模型,同時需要綜合考慮安全、成本、能效等服務指標,形成統一的上層應用資源評估標準,以滿足不同應用場景的適配要求。在此基礎上,摸清算力調度區域已建和在建的算力基礎設施及算力資源輸出能力,形成區域算力資源清單。將歸屬不同所有方的閑置資源整合起來,基于云計算技術屏蔽底層異構算力的差異性,為上層應用提供無差別的服務能力[12]。

  4.2 搭建算力調度平臺

  算力調度平臺集實時感知、供需匹配、智能調度、服務運營、監測管理等多種功能于一體,是實現算力資源靈活流通的重要“關口”,算力平臺的搭建重點包括兩個方面:一是基于算力感知、算網編排、算力路由等技術構建算網大腦,針對算力業務需求,根據全域實時的算、網、數資源以及云、邊、端分布情況,靈活、動態地計算最優協同策略與調度路徑,實現算力資源跨行業、跨區域、跨層級的融合編排;二是引入區塊鏈等技術構建算力運營門戶,為算力資源提供方和算力資源需求方搭建交易服務的橋梁,實現算力服務統一交易和售賣,與算網大腦協同,打通算力交易全生命周期各環節,滿足算力交易多方參與者的業務需求,提供算力產品一體化供給和一站式服務。

  4.3 建立標準規范體系

  算力調度的標準規范體系是實現算力服務有序發展的基礎保障,重點包括算力交易、算力管理、算力安全等方面的規則機制。算力交易主要涉及產品定價規則、自動結算機制、算力交易賬本、交易各方的權利和義務以及可信、可溯、可評價的算力服務機制,需探索新的算力業務形態下全新的算力商業體制。算力管理涉及多方閑散算力接入、合作分成、業務訂單管理、服務進度管理以及服務運維等方面的規則。算力安全主要涉及多源、泛在的算力節點進行計算時所面臨的網絡攻擊和數據隱私泄露等安全風險,以及算力交易參與方面臨的信息泄露隱患等,需建立安全可控的信息網絡軟硬件系統安全保障體系,實現智能化的威脅預警、風險分析、自動處理等功能,全力提升信息網絡安全監測預警能力和應急處置水平。算力調度標準規范體系的構建需要算力提供方、需求方和產業上下游協同合作,共同開展算力納管、交易、安全等多方面的標準研究與規則制定,促進算力調度的良性發展。

  5 結束語

  盡管目前在算力調度技術思想、系統開發、案例應用等方面已經取得了一定進展,但算力調度仍然面臨諸多挑戰,如異構算力的度量問題、算力服務的商業模式問題、標準化體系建設問題。想要攻克此類問題需要從三個方面入手。一是加快標準體系建設。業界研究機構、標準組織與算力相關企業應加快產學研深度融合,一方面,加快建立統一的描述語言,實現業界認可的算力度量標準;另一方面,探索建立能夠平衡算力提供方、算力需求方、調度平臺運營方等各方需求的商業創新模式,推動算力市場的規范化發展。二是強化政策支撐。算力調度涉及領域復雜繁多,亟需統一發展路線,形成行業共識;同時,要加大對于產業創新平臺與重大應用示范在資金、人才等方面的支持力度,充分調動市場積極性。三是完善產業生態。以建促用,鼓勵軟硬件廠商開展跨層合作,提供滿足不同場景的解決方案,通過算力產業上下游的協同聯動打造全產業、多行業共創、共享、共贏的算力生態。

永久免费毛片久久99|狠狠色狠狠色综合久久伊人拫|国自产精品手机在线观看|性欧美肥妞BBXX|国产高清在线精品一区小说