據(jù)天中威科技小編分析，近期，Meta透露了其在人工智能方面取得的最新進(jìn)展。人們提起Meta時(shí)，通常會(huì)想到其應(yīng)用程序，包括Facebook、Instagram、WhatsApp或即將推出的元宇宙。但許多人不知道的是這家公司設(shè)計(jì)和構(gòu)建了非常復(fù)雜的數(shù)據(jù)中心來(lái)運(yùn)營(yíng)這些服務(wù)。

與AWS、GCP或Azure等云服務(wù)給予商不同，Meta不需要披露有關(guān)其硅芯選擇、基礎(chǔ)設(shè)施或數(shù)據(jù)中心設(shè)計(jì)的細(xì)節(jié)，除了其OCP設(shè)計(jì)用來(lái)給買家留下深刻印象。Meta的用戶希望取得更好、更一致的體驗(yàn)，而不關(guān)心它是如何實(shí)現(xiàn)的。

在Meta，AI工作負(fù)載無(wú)處不在，它們構(gòu)成了廣泛用例的基礎(chǔ)，包括內(nèi)容理解、信息流、生成式AI和廣告排名。這些工作負(fù)載在PyTorch上運(yùn)行，具有一流的Python集成、即時(shí)模式（eager-mode）開(kāi)發(fā)和API簡(jiǎn)潔性。特別是深度學(xué)習(xí)推薦模型（DLRMs），對(duì)于改善Meta的服務(wù)和應(yīng)用體驗(yàn)非常重要。但隨著這些模型的大小和復(fù)雜性的增加，底層的硬件系統(tǒng)需要在保持高效的同時(shí)給予指數(shù)級(jí)增長(zhǎng)的內(nèi)存和計(jì)算能力。

Meta發(fā)現(xiàn)，對(duì)于現(xiàn)在規(guī)模的AI運(yùn)算和特定的工作負(fù)載，GPU的效率不高，并不是最佳選擇。因此，該公司提出了推理加速器MTIA，幫助更快地訓(xùn)練AI系統(tǒng)。

MTIA V1

MTIA v1（推理）芯片（die）

2020年，Meta為其內(nèi)部工作負(fù)載設(shè)計(jì)了第一代MTIA ASIC推理加速器。該推理加速器是其全棧解決方案的一部分，整個(gè)解決方案包括芯片、PyTorch和推薦模型。

MTIA加速器采用TSMC 7nm工藝制造，運(yùn)行頻率為800 MHz，在INT8精度下給予102.4 TOPS，在FP16精度下給予51.2 TFLOPS。它的熱設(shè)計(jì)功耗 (TDP) 為25W。

MTIA加速器由處理元件 (PE)、片上和片外存儲(chǔ)器資源以及互連組成。該加速器配備了運(yùn)行系統(tǒng)固件的專用控制子系統(tǒng)。固件管理可用的計(jì)算和內(nèi)存資源，順利獲得專用主機(jī)接口與主機(jī)通信，協(xié)調(diào)加速器上的job執(zhí)行。

內(nèi)存子系統(tǒng)使用LPDDR5作為片外DRAM資源，可擴(kuò)展至128 GB。該芯片還有128 MB的片上SRAM，由所有PE共享，為頻繁訪問(wèn)的數(shù)據(jù)和指令給予更高的帶寬和更低的延遲。

MTIA加速器網(wǎng)格包含以8x8配置組織的64個(gè)PE，這些PE相互連接，并順利獲得網(wǎng)狀網(wǎng)絡(luò)連接到內(nèi)存塊。整個(gè)網(wǎng)格可以作為一個(gè)整體來(lái)運(yùn)行一個(gè)job，也可以分成多個(gè)可以運(yùn)行獨(dú)立job的子網(wǎng)格。

每個(gè)PE配備兩個(gè)處理器內(nèi)核（其中一個(gè)配備矢量擴(kuò)展）和一些固定功能單元，這些單元經(jīng)過(guò)優(yōu)化以執(zhí)行關(guān)鍵操作，例如矩陣乘法、累加、數(shù)據(jù)移動(dòng)和非線性函數(shù)計(jì)算。處理器內(nèi)核基于RISC-V開(kāi)放指令集架構(gòu) (ISA)，并經(jīng)過(guò)大量定制以執(zhí)行必要的計(jì)算和控制任務(wù)。

每個(gè)PE還具有128 KB的本地SRAM內(nèi)存，用于快速存儲(chǔ)和操作數(shù)據(jù)。該架構(gòu)最大限度地提高了并行性和數(shù)據(jù)重用性，這是高效運(yùn)行工作負(fù)載的基礎(chǔ)。

該芯片同時(shí)給予線程和數(shù)據(jù)級(jí)并行性（TLP和DLP），利用指令級(jí)并行性 (ILP)，并順利獲得允許同時(shí)處理大量?jī)?nèi)存請(qǐng)求來(lái)實(shí)現(xiàn)大量的內(nèi)存級(jí)并行性 (MLP)。

MTIA v1系統(tǒng)設(shè)計(jì)

MTIA加速器安裝在小型雙M.2板上，可以更輕松地集成到服務(wù)器中。這些板使用PCIe Gen4 x8鏈接連接到服務(wù)器上的主機(jī)CPU，功耗低至35 W。

帶有MTIA的樣品測(cè)試板

托管這些加速器的服務(wù)器使用來(lái)自開(kāi)放計(jì)算項(xiàng)目的Yosemite V3服務(wù)器規(guī)范。每臺(tái)服務(wù)器包含12個(gè)加速器，這些加速器連接到主機(jī)CPU，并使用PCIe交換機(jī)層級(jí)相互連接。因此，不同加速器之間的通信不需要涉及主機(jī)CPU。此拓?fù)湓试S將工作負(fù)載分布在多個(gè)加速器上并并行運(yùn)行。加速器的數(shù)量和服務(wù)器配置參數(shù)經(jīng)過(guò)精心選擇，以最適合執(zhí)行當(dāng)前和未來(lái)的工作負(fù)載。

MTIA軟件棧

MTIA軟件（SW）棧旨在給予給開(kāi)發(fā)者更好的開(kāi)發(fā)效率和高性能體驗(yàn)。它與PyTorch完全集成，給用戶給予了一種熟悉的開(kāi)發(fā)體驗(yàn)。使用基于MTIA的PyTorch與使用CPU或GPU的PyTorch一樣簡(jiǎn)單。并且，得益于蓬勃開(kāi)展的PyTorch開(kāi)發(fā)者生態(tài)系統(tǒng)和工具，現(xiàn)在MTIA SW?？梢允褂肞yTorch FX IR執(zhí)行模型級(jí)轉(zhuǎn)換和優(yōu)化，并使用LLVM IR進(jìn)行低級(jí)優(yōu)化，同時(shí)還支持MTIA加速器自定義架構(gòu)和ISA。

下圖為MTIA軟件棧框架圖：

作為SW棧的一部分，Meta還為性能關(guān)鍵型ML內(nèi)核開(kāi)發(fā)了一個(gè)手動(dòng)調(diào)整和高度優(yōu)化的內(nèi)核庫(kù)，例如完全連接和嵌入包運(yùn)算符。在SW棧的更高層級(jí)可以選擇在編譯和代碼生成過(guò)程中實(shí)例化和使用這些高度優(yōu)化的內(nèi)核。

此外，MTIA SW棧隨著與PyTorch 2.0的集成而不斷開(kāi)展，PyTorch 2.0更快、更Python化，但一如既往地動(dòng)態(tài)。這將啟用新功能，例如TorchDynamo和TorchInductor。Meta還在擴(kuò)展Triton DSL以支持MTIA加速器，并使用MLIR進(jìn)行內(nèi)部表示和高級(jí)優(yōu)化。

MTIA性能

Meta比較了MTIA與其他加速器的性能，結(jié)果如下：

Meta使用五種不同的DLRMs（復(fù)雜度從低到高）來(lái)評(píng)估MTIA

此外，Meta還將MTIA與NNPI以及GPU進(jìn)行了比較，結(jié)果如下：

評(píng)估發(fā)現(xiàn)，與NNPI和GPU相比，MTIA能夠更高效地處理低復(fù)雜度（LC1和LC2）和中等復(fù)雜度（MC1和MC2）的模型。此外，Meta尚未針對(duì)高復(fù)雜度（HC）模型進(jìn)行MTIA的優(yōu)化。

參考鏈接：

http://ai.facebook.com/blog/meta-training-inference-accelerator-AI-MTIA/

文章來(lái)源：機(jī)器之心

推薦新聞

• 

  ■十大网投正规信誉官网■十大网投靠谱平台 科技微波小課堂_有損傳輸線和無(wú)損傳輸線簡(jiǎn)介

  07-16
• 

  ■十大网投正规信誉官网■十大网投靠谱平台 科技微波小課堂_用于車聯(lián)網(wǎng)的主要無(wú)線技術(shù)

  07-16
• 

  [行業(yè)動(dòng)態(tài)]下一代半導(dǎo)體材料來(lái)襲

  07-15
• 

  [技術(shù)前沿]核能成為航運(yùn)新選擇

  07-15
• 

  [行業(yè)動(dòng)態(tài)]一家本土廠商在電流感測(cè)元件細(xì)分賽道開(kāi)展成了隱形冠軍

  07-12
• 

  大神分享的如何才能成為一名優(yōu)秀的射頻工程師？

  07-12