產業訊息
工商時報 2021-11-12
NVIDIA推出大型人工智慧語言模型供全球企業使用
NVIDIA（輝達）宣布為全球的企業打開大型語言模型（LLM）開發與部署的大門，讓他們能打造自身所處特定領域的聊天機器人、個人助理，以及得以用前所未有的細微差異理解人類語言的其它人工智慧（AI）應用。
NVIDIA發表了運用數兆個參數來訓練語言模型的NVIDIA NeMo Megatron框架、可針對全新領域和語言進行訓練的Megatron 530B可自訂LLM，以及搭載多GPU、多節點、具分散式推論功能的NVIDIA Triton推論伺服器。
這些工具結合NVIDIA DGX系統，能提供可立即生產（production-ready）的企業級解決方案，以簡化大型語言模型的開發與部署。
NVIDIA深度學習應用研究部門副總裁Bryan Catanzaro表示，大型語言模型已經被證實具備相當的彈性與能力，可以回答深度的特定領域問題、翻譯語言、理解並總結資料、撰寫故事與運算程式，而且全部都不須特定的訓練或監督。為新的語言和領域建立大型語言模型，可能是迄今最大型的超級運算應用，而這些功能對全世界的企業來說已唾手可得。
NVIDIA NeMo Megatron將Megatron的技術進展發揚光大。Megatron是一個由NVIDIA研究人員帶領的開源專案，研究大型Transformer語言模型的大規模有效訓練。
NeMo Megatron框架可以讓企業克服在訓練精巧複雜的自然語言處理模型時面臨的挑戰，經最佳化處理後，可以在NVIDIA DGX SuperPOD的大規模加速運算基礎架構上進行擴展。
NeMo Megatron利用可以匯入、管理、組織與清除資料的資料處理函式庫，自動化LLM訓練的複雜性。它使用資料、張量與流程平行化的先進技術，把大型語言模型的訓練高效率地分散到數千個GPU。企業可以使用NeMo Megatron框架為他們所處的特定領域和語言訓練LLM。
另外發表的全新NVIDIA Triton推論伺服器的全新多GPU、多節點功能，可以讓LLM推論的作業負載即時在多個GPU與節點上擴展。這些模型需要的記憶體數量不但超過單一GPU、甚至超過搭載多個GPU的大型伺服器具備的可用記憶體，而推論則必須快速運行才能在應用程式中發揮作用。
有了Triton推論伺服器，Megatron 530B可以在兩套NVIDIA DGX系統上運行，並把CPU伺服器原本需要的一分多鐘處理時間縮短到0.5秒，以便針對即時應用程式部署LLM。
利用NVIDIA DGX SuperPOD打造大型語言模型的早期採用機構有SiDi、京東探索研究院（JD Explore Academy）以及VinBrain。
巴西最大AI研發機構之一的SiDi已將三星（Samsung）的虛擬助理用於兩億名巴西的葡萄牙語使用者。SiDi執行長John Yi表示，SiDi的團隊對於開發AI虛擬助理與聊天機器人擁有豐富的經驗，這些作業需要強大的AI效能，以及針對人類語言不斷變化的細微之處進行訓練與調適的特定軟體。NVIDIA DGX SuperPOD是促進我們團隊工作的理想選擇，能協助我們為巴西的葡語使用者帶來引領全球的AI服務。
中國頂尖的供應鏈技術與服務供應商JD.com（京東）的研發機構京東探索研究院正使用NVIDIA DGX SuperPOD，為智慧客服、智慧零售、智慧物流、物聯網與健康照護等應用開發自然語言處理（NLP）。
越南的醫療照護AI公司VinBrain，則已經使用DGX SuperPOD為100家醫院的放射科醫師與遠距醫療團隊開發與部署臨床語言模型，供超過600位健康照護醫療人員使用。
#企業 #大型語音模型 #聊天機器人 #個人助理 #人工智慧應用 #AI #供應鏈 #智慧客服 #智慧零售 #智慧物流 #物聯網 #健康照護
上揚工業不動產轉載
NVIDIA發表了運用數兆個參數來訓練語言模型的NVIDIA NeMo Megatron框架、可針對全新領域和語言進行訓練的Megatron 530B可自訂LLM，以及搭載多GPU、多節點、具分散式推論功能的NVIDIA Triton推論伺服器。
這些工具結合NVIDIA DGX系統，能提供可立即生產（production-ready）的企業級解決方案，以簡化大型語言模型的開發與部署。
NVIDIA深度學習應用研究部門副總裁Bryan Catanzaro表示，大型語言模型已經被證實具備相當的彈性與能力，可以回答深度的特定領域問題、翻譯語言、理解並總結資料、撰寫故事與運算程式，而且全部都不須特定的訓練或監督。為新的語言和領域建立大型語言模型，可能是迄今最大型的超級運算應用，而這些功能對全世界的企業來說已唾手可得。
NVIDIA NeMo Megatron將Megatron的技術進展發揚光大。Megatron是一個由NVIDIA研究人員帶領的開源專案，研究大型Transformer語言模型的大規模有效訓練。
NeMo Megatron框架可以讓企業克服在訓練精巧複雜的自然語言處理模型時面臨的挑戰，經最佳化處理後，可以在NVIDIA DGX SuperPOD的大規模加速運算基礎架構上進行擴展。
NeMo Megatron利用可以匯入、管理、組織與清除資料的資料處理函式庫，自動化LLM訓練的複雜性。它使用資料、張量與流程平行化的先進技術，把大型語言模型的訓練高效率地分散到數千個GPU。企業可以使用NeMo Megatron框架為他們所處的特定領域和語言訓練LLM。
另外發表的全新NVIDIA Triton推論伺服器的全新多GPU、多節點功能，可以讓LLM推論的作業負載即時在多個GPU與節點上擴展。這些模型需要的記憶體數量不但超過單一GPU、甚至超過搭載多個GPU的大型伺服器具備的可用記憶體，而推論則必須快速運行才能在應用程式中發揮作用。
有了Triton推論伺服器，Megatron 530B可以在兩套NVIDIA DGX系統上運行，並把CPU伺服器原本需要的一分多鐘處理時間縮短到0.5秒，以便針對即時應用程式部署LLM。
利用NVIDIA DGX SuperPOD打造大型語言模型的早期採用機構有SiDi、京東探索研究院（JD Explore Academy）以及VinBrain。
巴西最大AI研發機構之一的SiDi已將三星（Samsung）的虛擬助理用於兩億名巴西的葡萄牙語使用者。SiDi執行長John Yi表示，SiDi的團隊對於開發AI虛擬助理與聊天機器人擁有豐富的經驗，這些作業需要強大的AI效能，以及針對人類語言不斷變化的細微之處進行訓練與調適的特定軟體。NVIDIA DGX SuperPOD是促進我們團隊工作的理想選擇，能協助我們為巴西的葡語使用者帶來引領全球的AI服務。
中國頂尖的供應鏈技術與服務供應商JD.com（京東）的研發機構京東探索研究院正使用NVIDIA DGX SuperPOD，為智慧客服、智慧零售、智慧物流、物聯網與健康照護等應用開發自然語言處理（NLP）。
越南的醫療照護AI公司VinBrain，則已經使用DGX SuperPOD為100家醫院的放射科醫師與遠距醫療團隊開發與部署臨床語言模型，供超過600位健康照護醫療人員使用。
#企業 #大型語音模型 #聊天機器人 #個人助理 #人工智慧應用 #AI #供應鏈 #智慧客服 #智慧零售 #智慧物流 #物聯網 #健康照護
上揚工業不動產轉載
2013年12月30日 週一 下午17: 24
