一個數字震驚了所有人：市場研究機構德勤（Deloitte）估計，AI推論工作負載在2025年已佔全球AI總運算量的一半，並預計在今年將進一步攀升至三分之二。面對這股不可逆的趨勢，以色列新創公司NeuReality於本週一（3月23日）宣布，成功延攬曾任Google Labs產品管理總監的Shalini Agarwal為策略顧問，此舉無疑是為其創新的NR-NEXUS推論作業系統，擘劃進軍企業客戶市場的宏大藍圖。這不僅凸顯了AI領域頂尖人才的磁吸效應，更直指優化AI硬體效能解決方案，已成為未來AI發展的關鍵。
表象：AI人才的戰略流動
當科技巨頭的資深主管選擇轉戰新創，這背後往往隱含著對未來產業格局的深刻洞察。Shalini Agarwal女士在科技產業累積了近二十年的產品策略經驗，足跡遍及Google Labs及eBay等知名企業，更擁有麻省理工學院（MIT）電腦科學、電機工程及管理科學的紮實學位背景。她深厚的專業積累，如今將以顧問身份，專注協助NeuReality制定上市策略，這無疑是對該公司解決方案潛力的一大肯定。
有趣的是，Agarwal的加入，被業界視為對那些能彌補晶片與企業大規模運行模型之間鴻溝的公司，投下的一張深具份量的信任票。這不僅是單純的人才流動，更是一場關於AI未來主導權的戰略佈局，預示著在AI推論領域，軟硬體整合與效率提升將是決勝的關鍵。
真相：NR-NEXUS如何重塑AI推論
NeuReality最初以設計AI推論的客製化晶片起家，隨後敏銳地察覺市場需求，轉型投入軟體開發，這項戰略轉變正是其核心競爭力的體現。該公司已於3月12日正式發表NR-NEXUS，這是一款為「AI工廠」量身打造的硬體中立（hardware-agnostic）作業系統。
NR-NEXUS的設計理念，是透過解耦預填充（prefill）和解碼（decode）任務，使其能夠跨異質硬體平台運行，無論是圖形處理器（GPU）、中央處理器（CPU），還是網路介面卡（NIC），都能有效整合。此舉旨在大幅提高昂貴加速器的利用率，解決當前AI運算中部分硬體閒置、資源浪費的痛點。目前已有測試客戶正在運行NR-NEXUS軟體，未來也將支援輝達（NVIDIA）即將推出的Vera Rubin架構，展現其前瞻性與兼容性。
各方角力：巨頭的佈局與新創的挑戰
AI推論市場的巨大潛力，早已吸引各方巨頭積極佈局。超大規模業者（hyperscalers）如亞馬遜（Amazon）預計在2026年將投入2,000億美元於AI基礎設施，而Google的預算則介於1,750億至1,850億美元之間，這筆天文數字般的投資，足以說明其對AI運算能力的渴求。
根據市場研究機構德勤（Deloitte）的專業估計，AI推論工作負載在2025年已佔總AI運算量的一半，今年預計將進一步提升至三分之二，這顯示AI推論的需求正以驚人的速度增長。
NVIDIA執行長黃仁勳（Jensen Huang）也曾提及，未來的資料中心將不再只是單純的數據儲存庫，而是轉變為「代幣工廠」（token factory），強調AI生成與推論將成為核心功能。在這樣的市場背景下，NeuReality迄今已成功募得約7,000萬美元資金，其中包括2022年底由三星創投（Samsung Ventures）、OurCrowd和SK海力士（SK Hynix）領投的3,500萬美元A輪募資，以及2024年3月歐洲創新理事會基金（European Innovation Council Fund）與現有投資者共同注資的2,000萬美元，顯示其技術與市場策略深具潛力。
深層影響：效率與成本的雙重革命
當AI模型日益龐大、應用場景愈趨多元，如何高效且經濟地進行AI推論，已成為企業面臨的嚴峻挑戰。NR-NEXUS透過其獨特的解耦設計，不僅能提升昂貴AI加速器的利用率，降低營運成本，更能為企業提供更靈活、更具彈性的AI部署方案。這意味著，企業將能以更低的門檻、更高的效率，將AI能力融入其核心業務，加速數位轉型。
NVIDIA執行長黃仁勳曾明確指出，未來的資料中心將不再是傳統意義上的儲存中心，而是轉型為「代幣工廠」，這預示著AI推論與生成將成為數據中心的核心任務。
Shalini Agarwal的加入，正是為了將這項技術從實驗室推向更廣闊的企業市場，協助各行各業解決AI落地過程中的效能瓶頸，讓AI的潛力得以充分釋放。這場效率與成本的雙重革命，將深刻影響企業的競爭力與創新能力。
未解之問：AI推論的未來版圖將如何演變？
儘管NeuReality與Shalini Agarwal的合作，為AI推論市場注入了新的活力，但AI領域的競爭依然激烈。隨著技術不斷演進，新的硬體架構與軟體方案層出不窮，NR-NEXUS能否在未來持續保持其競爭優勢，並成功搶佔超大規模業者與眾多企業客戶的心智？在AI運算需求爆炸性增長的時代，如何平衡技術創新、市場拓展與生態系合作，將是NeuReality，乃至整個AI推論產業，需要不斷思考與解答的深層問題。
