樹莓派最新推出的 AI HAT+ 旨在提升人工智能應用的效能，提供兩種性能選擇：13 TOPS 型號，售價 70 美元，以及 26 TOPS 型號，售價 110 美元。這兩款設備均配備 Hailo AI 加速器，專為高效處理機器學習任務而設計。
特色與優勢
- 集成設計：Hailo-8 晶片直接集成在 PCB 上，簡化了安裝過程，並改善了熱管理，特別適合實時圖像處理及同時運行多個神經網絡的高需求任務。
- 本地運行大型語言模型（LLM）：AI HAT+ 的高計算能力（最高可達 26 TOPS）能高效處理密集的推理任務，實現更快的響應和實時語言處理，而無需依賴雲服務。這使得專注於隱私的邊緣 AI 應用成為可能，因為 LLM 可直接在設備上運行。
- 提升性能：AI HAT 配備神經處理單元（NPU）或專用 AI 加速器，顯著增強了樹莓派在機器學習和深度學習任務中的表現，使其在進行 LLM 推理時能更高效運行，處理速度明顯快於僅用 CPU。
- 能源效率：運行 LLM 需要大量資源，可能導致高能耗。AI HAT 設計為高能效，讓樹莓派在執行這些任務時不會消耗過多電力，特別適合低功耗環境或對能耗有顧慮的項目。
- 邊緣 AI 能力：使用 AI HAT，樹莓派設備可在邊緣直接運行 LLM，實現實時自然語言處理（NLP），無需將數據發送回雲端伺服器，對於重視隱私的應用或網絡連接有限的情況尤為重要。
- 可擴展性：AI HAT 支持可擴展的 AI 應用，能在多個樹莓派設備上運行 LLM，實現低成本且可擴展的 AI 解決方案，適用於聊天機器人、助手及本地化 AI 系統等實際應用。
- 實時應用：AI HAT 的 AI 專用硬件使樹莓派能用於需要快速響應的實時應用，如語音助手或互動機器人，LLM 能迅速處理和理解用戶輸入，讓互動更加流暢。
總結
樹莓派 AI HAT+ 的推出，使得在低成本、緊湊的設備上高效處理大型語言模型成為可能，讓 AI 更易於在邊緣環境中應用，並開啟了在實時、低功耗環境中的新用例。
圖片來源：Raspberry Pi
