915MHz Antenna 跟「繁花」胡歌學上海話 黃瑄演虎媽駕輕就熟
https://ft-rf.com.tw/search?query=915

家用電腦部署 o4-mini 級 gpt-oss 推理模型教學,OpenAI 開源第一步

Eric Chan
更新時間
香港免 VPN 用 OpenAI!家用電腦部署 o4-mini 級 gpt-oss 推理模型教學,OpenAI 開源第一步

OpenAI 相隔六年終於再一次發佈開放權重模型,而且是效能聲稱可媲美高階推理模型 o4-mini 的 gpt-oss-120b 以及媲美 o3-mini 的 gpt-oss-20b,就看你家裡的電腦規格而決定部署哪一款。使用授權會為較彈活的 Apache 2.0,甚至可以作商用用途。

OpenaI gpt-oss 模型簡介與硬體需求

在開始部署之前,請先了解這兩款模型的差異及對應的硬體需求:

這兩款模型的權重都以原生 MXFP4 量化格式在 Hugging Face 上免費提供,這種格式有助於模型在較低的記憶體需求下運行,以下就以比較簡單和方便的 Ollama 來作教學:

本地部署教學 (Ollama)

對於大多數使用者來說,使用 Ollama 是在本地電腦上運行這兩款模型最簡單快速的方法。Ollama 是一個支援在 macOS、Windows 和 Linux 上本地運行大型語言模型的平台。

步驟一:下載並安裝 Ollama

首先,請前往 Ollama 官方網站下載並安裝對應您作業系統的應用程式。

步驟二:拉取模型

打開您的終端機 (Terminal),根據您的需求輸入以下指令來下載模型檔案。此過程需要一些時間,取決於您的網路速度。

下載 20B 模型:
ollama pull gpt-oss:20b

下載 120B 模型:
ollama pull gpt-oss:120b

步驟三:運行模型並開始對話

模型下載完成後,直接在終端機輸入以下指令即可開始與模型互動:

運行 20B 模型:
ollama run gpt-oss:20b

運行 120B 模型:
ollama run gpt-oss:120b

除了上述方法,gpt-oss 模型也得到了業界各大平台和硬體廠商的廣泛支援,包括 Azure、Hugging Face、vLLM、LM Studio、AWS、Databricks、Vercel 和 Cloudflare 等。此外,微軟也特別為 Windows 系統提供了 gpt-oss-20b 的 GPU 優化版本,可透過 ONNX Runtime 在本地進行推理。

更多內容:

  • OpenAI 時隔六年再發開放權重模型 gpt-oss-120b 和 gpt-oss-20b

  • gpt-oss 登場

  • OpenAI 的 Open model

  • openai/gpt-oss (Github)

  • openai/gpt-oss-20b (Hugging Face)

  • openai/gpt-oss-120b (Hugging Face)

  • DeepSeek 教學 | DeepSeek R1 PC 安裝教學,離線 AI 任用更安全!(附下載連結)

  • DeepSeek 教學 | iPhone 離線使用 DeepSeek R1 AI,免費、安全、無限量!

  • DeepSeek 教學 | DeepSeek R1 macOS 安裝教學,M1 Mac 已經夠用?

緊貼最新科技資訊、網購優惠,追隨 Yahoo Tech 各大社交平台!

🎉📱 Tech Facebook:https://www.facebook.com/yahootechhk

🎉📱 Tech Instagram:https://www.instagram.com/yahootechhk/

🎉📱 Tech WhatsApp 社群:https://chat.whatsapp.com/Dg3fiiyYf3yG2mgts4Mii8

🎉📱 Tech WhatsApp 頻道:https://whatsapp.com/channel/0029Va91dmR545urVCpQwq2D

🎉📱 Tech Telegram 頻道:https://t.me/yahootechhk



文章來自: https://tw.news.yahoo.com/%E5%AE%B6%E7%94%A8%E9%9B%BB%E8%85%A6%E9%83%A8%E7%BD%B2-o4-mini-%E7%B4%9A-g
文章標籤
全站熱搜
創作者介紹
創作者 lennoxvaldehs 的頭像
lennoxvaldehs

lennoxvaldehs的部落格

lennoxvaldehs 發表在 痞客邦 留言(0) 人氣(0)