在本地運行 TAIDE 模型
大家好,今天來跟大家分享如何使用 Ollama 來運行國科會推出的 TAIDE 語言模型。
首先,先在電腦上安裝 Ollama。你可以參考 Ollama 官網上面的指示下載並安裝。
您可以在 Terminal 上輸入:
ollama --version
以確認 Ollama 已正確安裝。
接著可以到 Taide 的 Hugging Face 下載語言模型的 GGUF 檔案。並在 GGUF 檔案同層的目錄裡建立一個名為 Modelfile 的文件:
touch Modelfile並在 Modelfile 文件裡面加上一行:
FROM ./{ GGUF 檔案名稱 }接著,在 Ollama 上創建,並且運行這個模型:
ollama create taide -f ./Modelfileollama run taideollama run taide