在本機Python中執行Llama 2與其他開源大型語言模型

Llama 2 Ollama • • 作者:

Llama 2安裝有兩種方式:官方指南和Ollama工具。官方方法容易出錯，需手動安裝NCCL套件。Ollama則簡單易用，支援多平台，只需下載安裝後執行指令即可在終端機或Python中使用Llama 2。

安裝 Llama 2

方法1. 使用官方指南安裝 Llama 2

Meta官方提供的Llama 2安裝方法很容易出錯，你需要先在Meta的網站上申請權限，然後執行Git Repository中的shell腳本來下載模型。當你嘗試執行模型時，可能會遇到以下錯誤：

UserWarning: Attempted to get default timeout for nccl backend, but NCCL support is not compiled
warnings.warn(
“Attempted to get default timeout for nccl backend, but NCCL support is not compiled”)

解決方法是到Nvidia的頁面手動下載 NCCL套件，並依照文件上的方法安裝，但我的Mac M2走到這裡就卡住了。

方法2. 使用Ollama安裝Llama 2

Ollama是一個LLM(大型語言模型)的安裝與管理工具，讓你在macOS、Linux和Windows上都能夠輕鬆的安裝LLM。

步驟1. 下載並安裝Ollma

步驟 2. 下載Llama 2

成功安裝Ollama後，你可以使用以下指令下載Llama 2模型。記得更換成你需要的模型版本。

ollama pull llama2:13b-chat

步驟 3. 在Terminal中執行Llama 2

安裝完畢後，只需執行以下指令就能在Terminal使用Llama 2。

在Python中執行Llama 2

上面的方法是不是超簡單！在Python中使用Llama 2也同樣輕鬆寫意，你唯一需要做的事情就是用pip安裝Ollama，沒了。

pip install ollama

完成後就能夠在Python中開心測試Llama 2。

import ollama
response = ollama.chat(model='llama2', messages=[
    {
        'role': 'user',
        'content': 'Why is the sky blue?',
    },
])
print(response['message']['content'])

🚀 以每年 5 美元解鎖無廣告體驗

✓ 14 天免費試用 ✓ 隨時取消

Must Read

在〈在本機Python中執行Llama 2與其他開源大型語言模型〉中有 29 則留言

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *