Llama2 建構部署的相關過程

macOS 作業系統

#meta llama2模型下載

#先用git clone整個repository
!git clone https://github.com/facebookresearch/llama.git


#下載權重跟模型

#方法一:
# https://llama-2.ai/download/

#方法二:
# https://ai.meta.com/resources/models-and-libraries/llama-downloads/

# 填寫資料後會發信提供下載時需填的資訊(這個資訊只能使用24hours，之後要下載必須再申請)

# cd ./llama/;./download.sh

# 執行後會需要輸入信裡的資訊/選擇模型，開始下載，大約需要80分鐘
# 結束後會產生 ./llama/llama-2-7b-chat 目錄，其下是一些檔案
# 以及 ./tokenizer_checklist.chk  ./tokenizer.model
# 需要把上面那兩個檔案複製進  ./llama/llama-2-7b-chat 目錄內

# 將 meta 提供的 .pth(pytorch 轉換為 hugging face 規格)
# 可以先上 https://huggingface.co/ 註冊，以及提供公鑰，稍晚下載時會需要

# 要這樣轉換是因為 huggingface發展了共用規格，多數應用使用這種格式


!pip install torch fairscale fire sentencepiece
!pip install llama-recipes transformers datasets accelerate protobuf==3.20 py7zr scipy peft bitsandbytes

!TRANSFORM=`python -c "import transformers;print('/'.join(transformers.__file__.split('/')[:-1])+'/models/llama/convert_llama_weights_to_hf.py')"`

!python ${TRANSFORM} --input_dir /Users/luke/workspace/AI_Correlation/llama/llama-2-7b --model_size 7B --output_dir ../models_hf/llama-2-7b

#下載中研院 CKIP-Llama 模型 (因 LLM 在地化爭議目前已關閉)

#https://huggingface.co/ckiplab/CKIP-Llama-2-7b-chat/

!cd ./models_hf
!brew install git-lfs

!git lfs install
!git clone https://huggingface.co/ckiplab/CKIP-Llama-2-7b-chat

# if you want to clone without large files – just their pointers
# prepend your git clone with the following env var:

!GIT_LFS_SKIP_SMUDGE=1

其他可參考: 

https://github.com/ckiplab/CKIP-Llama-2-7b (因 LLM 在地化爭議目前已關閉)
或是加入

https://huggingface.co/spaces/yentinglin/Taiwan-LLaMa2

http://chat.twllm.com/

https://www.facebook.com/groups/290103150640341/