macOS 作業系統 #meta llama2模型下載 #先用git clone整個repository !git clone https://github.com/facebookresearch/llama.git #下載權重跟模型 #方法一: # https://llama-2.ai/download/ #方法二: # https://ai.meta.com/resources/models-and-libraries/llama-downloads/ # 填寫資料後會發信提供下載時需填的資訊(這個資訊只能使用24hours，之後要下載必須再申請) # cd ./llama/;./download.sh # 執行後會需要輸入信裡的資訊/選擇模型，開始下載，大約需要80分鐘 # 結束後會產生 ./llama/llama-2-7b-chat 目錄，其下是一些檔案 # 以及 ./tokenizer_checklist.chk ./tokenizer.model # 需要把上面那兩個檔案複製進 ./llama/llama-2-7b-chat 目錄內 # 將 meta 提供的 .pth(pytorch 轉換為 hugging face 規格) # 可以先上 https://huggingface.co/ 註冊，以及提供公鑰，稍晚下載時會需要 # 要這樣轉換是因為 huggingface發展了共用規格，多數應用使用這種格式 !pip install torch fairscale fire sentencepiece !pip install llama-recipes transformers datasets accelerate protobuf==3.20 py7zr scipy peft bitsandbytes !TRANSFORM=`python -c "import transformers;print('/'.join(transformers.__file__.split('/')[:-1])+'/models/llama/convert_llama_weights_to_hf.py')"` !python ${TR...