跳到主要內容

LLM提示詞

其實我對 prompt engineering 有些負面的看法,而且當我使用 #bard 或 #chatgpt 時,從來不會使用多餘的提示詞,提示詞的用法跟人類世界裡,討好人的那種語調很相似,但如果從LLM的工程系統裡來說,提示詞讓模型可以快速分類,聚焦找到精準的字詞機率 提示詞的需要,來自於推論引擎的不完美,模型無法精確理解,輸入字詞的精準含義,所以才需要人去特別提示它,讓他很快地切換知識的分支,而不是用猜測的方式去找到答案 所以...我看了這個影片,也跟對LLM同好分享 https://www.youtube.com/playlist?list=PLly8vI0gpqtpTB7mt_qi57qOKQRo4XWAQ

留言

這個網誌中的熱門文章

怎麼在網路上註冊成為youbike 會員?

新版官網請參考  怎麼在網路上註冊成為youbike 會員?   http://rd-program.blogspot.tw/2014/04/youbike.html 網路的申請步驟類似,下面將以網路申請來說明申請步驟:申請的時候需要準備悠遊卡、或晶片信用卡,以及手機門號。 1. 請先登入ubike網址: http://www.youbike.com.tw/ ,登入後選擇【正體中文】,要選英文也可以啦! 2. 在螢幕的右上角選擇【註冊】。 3.點擊【開始註冊】。 4. 點擊【同意】。(沒有其他選擇?) 5. 輸入您的【手機號碼】以及【認證碼】,然後按【送出】。這時候手機會收到ubike傳來的簡訊,通之驗證碼,有四個阿拉伯數字。 6. 輸入帳號(手機號碼)、驗證碼(ubike傳到手機的簡訊)、密碼,然後按【下一步】。 7. 還沒完成喔!這裡告訴你如何租車及還車的步驟。把螢幕拉到最下面,記得勾選【我已清楚瞭解租還車步驟】,然後按【下一步】。 8. 選擇悠遊卡或是晶片信用卡,然後輸入卡片號碼,卡片號碼請參卡畫面又下方的提示位置,請注意有些卡號可能已經模糊不清,可能無法輸入。每隻手機不只可以輸入一個卡號。 9. 填寫個人姓名及Email帳號,如果不想收到相關訊息就把前面的打勾取消。按【確認】按鈕。 10. 恭喜您註冊成功,可已開始使用YouBike了。

Youbike 線上註冊會員

Youbike 線上註冊會員 https://www.youbike.com.tw/cht/f61.html youbike sitemap   網站內容快速連結  場站地圖 場站列表 服務中心資訊 預計設站地點 媒體報導 活動情報 緊急通知 營運資訊 營運成果 關於YouBike 大事記 設備介紹 租還方式 費率說明 安全騎乘 分類列表 失物招領 YouBike協尋 加入會員 會員資料管理 YouBike電子報 騎乘記錄查詢 合作夥伴 友站連結 一般文件 APP 隱私權政策 連絡我們

Llama2 建構部署的相關過程

macOS 作業系統 #meta llama2模型下載 #先用git clone整個repository !git clone https://github.com/facebookresearch/llama.git #下載權重跟模型 #方法一: # https://llama-2.ai/download/ #方法二: # https://ai.meta.com/resources/models-and-libraries/llama-downloads/ # 填寫資料後會發信提供下載時需填的資訊(這個資訊只能使用24hours,之後要下載必須再申請) # cd ./llama/;./download.sh # 執行後會需要輸入信裡的資訊/選擇模型,開始下載,大約需要80分鐘 # 結束後會產生  ./llama/llama-2-7b-chat 目錄,其下是一些檔案 # 以及 ./tokenizer_checklist.chk  ./tokenizer.model # 需要把上面那兩個檔案複製進  ./llama/llama-2-7b-chat 目錄內 # 將 meta 提供的 .pth(pytorch 轉換為 hugging face 規格) # 可以先上 https://huggingface.co/ 註冊,以及提供公鑰,稍晚下載時會需要 # 要這樣轉換是因為 huggingface發展了共用規格,多數應用使用這種格式 !pip install torch fairscale fire sentencepiece !pip install llama-recipes transformers datasets accelerate protobuf==3.20 py7zr scipy peft bitsandbytes !TRANSFORM=`python -c "import transformers;print('/'.join(transformers.__file__.split('/')[:-1])+'/models/llama/convert_llama_weights_to_hf.py')"` !python ${TR