トップ 一覧 検索 ヘルプ RSS ログイン

tips-llama_cppの変更点

  • 追加された行はこのように表示されます。
  • 削除された行はこのように表示されます。
!! llama.cpp with python
*https://note.com/npaka/n/n0ad63134fbe2#f7b2b26c-a55c-429b-922a-80af703601ef
*https://news.mynavi.jp/techplus/article/zeropython-106/

 # source ./setenv_python311
 # python3.11 -m venv 00venv00
 # source ./00venv00/bin/activate
 # pip3.11 install --upgrade pip setuptools
 
 ##########################################################################
 # git clone https://github.com/ggerganov/llama.cpp
 # make
 # $ ./main -m ./models/llama-2-7b-chat.ggmlv3.q4_K_M.guu --temp 0.1 -p "### Instruction: What is the height of Mount Fuji?  ### Response:"
 # pip3 install --upgrade --force-reinstall llama-cpp-python --no-cache-dir

 ##########################################################################
 ## python3 -m pip install -U llama-cpp-python
 #
 #### codellama-7b-python.ggmlv3.Q5_K_M.bin
 ## https://huggingface.co/TheBloke/CodeLlama-7B-Python-GGML/tree/main/codellama-7b-python.ggmlv3.Q5_K_M.bin
 ## https://huggingface.co/TheBloke/CodeLlama-7B-Python-GGML/tree/main/
 # Chat
 ## https://huggingface.co/TheBloke/Llama-2-13B-chat-GGUF/tree/main
 ## https://huggingface.co/TheBloke/Llama-2-13B-chat-GGUF/blob/main/llama-2-13b-chat.Q5_K_M.gguf

 ##########################################################################
 # does not work ggml ........
 ## CONVERT ggml to gguf
 ##  python3.11 ./llama.cpp/convert-llama-ggml-to-gguf.py --input ./codellama-7b-python.ggmlv3.Q5_K_M.bin --output ./codellama-7b-python.ggmlv3.Q5_K_M.gguf