LN-llama-cpp-pythonの変更点

• 追加された行はこのように表示されます。
• 削除された行はこのように表示されます。

!! llama-cpp-python を Leap にインストール

*https://qiita.com/kansou/items/58aff8b89ee999306141


メモ
 llama.cpp を python で使うツール

 pip3 install llama-cpp-python
 で インストールするとエラー(g++のエラー)でインストールに失敗する
 原因は g++ のバージョンが 7 ではコンパイルに失敗する
 ので gcc のバージョンを上げて(gcc13 をインストールして）対応したい

 gcc 13 をインストール
 zypper install gcc13 gcc13-c++ gcc13-PIE libstdc++6-devel-gcc13  

 はじめに
 CC=gcc-13 CPP=g++-13 \
 CMAKE_ARGS="-DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS" \
 pip install --upgrade llama-cpp-python \
 --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cpu 
 でもだめ。。
 ( なので )

 export CC=gcc-13
 export CXX=g++-13
 env CC=gcc-13 CPP=g++-13 \
 CMAKE_ARGS="-DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS" \
 pip install --upgrade llama-cpp-python \
 --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cpu 

 でコンパイルが通ってインストール完了。。

Ray を使って高速化？？してみたい