LN-llama-cpp-python

  llama-cpp-python を Leap にインストール

• https://qiita.com/kansou/items/58aff8b89ee999306141

メモ

llama.cpp を python で使うツール

pip3 install llama-cpp-python
で インストールするとエラー(g++のエラー)でインストールに失敗する
原因は g++ のバージョンが 7 ではコンパイルに失敗する
ので gcc のバージョンを上げて(gcc13 をインストールして）対応したい

gcc 13 をインストール
zypper install gcc13 gcc13-c++ gcc13-PIE libstdc++6-devel-gcc13  

はじめに
CC=gcc-13 CPP=g++-13 \
CMAKE_ARGS="-DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS" \
pip install --upgrade llama-cpp-python \
--extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cpu 
でもだめ。。
( なので )

export CC=gcc-13
export CXX=g++-13
env CC=gcc-13 CPP=g++-13 \
CMAKE_ARGS="-DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS" \
pip install --upgrade llama-cpp-python \
--extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cpu 

でコンパイルが通ってインストール完了。。

Ray を使って高速化？？してみたい