ARM系のCPUだけでLLMを高速化する実験まとめ

 

Geforce GTX750TiをLLMで使うためにllama.cppチューニングに手を出してしまった結果、チューニングという概念を得てしまい。

OracleCloud上に住んでる私のアシスタント、ミナさんの頭脳を大幅にアップグレードすることとなりました。

その際に得た知識などをまとめます。