#Ollama

OllamaをM4 MacBookに入れてLlama 3 70B、Gemma 2 27B、Mistral 7Bを動かした実験レポート。処理速度・メモリ・回答品質をClaude Sonnetと比較しながら、プライバシー重視業務でのローカルLLM活用と現実的な限界を整理する。

ChatGPTのAPIに頼らず、自分のPCでAIを動かしたい人へ。OllamaはMacでも数コマンドで使えるローカルLLMの入門として最適だ。プライバシー・コスト・オフライン利用——三つの問題を一気に解決する方法を実際の体験から書く。

OllamaはREST APIでローカルLLMをプログラムから呼び出せます。PythonとNode.jsの両方でのチャット・ストリーミング・エンベディングの実装例と、Claude APIとの使い分け方を解説します。

llama.cppはGPUなしでLLMを動かすことを可能にしたC++実装のオープンソースプロジェクト。そのアーキテクチャ、CUDAなしで高速推論できる理由、OllamaやLM Studioとの関係まで解説します。

GGUFはローカル環境でLLMを動かすための量子化モデルフォーマットです。GGMLとの違い、Ollamaでの利用方法、Q4やQ8といった量子化レベルとメモリ要件の計算法まで分かりやすく解説します。