#GGUF

GGUFはローカル環境でLLMを動かすための量子化モデルフォーマットです。GGMLとの違い、Ollamaでの利用方法、Q4やQ8といった量子化レベルとメモリ要件の計算法まで分かりやすく解説します。

LLMを軽量化する量子化技術（INT8・INT4・GPTQ・GGUF・AWQ）の違いを解説。精度とサイズのトレードオフ、用途ごとの選び方まで実践的にまとめる。