#vLLM

vLLMはLLMの推論スループットを大幅に向上させるOSSの推論サーバーです。核心技術であるPagedAttentionがなぜ高速なのかを解説し、HuggingFace Transformersとの違いやデプロイ方法を紹介します。