[vllm]kernels分析

vllm的csrc目录下包含多个手动实现的核函数，专注于不同部分的优化与效率提升。本分析将深入探讨这些核函数的实现与用途。激活函数类核函数主要集中在csrc/activation_kernels目录，这里包含如silu和gelu等常用的激活函数。它们通过融合运算以提高计算效率。在csrc/attention目录下，sq_kv_attention函数被实现，...

AttentionMask Kernels解析：对输入按照mask掩码置值，普通mask直接置为maskv，而Alibimask则是置为相对位置的值之和。具体含义可能涉及空间上的概念，但文中未详细说明。swiglu kernels解析：作为激活函数，这些kernel在原地操作中执行常见函数，线程足够使用，直接按照公式计算即可。综上所述，fastllm中CUDA-...

vLLM, developed at UC Berkeley, redefines LLM service efficiency with PagedAttention. This technology boosts throughput by 24 times compared to HuggingFace Transformers without altering the model architecture, implemented in Python/C++/CUDA.At the heart of vLLM lies PagedAttention, addressing...

在vLLM社区中，有一份非常实用的 ncu profile 教程，通过分析和优化，将一个 block 使用的 query 读入 shared memory 缓存中。这种优化策略进一步提高了吞吐量，达到约34%的提升。