LLM on moyutianzun's blog

CUDA profile 大全 —— nsight computer & nsys & pytorch

Mon, 20 Oct 2025 15:18:01 +0800

Cuda API

创建对象：

#include <cuda_runtime.h>
#include <cuda.h>
#include <iostream>
#include <string>
// 获取当前机器的GPU数量
cudaError_t error_id = cudaGetDeviceCount(&deviceCount);
for (int dev = 0; dev < deviceCount; ++dev) {
cudaSetDevice(dev);
// 初始化当前device的属性获取对象
cudaDeviceProp deviceProp;
cudaGetDeviceProperties(&deviceProp, dev);
printf("\nDevice %d: \"%s\"\n", dev, deviceProp.name);</code></pre><p style=""></p><p style="">拿到数据后可以查看对应feature</p><pre><code>printf(" Total amount of shared memory per block: %zu bytes\n", deviceProp.sharedMemPerBlock);

printf(" Total shared memory per multiprocessor: %zu bytes\n", deviceProp.sharedMemPerMultiprocessor);
printf(" Total number of registers available per block: %d\n", deviceProp.regsPerBlock);
printf(" Warp size: %d\n", deviceProp.warpSize);
printf(" Maximum number of threads per multiprocessor: %d\n", deviceProp.maxThreadsPerMultiProcessor);
printf(" Maximum number of threads per block: %d\n", deviceProp.maxThreadsPerBlock);
printf(" Max dimension size of a block size (x,y,z): (%d, %d, %d)\n", deviceProp.maxThreadsDim[0], deviceProp.maxThreadsDim[1],
deviceProp.maxThreadsDim[2]);
printf(" Max dimension size of a grid size (x,y,z): (%d, %d, %d)\n", deviceProp.maxGridSize[0], deviceProp.maxGridSize[1],
deviceProp.maxGridSize[2]);

PD分离 —— Prefix Cache和Chunk Prefills

Mon, 29 Sep 2025 09:53:22 +0800

目前推理框架基本上都需要用到多轮对话的场景，自然产生了kv cache的存储和索引算法。如果能把prompt和后续产生的KV Cache保存下来，会极大地降低首Token的耗时。

目前使用最多的就是两个技术方案，一个是SGLang推出的RadixAttention的Prefix Cache，另一个是vllm原生的Chunk Prefills。当然vllm也兼容了Prefix Cache，这两个技术只能用一个，vllm默认是Chunk Prefills，可以通过加入参数--enable-prefix-caching来开启，这里不谈TensorRT-LLM是因为其不完全开源。

算子进阶 —— 通信算子

Mon, 22 Sep 2025 09:00:54 +0800

随着LLM业务的不断发展，我们发现单机单卡无法承载一个模型的训练和推理，故此出现了单机多卡和多机多卡的训练推理算子，这时候每个机和卡之间都需要通信，所以通信算子十分的重要。

分布式并行

下面是传统的四种并行处理架构，常用于大模型训练。

DP

每张卡拷贝相同的模型结构，仅对数据做切分。每张卡计算完的梯度也是针对各自数据的，需要做一次allreduce，然后使用优化器更新模型，进入下一次迭代。

算子进阶 —— 通算融合

Fri, 19 Sep 2025 08:16:51 +0800

（施工ing）

概述

我们知道，算子的作用是计算，那在整个体系中，我们的核心目标是拉满GPU的利用率。

在现代分布式体系中，多GPU之间同时存在着计算、内存访问和通信这三种基本活动，为了服务于我们的核心目标，我们需要尽可能的将通信时间和访存时间放在计算时间内，使得GPU不存在运算时间的泡泡。

大模型分布式系统执行的核心组件是并行的GPU。提升GPU运算的最佳方法，是通过计算与通信的重叠来实现。这种重叠可以通过两种方式达成：算子分解或通信内核融合。虽然算子分解实现起来简单，但往往导致性能欠佳。而将通信内核与计算内核融合，则需要更多的思考和计算。

故此最原始的想法就是用计算时间掩盖通信时间，通过大批量的数据直接发送到GPU，减少kernel开启和关闭、通信的开销。

Triton-distributed

Triton-distributed是字节seed团队开发的Triton 编译器的扩展。对于 LLM 来说，分布式优化的关键要求是计算通信重叠。以前，在小规模分布式训练/推理中，通信开销并不是一个关键的成本问题。然而，随着集群数量呈指数级增长，计算与通信重叠变得至关重要。

AMD 2025 分布式推理算子优化挑战赛 —— lect 9/16 note

Fri, 19 Sep 2025 02:57:25 +0800

ROCm 入门

首先就是amd官方的命名跟nv的区别，其实区别并不大，只是AMD在cuda的基础上做了更多的优化，比如说一个wavefront有64个work-item，相当于一个warp有64个threads。其次就是有两种register，在

Triton is all you need —— Triton 源码、编译和调试

Thu, 18 Sep 2025 07:35:21 +0800

（施工ing）

include日录主要存放了编译器核心功能的.h头文件，提供约定和规范

lib是.c和.cpp，主要是功能的实现，和include一一对应

AI编译器 —— 笔记

Thu, 11 Sep 2025 09:00:18 +0800

challenge

新模型
- 新module出现，需要对应算子进行计算，还需要结合硬件进行特性优化和测试，尽量充分发挥硬件性能
- 硬件厂商还会发布新技术的加速计算库
- 专用加速芯片爆发导致性能可移植性成为一种刚需
不同厂商的ISA不尽相同
- 一般缺乏如GCC、LLVM等编译工具链，使得针对CPU和GPU已有的优化算子库和针对语言的优化Pass很难短期移植到NPU上