支持通配符SSL证书、多域名证书、IP证书。适配ACME接口, 支持Zerossl、Let's Encrypt和Google等渠道。登录已有账号
2026-10-27 12:36:05 3D高斯泼溅 CT重建 体渲染 可微分渲染
上回我聊过体渲染那条路,这回接 3D 高斯泼溅(3D Gaussian Splatting,下面就叫 3DGS)。结论我摆前面:它确实让我那个卡在个位数帧率的 CT 预览页转得动了,但它顶替的不是重建,是渲染。这两件事我曾经混着想,绕了一大圈才拆开。
需求很小。科里几位老师想随手看自己的 CT 序列,不愿意开工作站,我就搭了个内网网页查看器,喂进去的是脱敏后的演示数据。DICOM 序列读进来,体数据取出来,浏览器里拿 ray casting 做体渲染,鼠标一拖就掉帧。慢的一直是逐光线采样。
我的第一反应是去找个更快的重建算法。这就是那个误判。
3DGS 是 2023 年 Kerbl、Kopanas、Leimkühler、Drettakis 的工作,收在 SIGGRAPH 对应的 ACM Transactions on Graphics 七月刊上,Inria 和 Côte d'Azur 大学的团队主导,马普所那边也出了人。论文做的是自然场景,跟医学成像没关系。
场景被写成一大堆带参数的小椭球。一个基元大致长这样。
{
"position": [x, y, z],
"scale": [sx, sy, sz],
"rotation": [qw, qx, qy, qz],
"opacity": 0.0,
"sh_coefficients": [["c0", "c1", "..."]]
}
位置 p、不透明度 α、协方差 Σ,外加以球谐系数表示的颜色,就是这几项。协方差不直接优化,拆成缩放向量加旋转四元数,为的是保证半正定。颜色是视角相关的,靠球谐推出来,所以「一个高斯存一个 RGB」这种说法不准确。
渲染那边把画面切成 16×16 的 tile,视锥外的先扔掉,然后按深度对 tile 内的高斯做一次 GPU radix 排序,前向从前往后合成,α 攒到接近不透明就截断,反向传播再倒着走一遍。整条路上没有神经网络参与推理。
NeRF 慢在哪里?它每条射线都要取一堆采样点,每个点问一次 MLP。3DGS 的属性是显式的,能排序、能按 tile 光栅化。速度差是结构性的,不是调参调出来的。泼溅(splatting)这个词在体渲染里本来就有老传统,高斯核加权重采样不算它的新发明,这条我只核到定性结论,年份不硬写。

训练中途它自己加减密度,论文叫自适应密度控制:结构欠拟合的地方按梯度方向克隆,椭球太胖的分裂成两个再缩放,α 低到基本透明的清走,隔若干步做一次。官方仓库里最值钱的那块是 CUDA 写的可微光栅化扩展,社区一般叫它 diff-gaussian-rasterization。
代价别藏着。显存峰值随基元数量涨,训练时的占用明显比推理高;导出的模型文件从几十 MB 到几百 MB 都常见,比 NeRF 那点权重体面得多;视角一稀疏,画面里就多漂浮物和针状伪影;训练还是要 GPU。帧率和时长我不写数字,本机没有能跑的显卡环境,也没装 ITK、VTK,这次梳理停在论文和文档层面。
重建是另一件事:从设备采到的投影数据,反回体素上的衰减系数。FBP 是解析法,先对每条投影做滤波,再反投影叠加,一趟算完,快,但怕噪声、怕投影数少。迭代重建(IR)把问题写成前向模型加残差修正,ART、SIRT 这类代数法一路迭代逼近,带统计模型的还考虑噪声分布,慢,低剂量下更稳。两条路的产物都是体数据,不是画面。
3DGS 给的是给眼睛看的颜色,它不懂光子物理。CT 投影是 X 线沿路径的衰减积分,线性、单能近似,数值落到 HU 才有意义,肺、骨、软组织那些读数是可解释的,医生要靠它诊断。它的视角天生稀疏,经常有限角,几何还可能是扇束,剂量这条红线不允许你想补几张投影就补。自然场景「绕着拍一百张」的前提,在这儿一条都不成立。
要真把它接到 CT 上,不透明度和颜色得重新解释成衰减相关的量,前向模型也得改。按我自己的理解,这类工作目前属于研究性适配,我更愿意把它看成显示层的一个候选表示,而不是 FBP 或 IR 的替代者。谁要是写它「已广泛用于临床」,那我没查到,也不会跟着说。
那它到底帮了我什么?
我试的那条路,是拿已经重建好的体数据当输入去拟合一组基元,让浏览器只承担泼溅这层活。体数据在客户端逐层采样太重,换成固定基元加一次排序合成,交互就轻了。这是渲染层的收益,跟像素有没有医学含义无关。看解剖我照样回原来那份体数据,它只当预览。
服务只在内网跑,真实病人影像我一次都没往公网放过。麻烦在入口:一台机器挂裸 IP,lab 域名下又散着七八个子域。以前手动塞证书,到期那天页面直接变成「您的连接不是私密连接」,同事以为服务崩了,其实是我忘了续。后来用 lcjmSSL 把泛域名和 IP 证书一次配齐,它背后是 Let's Encrypt、Google Trust Services 这些公共 CA,再靠轻量 API 把申请、验证、部署挂成自动流程,到期前自己换掉。这种小事真不该占人脑子。
现在我的分工很清楚。FBP 或 IR 负责把投影变成体数据,3DGS 负责让体数据在浏览器里转得动,中间那层不是替代,是接力。
下一步我想把自适应密度控制放到稀疏视角下重想一遍:克隆和分裂在有限角条件下会不会一路往漂浮物上堆。这问题我没答案,等我真跑起来再说。