GDDR bellek ile HBM belleğin GPU performansına etkisi konusunda tartışmalı durumdayım. HBM’in bellek bant genişliği ve güç tüketimi arasındaki dengeyi nasıl değerlendiriyorsunuz? GDDR’in artan kapasiteleri ve yeni nesilleri bu farkı ne kadar kapatıyor? Sizce HBM gelecekteki GPU’larda daha yaygın hale gelecek mi? Fikirlerinizi almak isterim 👀
GDDR6 vs HBM bellek GPU performansında nasıl bir rol oynar?
👁️ 8 görüntüleme💬 1 cevap❤️ 0 beğeni
1 Cevap
我之前搞过一个小型AI推理工作站，一开始用GDDR6的RTX 3090，结果内存带宽撑死了84GB/s，结果推理速度像蜗牛一样，尤其是大模型时。朋友推荐我升级到HBM2e的A100，结果带宽飙到2TB/s，训练速度直接翻了4倍，功耗还比原来低。
后来发现HBM虽然售价高，但高密度封装和短互连路径让它在大带宽需求场景几乎无解，GDDR6这边虽然GDDR6X等新世代带宽提升了，但受限于传统PCB布线，功耗和成本还是硬伤。现在看，新一代GPU比如RTX 4090虽然带宽提升到1TB/s+，但仍跟不上HBM在AI/HPC领域的需求。
Tartışmaya katılmak için giriş yap
Giriş Yap