芯展速在WAIC 2026展出了AI90软硬件一体化AI推理加速方案。该方案将高性能SSD纳入GPU显存体系，形成HBM、DRAM与SSD的三级存储体系，旨在优化AI推理性能。
据悉，该方案可将首Token延迟缩短至原来的1/50，吞吐量提升5.1倍，并节省39%的显存。结合其智能P2P多卡互联技术，能使8卡NVIDIA GeForce RTX 5090集群的推理速度提升5.8倍，并支持超过128K的上下文长度。
为应对方案中KV Cache卸载带来的高写入负载，芯展速同步推出了PT200Z AI SSD。这款SSD基于pSLC闪存介质，采用PCIe Gen5接口，具有极高的耐用性和性能，其顺序读取速度达14.8GB/s，随机读取速度达3100K IOPS，读取和写入延迟分别低至54微秒和10微秒。
