TextLDM将视觉领域的潜在扩散模型成功迁移至文本生成。该方法采用基于Transformer的VAE将离散词元映射为连续潜在表示，并通过表征对齐技术使其与冻结的预训练语言模型特征对齐，以提升条件去噪效果。随后，标准扩散Transformer在此潜在空间内执行流匹配。核心突破在于获得了高质量的连续文本表示：仅重建保真度不足，而与预训练模型对齐对生成质量至关重要。在OpenWebText2上训练后，TextLDM显著超越了之前的扩散语言模型，并达到了GPT-2的性能水平，证明视觉DiT方案能有效迁移至语言领域。