62
AI 摘要
Google提出一种AI记忆压缩技术,可将1000万个文档的向量存储从31GB内存压缩至仅4GB,且搜索速度超过目前最常用的FAISS方法。该技术使本地运行大语言模型并结合个人数据变得更加可行。
Google的研究找到了一种把 AI记忆大幅压缩的技术,让本地跑大模型 + 自己数据变得更容易了。
也就是说可以把 1000 万个文档 的向量存储,从 31GB 内存 压缩到只剩 4GB,而且搜索速度还比现在最常用的 FAISS 更快。
http://x.com/i/article/2060717603987791878