首页 > 编程知识 正文

人工智能自然语言处理视角,自然语言处理与机器学习论文分享

时间:2023-05-04 16:22:03 阅读:182089 作者:1621

自然语言处理NLP星空智能对话机器人系列: Faiss Tutorial

Faiss是一个用于高效相似性搜索和密集向量聚类的库。 Faiss包含可以搜索任意大小的向量集的算法,可能不适用于RAM中的向量集。 Faiss还包括用于评估和参数调整的支持代码。 Faiss用c写,带有Python/NuMPy的完整软件包。 一些最有用的算法已在GPU中实现。 Faiss是由Facebook人工智能研究所开发的。

Faiss包括几种相似性搜索方法。 实例表示为向量,由整数标识,并假设向量可与L2(lhdsj )距离或点积进行比较。 与查询向量相似的向量是与查询向量的距离或最高乘积最低的向量。 它还支持余弦相似性。 因为这是标准化向量上的点积。

大多数方法(如基于二进制向量和压缩量化码的方法)只使用向量的压缩表示,而不必保留原始向量。 虽然这通常以更不准确的搜索为代价,但是这些方法可以在一个服务器上扩展到主存储器中的几十亿个矢量。

GPU实现可以接受来自CPU或GPU存储器的输入。 使用GPU的服务器可以使用GPU索引代替CPU索引(例如,用GpuIndexFlatL2替换IndexFlatL2),并自动处理与GPU内存的副本。 但是,如果输入和输出都驻留在GPU上,结果会更快。 支持单GPU和多GPU的使用。

installingfaiss https://github.com/Facebook research/faiss/wiki/installing-faiss

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。