首页 > 编程知识 正文

全文搜索引擎的工作原理,百度搜索引擎工作原理

时间:2023-05-04 06:06:20 阅读:143137 作者:2271

什么是搜索引擎?搜索引擎一般分为大检索和垂直检索。 其中包括谷歌、百度、Sogou、神马和最近活跃的夸克。 垂直搜索包括电子商务搜索(淘宝、天猫、京东、拼多多等)、当地生活搜索(美团、饿鬼等)等各领域门户网站的搜索引擎

从20世纪90年代初期的发展至今,搜索引擎充斥着生活的方方面面,现已发展成为人人离不开的重要工具,但搜索引擎又经历了怎样的发展历程呢? 涉及到什么技术? 有几个中心问题吗? 你如何评价搜索引擎的好坏? 今天我们来整理一下系统,什么是搜索引擎。

搜索引擎是各类搜索平台使用特定的脚本和程序从互联网上收集内容生产者的信息,对信息进行清洗、处理、组织、集成后存储在平台索引系统中,内容消费者有一定的用户需求

3358www.Sina.com/:包括网上各网站、文章,全网内容生产者:大搜索平台、垂直搜索平台平台

全文搜索引擎有比较基础的lucene系统,solr和ElasticSearch都是基于lucene的二次封装提供的分布式全文搜索引擎,各大厂商也对solr和ElasticSearch进行了很多优化和修改当然,随着技术的更新和业务的发展,许多大制造商也是独立的

主流矢量检索方法有Faiss、Brute Force、KD-Tree、KNN Graph、LSH、Product Quantization等。 不同的方法具有不同的应用场景,例如,Brute Force适合于小数据量,KD-Tree适合于20维以下的数据,PQ适合于中高维数据降维。 根据数据集和数据的分布,可能需要组合几种方法来获得更好的结果。 目前,矢量搜索引擎主要用于内容消费者等场景。

搜索引擎分为从技术上全文检索引擎等模块。 本文不详细说明。 稍后我们将详细讨论这些模块。 概要如下。

当今,随着大数据时代的成熟和人工智能时代的蓬勃发展,搜索引擎也面临着一些重要的核心问题。

一、用户需要什么? 用户在搜索引擎上输入的query词比较短,根据笔者这几年做搜索引擎的经验,用户的query查询评价长度在2.7个词左右。向量检索引擎

但是在实际的搜索场景中,即使是同一个query词,不同的用户的需求和目的也不一样。 举个例子吧。 在教育课程的检索领域,小学老师输入“数学”,中学老师输入“数学”。 他们希望的课可能不是同学。 那么如何识别这种不同的需求也是搜索引擎需要解决的问题。 这也是移动互联网时代个性化检索和语义检索迅速发展的原因。

二、哪些信息是与用户最相关的搜索引擎,其本质是一个匹配、排序的过程,即从海量的数据中找到满足用户需求的内容,在明确用户真实意图后,http://www.Sina

从搜索引擎发展至今,内容相关性一直是信息领域的核心研究课题,从最初的文本检索、谷歌提出的链接分析技术,到目前以用户为中心的内容建设,都是为了解决搜索相关性问题。

三、如何提高信息可信度检索的本质是提供满足用户需求的信息,但在一次检索过程中仅仅满足用户需求是不够的。 因为还要看这个信息是否正确,所以信息是否可靠也是检索过程中重要的衡量标准。

例如,在很多情况下,我们想知道的事情,在某种程度上,在某种程度上,在某种程度上,在某种程度上,在某种程度上,在某种程度上,在某种程度上,在某种程度上,在某种程度上,在某种程度上,在某种程度上,在询问结果上,可能会有多个矛盾或排他性的搜索结果。 这增加了用户主动搜索的不确定性风险,因为搜索的内容非常不可控。 许多青少年甚至是中老年人,前者没有一定的生活经验,后者缺乏必要的信息筛选训练。 这两类人很容易成为网络诈骗的重灾区。 所以近年来,很多fake News的评测任务和赛事都是针对疫情期间的“疫情期间网络虚假新闻检查”,图像搜索、商品推荐及视频指纹识别

那么,如何判断一个搜索引擎是否好用,主要有三点,是否高效? 稳定吗? 是否准确? 在这里,编辑将重点放在了正确的问题上。 另外,我还记得两年前有一篇名为《搜索引擎百度已死》的报道填补了朋友圈。 这里不赘述,感兴趣的人可以通过搜索引擎查询。 编辑想说的主要是现在的搜索引擎,无论是大搜索还是垂直搜索,实际上都是商业化、竞价推广、关键词优化等,用户完全无法区分。 自己搜索的不是广告。

虽然公司需要提高利润,但是单纯充斥着广告的各种搜索结果显示

那么这样的搜索引擎也很难走远,很多人会说,google也有广告,为何能发展这么好?因为广告也是一门技术,搜索引擎如何让用户能获取到最想要、最正确的搜索结果又不会直接感受到搜索结果充斥着商业化,这是搜索引擎未来发展的一条路,显然google在这块是做的比较好的。

另一条则是干净、简单的搜索引擎,就比如像夸克,广告词就是“没有广告”,但夸克也是一个商业产品,本质上还是以盈利为目的。不知未来会依然坚持无广告模式作一股清流,还是选择走上广告变现之路呢?只有时间来证明了。

最后欢迎关注微信公众号:药老算法(yaolaosuanfa),带你领略搜索、推荐等数据挖掘算法魅力。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。