搜索引擎主要技术与发展趋势探析

　　摘 要：作为大众连接互联网的主要入口，搜索引擎根据搜索引擎使用者提交的请求有针对性地为其提供准确、高效以及可靠的检索结果。然而由于互联网资源的巨大性以及搜索引擎技术的复杂性，目前搜索引擎的检索结果面临准确性、可靠性和时效性等挑战。本文将对当前的搜索引擎以及搜索引擎技术进行讨论，并对他们的发展趋势进行分析，同时对搜索引擎所面临的问题进行剖析并给出相应的解决方法。
　　
　　关键词：搜索引擎；网络爬虫；检索。
　　
　　1.搜索引擎介绍。
　　
　　搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上采集信息，在对信息进行组织和处理后，为用户提供检索服务，将检索的相关信息展示给用户的系统。搜索引擎是工作于互联网上的一门检索技术，它旨在提高人们获取搜集信息的速度，为人们提供更好的网络使用环境。从功能和原理上搜索引擎大致被分为全文搜索引擎、元搜索引擎、垂直搜索引擎和目录搜索引擎等四大类。
　　
　　全文搜索引擎是当前应用最为普遍的主流搜索引擎，国内外知名的有baidu,Google,Bing等。全文搜索引擎的工作原理是分词程序将爬虫程序从互联网上抓取的文章中的内容预处理后进行分词，然后计算机索引程序扫描分好的词，对每一个词建立倒排索引，并将该词在文章中出现的位置以及次数记录在数据库中，当用户检索程序在用户提交检索请求时根据数据库中事先建立的索引进行检索，并将检索结果反馈给用户。全文搜索引擎数据库的容量极大，检索的范围很广，易用性较强，然而由于知识来源较为广泛，导致重复的内容过多且繁杂，更新不够迅速。
　　
　　元搜索引擎就是通过一个统一的用户界面帮助用户在多个搜索引擎中选择和利用合适的搜索引擎来实现检索操作，是对分布于网络中的多种检索工具的全局控制机制。目前国内外有诸如360综合搜索、InfoSpace等。元搜索引擎可以充分集中各搜索引擎的优势有效地扩大了搜索引擎的检索广度和提高了检索结果的准确率。元搜索引擎是基于多个搜索引擎上的二次整合，它没有数据库，因此相同的检索请求会导致重复检索。
　　
　　垂直搜索引擎是针对某一个行业进行搜索的专业搜索引擎，是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再返回给用户。垂直搜索引擎是在特定的搜索领域来满足特定的搜索需求如火车票搜索、视频搜索等，其检索范围小而且是基于结构化数据和元数据的搜索，检索结果准确度高，检索时间短，所需耗费的成本低。
　　
　　目录搜索引擎是以人工方式或半自动方式搜集信息，由编辑员查看信息之后，人工形成信息摘要，并将信息置于事先确定的分类框架中。信息大多面向网站，提供目录浏览服务和直接检索服务。它有别于其他的各类搜索引擎。
　　
　　2.搜索引擎所用主要技术。
　　
　　搜索引擎工作流程主要有数据采集、数据预处理、数据处理、结果展示等阶段。在各工作阶段分别使用了网络爬虫、中文分词、大数据处理、数据挖掘等技术。
　　
　　网络爬虫也被称为蜘蛛或者网络机器人，它是搜索引擎抓取系统的重要组成部分。网络爬虫根据相应的规则，以某些站点作为起始站点通过各页面上的超链接遍历整个互联网，利用URL引用根据广度优先遍历策略从一个html文档爬行到另一个html文档来抓取信息。
　　
　　中文分词是中文搜索引擎中一个相当关键的技术，在创建索引之前需要将中文内容合理的进行分词。中文分词是文本挖掘的基础，对于输入的一段中文，成功的进行中文分词，可以达到电脑自动识别语句含义的效果。
　　
　　大数据处理技术是通过运用大数据处理计算框架，对数据进行分布式计算。由于互联网数据量相当庞大，需要利用大数据处理技术来提高数据处理的效率。在搜索引擎中，大数据处理技术主要用来执行对网页重要度进行打分等数据计算。
　　
　　数据挖掘就是从海量的数据中采用自动或半自动的建模算法，寻找隐藏在数据中的信息，是从数据库中发现知识的过程。数据挖掘一般和计算机科学相关，并通过机器学习、模式识别、统计学等方法来实现知识挖掘。在搜索引擎中主要是进行文本挖掘，搜索文本信息需要理解人类的自然语言，文本挖掘指从大量文本数据中抽取隐含的、未知的、可能有用的信息。
　　
　　3.搜索引擎以及搜索引擎技术发展趋势。