图书介绍

开发自己的搜索引擎 Lucene 2.0+Heritrixpdf电子书版本下载

开发自己的搜索引擎 Lucene 2.0+Heritrix
  • 邱哲,符滔滔编著 著
  • 出版社: 北京:人民邮电出版社
  • ISBN:7115160007
  • 出版时间:2007
  • 标注页数:521页
  • 文件大小:192MB
  • 文件页数:541页
  • 主题词:计算机网络-程序设计

PDF下载


点此进入-本书在线PDF格式电子书下载【推荐-云解压-方便快捷】直接下载PDF格式图书。移动端-PC端通用
种子下载[BT下载速度快] 温馨提示:(请使用BT下载软件FDM进行下载)软件下载地址页 直链下载[便捷但速度慢]   [在线试读本书]   [在线获取解压码]

下载说明

开发自己的搜索引擎 Lucene 2.0+HeritrixPDF格式电子书版下载

下载的文件为RAR压缩包。需要使用解压软件进行解压得到PDF格式图书。

建议使用BT下载工具Free Download Manager进行下载,简称FDM(免费,没有广告,支持多平台)。本站资源全部打包为BT种子。所以需要使用专业的BT下载软件进行下载。如 BitComet qBittorrent uTorrent等BT下载工具。迅雷目前由于本站不是热门资源。不推荐使用!后期资源热门了。安装了迅雷也可以迅雷进行下载!

(文件页数 要大于 标注页数,上中下等多册电子书除外)

注意:本站所有压缩包均有解压码: 点击下载压缩包解压工具

图书目录

第一篇 搜索引擎入门 3

第1章 搜索引擎与信息检索基础 3

1.1 搜索引擎的历史 3

1.1.1 萌芽:Archie、Gopher 3

1.1.2 起步:Robot(网络机器人)的出现与Spider(网络爬虫) 5

1.1.3 发展:Excite、Galaxy、Yahoo等 7

1.1.4 繁荣:Infoseek、AltaVista、Google和Baidu 8

1.2 信息检索系统的基本知识 11

1.2.1 什么是信息检索系统 11

1.2.2 信息检索的过程 12

1.2.3 传统查找的优点和不足 13

1.2.4 使用索引提高检索速度 14

1.2.5 倒排索引 14

1.2.6 评价信息检索系统的标准 16

1.3 Lucene简介 16

1.4 小结 17

第二篇 Lucene开发详解 21

第2章 Lucene入门实例 21

2.1 实例介绍 21

2.1.1 实例说明 21

2.1.2 开发过程 21

2.2 准备工作 22

2.2.1 将文档的全角标点转换成半角标点 23

2.2.2 将大文档切分成多个小文档 25

2.2.3 预处理源文件的统一接口 27

2.3 创建Eclipse工程 27

2.3.1 准备工作 27

2.3.2 创建工程并引入Lucene的JAR包 29

2.3.3 运行文档预处理类 36

2.3.4 创建处理文档的索引类:IndexProcessor 37

2.3.5 创建检索索引的搜索类 40

2.4 运行效果 44

2.5 小结 45

第3章 Lucene索引的建立 46

3.1 Document逻辑文件 46

3.1.1 Lucene的Document 46

3.1.2 为Document添加多种Field 47

3.1.3 Document的内部实现 49

3.2 Field的内部实现 50

3.2.1 Field包含的类 51

3.2.2 Field类的构造方法 52

3.3 Lucene的索引工具IndexWriter 54

3.3.1 IndexWriter的初始化 54

3.3.2 向索引添加文档 56

3.4 Lucene索引过程详解 58

3.3.3 限制每个Field中的词条的数量 58

3.4.1 Lucene索引建立过程概述 59

3.4.2 使用addDocument方法向索引添加文档 59

3.4.3 DocumentWriter的addDocument方法 61

3.4.4 文档的倒排 66

3.4.5 对postingTable进行排序 71

3.5.1 索引的segment 73

3.5.2 .fnm格式 73

3.5 索引文件格式 73

3.4.6 将Posting信息写入索引 73

3.5.3 .fdx与.fdt格式 74

3.5.4 .tii与.tis格式 75

3.5.5 deletable格式 76

3.5.6 复合索引格式.cfs 76

3.6 索引过程的优化 76

3.6.1 合并因子mergeFactor 76

3.6.2 maxMergeDocs 78

3.6.3 minMergeDocs 78

3.7 索引的合并与索引的优化 78

3.7.1 FSDirectory与RAMDirectory 78

3.7.2 使用IndexWriter来合并索引 79

3.7.3 索引的优化 81

3.8 从索引中删除文档 82

3.8.1 索引的读取工具IndexReader 83

3.8.2 使用文档ID号来删除特定文档 86

3.8.3 使用Field信息来删除批量文档 88

3.9 Lucene的同步问题 89

3.9.1 为什么要进行同步以及Lucene的同步法则 90

3.9.2 commit.lock与write.lock 90

3.10 Lucene 2.0的新类:IndexModifier类 91

3.11 小结 92

4.1.1 初始化IndexSearcher 93

第4章 Lucene的搜索 93

4.1 使用IndexSearcher进行搜索 93

4.1.2 IndexSearcher最简单的使用 94

4.1.3 IndexSearcher的多种search方法 95

4.2 Hits类详解 97

4.2.1 Hits类的公有接口 97

4.2.2 效率分析 98

4.2.3 Hits内部的缓存 100

4.2.4 Hits类的工作原理 103

4.3.1 文档与词条的向量空间 104

4.3 对搜索结果的评分 104

4.3.2 Lucene的文档得分算法 105

4.4 构建各种Lucene内建的Query对象 108

4.4.1 toString查看原子查询 109

4.4.2 查询重写与权重 109

4.4.3 TermQuery词条搜索 110

4.4.4 BooleanQuery布尔搜索 111

4.4.5 RangeQuery范围搜索 119

4.4.6 PrefixQuery前缀搜索 122

4.4.7 PhraseQuery短语搜索 125

4.4.8 MultiPhraseQuery多短语搜索 128

4.4.9 FuzzyQuery模糊搜索 133

4.4.10 WildcardQuery通配符搜索 137

4.4.11 SpanQuery跨度搜索 138

4.5 第三方提供的Query对象:RegexQuery 146

4.6 通过QueryParser转换用户关键字 148

4.6.1 词条的定义 149

4.6.2 QueryParser初始化 149

4.6.3 改变QueryParser默认的布尔逻辑 150

4.6.4 短语和QueryParser 151

4.6.5 FuzzyQuery和QueryParser 152

4.6.7 查找指定的Field 153

4.6.6 通配符与QueryParser 153

4.6.8 RangeQuery与QueryParser 157

4.6.9 QueryParser和SpanQuery 158

4.7 多Field搜索与多索引搜索 159

4.7.1 多域搜索MultiFieldQueryParser 159

4.7.2 MultiSearcher在多个索引上搜索 161

4.7.3 ParalellMultiSearcher:多线程搜索 164

4.7.4 Searchable和RMI 167

4.8 小结 168

5.1.1 使用Score进行自然排序 170

5.1 相关度排序 170

第5章 排序、过滤和分页 170

5.1.2 Searcher的explain方法 172

5.1.3 通过改变boost值来改变文档的得分 173

5.2 使用Sort来排序 177

5.2.1 Sort简介 177

5.2.2 SortField 178

5.2.3 按文档得分进行排序 179

5.2.4 按文档的内部ID号来排序 182

5.2.5 按一个或多个Field来排序 183

5.2.6 改变SortField中的Locale信息 190

5.3.1 过滤器的基本结构 191

5.3 搜索的过滤器 191

5.3.2 一个简单的Filter:建立索引 192

5.3.3 一个简单的Filter:打印索引文档信息 194

5.3.4 一个简单的Filter:安全级别与过滤器代码 196

5.3.5 一个简单的Filter:在搜索时应用过滤器 197

5.3.6 一个简单的Filter:总结 198

5.3.7 按范围过滤RangeFilter 199

5.3.8 在结果中查询QueryFilter 202

5.3.9 缓存结果:CachingWrapper Filter 205

5.4 翻页问题 206

5.4.1 依赖于session的翻页 206

5.4.3 缓存+多次查询 207

5.4.2 多次查询 207

5.4.4 缓存+多次查询+数据库 208

5.5 小结 208

第6章 Lucene的分析器 209

6.1 分析 209

6.1.1 分词 209

6.1.2 Lucene的分析器的结构 210

6.1.3 Lucene的分析器的实现 212

6.2 Lucene与JavaCC 213

6.2.2 JavaCC为Lucene提供的分析器脚本 214

6.2.1 JavaCC简介 214

6.2.3 Lucene的标准分析器 218

6.2.4 标准过滤器:StandardFilter 220

6.2.5 大小写转换器:LowerCaseFilter 221

6.2.6 忽略词过滤器:StopFilter 221

6.3 分析器的进阶 222

6.3.1 再看StandardAnalyzer中的管道过滤器结构 222

6.3.2 长度过滤器:LengthFilter 223

6.3.3 PerFieldAnalyzerWrapper 223

6.4 对中文的分析 224

6.3.4 其他 224

6.4.1 现有的中文分词方式简介 225

6.4.2 中科院的分词软件和JE分词 227

6.5 小结 232

第三篇 Lucene相关话题 235

第7章 对Word、Excel和PDF的处理 235

7.1 使用PDFBox处理PDF文档 235

7.1.1 PDFBox的下载 235

7.1.2 在Eclipse中配置 236

7.1.3 使用PDFBox解析PDF内容 237

7.1.4 运行效果 238

7.1.5 与Lucene的集成 239

7.2 使用xpdf来处理中文PDF文档 241

7.2.1 xpdf的下载 241

7.2.2 配置 242

7.2.3 提取中文 243

7.2.4 运行效果 246

7.3 使用POI来处理Excel和Word文件格式 246

7.3.1 对Excel的处理类 247

7.3.2 ExcelReader的运行效果 251

7.3.3 POI中Excel文件Cell的类型 252

7.3.4 对Word的处理类 254

7.4 使用Jacob来处理Word文档 256

7.4.1 Jacob的下载 256

7.4.2 在Eclipse中配置 256

7.5 小结 258

第8章 Compass:封装了Lucene的框架 259

8.1 Compass简介 259

8.1.1 Compass的下载 259

8.1.2 Compass的代码片断 260

8.2 Compass的初始配置 261

8.2.1 Compass的配置文件 261

8.2.3 使用JDBC来存储索引 262

8.2.2 将索引存放于内存中 262

8.2.4 使用连接池来存储索引 263

8.2.5 加载compass.cfg.xml文件 264

8.3 域模型的配置 265

8.3.1 实体代码 265

8.3.2 实体关系 271

8.3.3 实体Book的配置文件 271

8.3.4 通用元数据定义文件(.cmd.xml) 272

8.3.5 Author和Article的配置文件 276

8.4.1 索引代码 278

8.4 使用Compass来建立索引 278

8.4.2 对象关系图和运行结果 280

8.5 使用Compass来搜索 281

8.5.1 使用find()方法搜索 281

8.5.2 CompassHits类型 282

8.5.3 CompassHit类型 283

8.5.4 使用Lucene语法来查找 284

8.6 配置Analyzer和Optimizer 286

8.7 小结 287

第9章 Lucene分布式和Google Search API 288

9.1 Lucene与分布式 288

9.1.1 什么是GFS 288

9.1.2 为Lucene提供分布式的几点设想 289

9.2 Google的Search API 291

9.2.1 搭建环境 292

9.2.2 构建搜索类 292

9.2.3 设置查询时的参数和查询语法 295

9.2.4 运行测试 296

9.3 小结 297

第四篇 网络爬虫Heritrix 301

第10章 无比强大的网络爬虫Heritrix 301

10.1 Heritrix使用入门 301

10.1.1 下载和运行Heritrix 301

10.1.2 在Eclipse里配置Heritrix的开发环境 304

10.1.3 创建一个新的抓取任务 308

10.1.4 设置抓取时的处理链 310

10.1.5 设置运行时的参数 312

10.1.6 运行抓取任务 314

10.1.7 Heritrix的镜像存储结构 318

10.1.8 终止抓取或终止Heritrix的运行 319

10.2 Heritrix的架构 320

10.2.1 抓取任务CrawlOrder 320

10.2.2 中央控制器CrawlController 321

10.2.3 Frontier链接制造工厂 324

10.2.4 用Berkeley DB实现的BdbFrontier 329

10.2.5 Heritrix的多线程ToeThread和ToePool 332

10.2.6 处理链和Processor 335

10.3 扩展和定制Heritrix 338

10.3.1 向Heritrix中添加自己的Extractor 339

10.3.2 定制Queue-assignment-policy的两个问题 343

10.3.3 定制Queue-assignment-policy继承QueueAssignmentPolicy类 344

10.3.4 扩展FrontierScheduler来抓取特定的内容 344

10.3.5 在Prefetcher中取消robots.txt的限制 346

10.4 小结 347

11.1 实例简介以及实现途径 351

第11章 搜索引擎综合实例:准备篇 351

第五篇 构建垂直搜索引擎 351

11.1.1 选择网站 352

11.1.2 太平洋电脑网和网易手机频道 352

11.1.3 分析网站内容并准备抓取清单 353

11.1.4 从下拉列表获得手机品牌首页 356

11.1.5 解析手机品牌页面 359

11.2 在Heritrix中为pconline开发抓取所需的定制类 361

11.2.1 保存所有产品的页面和图片 362

11.2.2 不保存其他无关页面 362

11.2.3 开始抓取 364

11.3.1 分析网易手机频道 365

11.3 在Heritrix中为网易手机频道开发抓取所需的定制类 365

11.3.2 设计抓取代码 368

11.4 在Eclipse中创建工程结构 373

11.4.1 下载插件 373

11.4.2 在Eclipse中配置插件 374

11.4.3 创建工程 375

11.4.4 设置工程的Context 376

11.4.5 设定源代码存放和输出路径 377

11.4.6 添加Java代码 379

11.4.7 添加Jar包 380

11.4.8 创建JSP文件 381

11.4.9 工程整体结构一览 383

11.5 设定配置文件及其相关类 385

11.5.1 系统属性配置文件 385

11.5.2 封装配置文件 385

11.6 产品详细信息文件格式 387

11.7 解析网页信息的基类Extractor 389

11.8 太平洋电脑网手机产品页面Extractor 393

11.9 pconline产品信息运行效果测试 397

11.9.1 编写测试函数 397

11.9.2 执行测试 398

11.10 网易手机频道的产品信息运行效果 401

11.11 构建产品信息词库 404

11.12 数据库与索引结构 407

11.12.1 定Product类 407

11.12.2 确定数据库与索引的结构 409

11.13 数据库处理和索引处理 411

11.13.1 对数据库进行操作 412

11.13.2 对索引进行操作 414

11.14 调用数据库处理类和索引处理类 415

11.15 运行 420

11.16 小结 422

12.1 HTML的基本知识 423

第12章 使用正则表达式与HTMLParser提取网页内容 423

12.2 JDK中的正则表达式提取网页内容 424

12.2.1 java.util.regex包 424

12.2.2 正则表达式提取网页内容实例 426

12.3 HTMLParser提取网页内容 431

12.3.1 HTMLParser的下载 431

12.3.2 HTMLParser概述 432

12.3.3 Lexer的功能及实现 433

12.3.4 HTMLParser的功能及实现 438

12.3.5 HTMLParser实例 443

12.4 小结 445

第13章 搜索引擎综合实例:DWR 446

13.1 DWR的下载 446

13.2 DWR入门与实例演示 447

13.2.1 创建工程结构 447

13.2.2 在web.xml中配置DWR 447

13.2.3 配置dwr.xml 448

13.2.4 页面代码 449

13.2.5 运行效果 451

13.2.6 DWR与直接使用XMLHttpRequest对象的比较 452

13.2.7 在DWR中操纵自定义的对象 454

13.2.8 查看DWR的输出日志 459

13.3 dwr.xml的配置 460

13.3.1 dwr.xml的标准结构 460

13.3.2 〈init〉标签与DWR自带的converter和creator 461

13.3.3 〈allow〉标签 465

13.3.4 〈signature〉标签 466

13.3.5 另一个例子 467

13.4 util.js 470

13.4.1 调用util.js 471

13.4.2 使用useLoadingMessage方法显示提示图标 471

13.4.3 DWRUtil.setValue和DWRUtil.getValue 475

13.4.4 DWRUtil.getValues和DWRUtil.setValues 478

13.4.5 DWRUtil.addOptions和DWRUtil.removeAllOptions 482

13.4.6 DWRUtil.addRows和DWRUtil.removeAllRows 487

13.4.7 DWRUtil.to DescriptiveString方法 492

13.5 小结 493

第14章 搜索引擎综合实例:Web篇 494

14.1 配置文件 494

14.1.1 Spring配置文件 494

14.1.2 DWR配置文件 495

14.1.3 web.xml 496

14.2.1 SearchResult 498

14.2 各种Bean类 498

14.2.2 SearchResults 500

14.2.3 SearchRequest 502

14.3 SearchService的实现 502

14.4 SearchResultDao 507

14.5 前台部分 509

14.5.1 搜索主页面main.jsp 509

14.5.2 图片的显示 515

14.5.3 详细信息页面detail.sp 516

14.6 问题 519

14.7 小结 521

精品推荐