sphinx 的安装及使用 windws centos coreseek

0e38kf5l26

之前在做JAVA时知道有一个LUCENCE,当时想等有空再去学习，后来主要做PHP了，就少兴趣去学LUCENCE了，而这次因项目中要用到全文检索，而我也不会，并且对这个全文检索很感兴趣，于是学了这个SPHINX。学在这之前很多疑惑，后面多看多试也了解了不少，我站在我最初的学的地方来回答一下当时我自己的疑惑

全文检索是什么，有什么用，怎么用

全文检索就是搜索数据库中所有指定是表，指定的字段，只是这种搜索效率远远高于SQL的 like or 等，因为这个还涉及到一个分词，也只有在全文检索中用到

另一个全文检索可以搜索任意文档，因为可以使用python 的万能数据源

至于怎么用： 其实这个有点像memcache，相当于一个插件，通过PHP去调SPHINX里查出来的数据。

另也可以像SQL一查写SQL语句查询SPHINX里的数据

 

 

快速使用coreseek4



1、配置conf文件


创建索引

2、D:\coreseek4\bin>indexer -c ../etc/csft_sinykk.conf --all


启动一个SPHINX服务

3、D:\coreseek4\bin>searchd -c ../etc/csft_sinykk.conf --index all


在此处可以在线测试

D:\coreseek4\bin>search -c ../etc/csft_sinykk.conf  'teststr'




---------------------------------------------------------------
注：新版CORESEEK4.0.1并不支持主键字符串，官方说的支持字符串仅是 sql_field_string



升级SphinxSE为1.11-dev版本，支持字符串属性（补丁文件见下文）

在SphinxSE之中，可以调用返回sql_field_string等设置了string的属性，从而在MySQL通过SphinxSE查询时，可以得到Coreseek/Sphinx索引中保存的字符串值

 

如果要使用sql_attr_string sql_field_str新属性时一定要使用新的sphinxapi.php

---------------------------------------------------------------

 

 

=========================================

重点

在配置文件中有

sql_query                = SELECT id,cate_id,contents FROM articles

                                                              #sql_query第一列id需为整数

                                                              #title、content作为字符串/文本字段，被全文索


sql_attr_uint             = cate_id #凡时定义了sql_attr_类型 的字段都不参与全文检索，但可以通过 setFilter进行过滤搜索

#sql_query_info            = SELECT * FROM articles WHERE id=$id #命令行查询时，从数据库读取原始数据信息，仅供MYSQL使用，并且只用于调试使用

 

 

 

合并索引方法：

indexer --merge main delta --config /usr/local/coreseek/etc/csft.conf --rotate


bin\searchd -c etc\csft_mysql.conf --pidfile

注解：--pidfile这个选项一定要添加，强制生成pid，不然在合并索引时会报pid文件无法打开错误（这项非常重要）

 

更新索引（相当于重建索引，好处请查文档）

D:\coreseek\bin>indexer -c ../etc/csft_rtsinykk2.conf rtarticles_2_delta --rotate

==========================================

 

 

二、

Sphinx

在

windows

上的安装

1.
直接在
http://www.sphinxsearch.com/downloads.html

找

到最新的
windows
版本，我这里下的是
Win32
release binaries with MySQL support

，下载后解压在
D:/sphinx
目录下；

2.
在
D:/sphinx/
下新建一个
data
目录用来存放索引文件，

一个
log
目录方日志文件，复制
D:/sphinx/sphinx.conf.in
到
D:/sphinx/bin/sphinx.conf
（注意修改文件

名）；

3.
修改
D:/sphinx/bin/sphinx.conf
，我这里

列出需要修改的几个：

type          
= mysql #
数据源，我这里是mysql

sql_host      
= localhost
#
数据库服务器

sql_user      
= root #
数据库用户名

sql_pass      
= '' #
数据库密码

sql_db        
=
test #
数据库

sql_port      
= 3306 #
数据库端口

sql_query_pre     
= SET NAMES utf8 #
去掉此行前面的注释，如果你的数据库是uft8
编码的

index test1

{

#
放索引的目录
 
path     
= D:/sphinx/data/

#
编码
 
charset_type    
= utf-8
 
# 


指定utf-8
的编码表
 
charset_table    
= 0..9, A..Z->a..z, _, a..z, U+410..U+42F->U+430..U+44F, U+430..U+44F
 
#
简单分词，只支持0
和1
，如果要搜索中文，请指定为1
 
ngram_len      
= 1

#
需要分词的字符，如果要搜索中文，去掉前面的注释
 
ngram_chars     
= U+3000..U+2FA1F

}

#
搜索服务需要修改的部分

searchd

{
 
#
日志
 
log       
= D:/sphinx/log/searchd.log

# PID file, searchd process ID file name
 
pid_file     
= D:/sphinx/log/searchd.pid

# windows
下启动searchd
服务一定要注释掉这个
 
# seamless_rotate    
= 1

}

4.
导入测试数据

sql
文件在
D:/sphinx/example.sql

C:/Program Files/MySQL/MySQL Server 5.0/bin>mysql -uroot
test<d:/sphinx/example.sql

5.
建立索引

D:/sphinx/bin>indexer.exe test1 (
备注
:test1
为
sphinx.conf
的
index test1() )
Sphinx 0.9.8-release (r1533)

Copyright (c) 2001-2008, Andrew Aksyonoff

using config file ‘./sphinx.conf’…

indexing index ‘test1′…

collected 4 docs, 0.0 MB

sorted 0.0 Mhits, 100.0% done

total 4 docs, 193 bytes

total 0.101 sec, 1916.30 bytes/sec, 39.72 docs/sec

D:/sphinx/bin>

6.
搜索
’test’
试试

D:/sphinx/bin>search.exe test1 (注：test1 为搜索的英文单词)


显示结果如下

using config file ‘./sphinx.conf’…
index ‘test1′: query ‘test ‘: returned 3 matches of 3 total in
0.000 sec

displaying matches:

1. document=1, weight=2, group_id=1, date_added=Wed Nov 26 14:58:59 2008

id=1

group_id=1

group_id2=5

date_added=2008-11-26 14:58:59

title=test one

content=this is my test document number one. also checking search within

phrases.

2. document=2, weight=2, group_id=1, date_added=Wed Nov 26 14:58:59 2008

id=2

group_id=1

group_id2=6

date_added=2008-11-26 14:58:59

title=test two

content=this is my test document number two

3. document=4, weight=1, group_id=2, date_added=Wed Nov 26 14:58:59 2008

id=4

group_id=2

group_id2=8

date_added=2008-11-26 14:58:59

title=doc number four

content=this is to test groups

words:

1. ‘test’: 3 documents, 5 hits

D:/sphinx/bin>

 

6.
测试中文搜索

修改
test
数据库中
documents
数据表，

UPDATE `test`.`documents` SET `title` = ‘
测试中文
’,
`content` = ‘this is my test document number two
，应该搜的到吧
’ WHERE `documents`.`id` = 2;

重建索引：

D:/sphinx/bin>indexer.exe test1

搜索
’
中文
’
试试：

D:/sphinx/bin>search.exe
中文
(注：搜索的中文字)

Sphinx 0.9.8-release (r1533)

Copyright (c) 2001-2008, Andrew Aksyonoff

using config file ‘./sphinx.conf’…

index ‘test1′: query ‘
中文
‘: returned 0 matches of 0
total in 0.000 sec

words:

D:/sphinx/bin>

貌似没有搜到，这是因为
windows
命令行中的编码是
gbk
，当然搜不出来。我们可以用程序试试，在
D:/sphinx/api
下新建一个
foo.php
的文件，注意
utf-8
编码

 

 

启动
Sphinx searchd
服务

D:/sphinx/bin>searchd.exe

Sphinx 0.9.8-release (r1533)

Copyright (c) 2001-2008, Andrew Aksyonoff

WARNING: forcing –console mode on Windows

using config file ‘./sphinx.conf’…

creating server socket on 0.0.0.0:9312

accepting connections

 

 

<?php

require ’sphinxapi.php’;

$s = new SphinxClient();

$s->SetServer(’localhost’,9312);

$result = $s->Query(’
中文
’);

var_dump($result);

?>

　　

 

执行
PHP
查询：

访问
http://www.test.com/sphinx/api/foo.php (
自己配置的虚拟主机
)

 

 

参考：http://blog.csdn.net/siren0203/article/details/5564082

 

======================================================

coreseek 分词使用

因coreseek集成了sphinx，所以下载coreseek,就可以直接使用其中ETC/文件夹下相关CONF文件。

主要配置，详细查看

http://www.coreseek.cn/products-install/mysql/

http://www.coreseek.cn/products-install/coreseek_mmseg/

charset_dictpath = D:/coreseek/etc/  

charset_type        = zh_cn.utf-8

 

测试代码

require ( "sphinxapi.php" );


$cl = new SphinxClient ();

$cl->SetServer ( '127.0.0.1', 9312);

$cl->SetConnectTimeout ( 3 );

$cl->SetArrayResult ( true );

$cl->SetMatchMode ( SPH_MATCH_ANY);

$cl->SetLimits(20,10);//分页

$res = $cl->Query ( '已经被我们格式化了', "*" );


if(isset($res['matches'])){

 

    $ids = '';

    foreach($res['matches'] as $r){

        $ids .=$r['id'].',';

    }

    $ids = substr($ids,0,-1);

    $idsarr = explode(',',$ids);

    $conn = new mysqli('localhost','root','','demo');

    $conn->set_charset('utf8');

    $sql = "select id,title,contents from articles where id in ($ids)";

    echo $sql;

    $result = $conn->query($sql);

 

  

   $words = array_keys($res['words']);

   var_dump($words);

   //将数据库查出来的数组放到新数组中，并使用数组的键名为IN 的ID，这样方便排序

   $data = array();

    while($i = $result->fetch_assoc()){

        echo $i['id'].replacestr($words,$i['title']).'<br/><br/>';

        echo replacestr($words,$i['contents']).'<br/>';*/

        $data[$i['id']] = $i;

    }

    foreach($idsarr as $i){

        echo '<br/>=================================<br/><br/><br/><br/>';

        echo $data[$i]['id'].replacestr($words, $data[$i]['title']).'<br/><br/>';

        echo replacestr($words, $data[$i]['contents']).'<br/>';

    }

   

   

    echo '<br/>';

    echo '<br/>';

    var_dump($res['matches']);

}else{

    echo ' not matches<br/><br/>';

    var_dump($res);

}


print_r($cl);

print_r($res);



function replacestr($arr,$str){

    foreach($arr as $r){

        $str = str_replace($r,"<span style='color:red'>".$r."</span>",$str);

    }

    return $str;

}

======================================================

在一个配置文件中配置多个 source index 并且在代码中使用 AddQuery方式可以一次查询多个类型的QUERY，如同时查询用户+应用+标签等

 $sphinx->AddQuery($query, 'artists');

 $sphinx->AddQuery($query, 'variations');

 $sphinx->SetFilter('name', array(3));

 $sphinx->SetLimits(0, 10);

 $result = $sphinx->RunQueries();

　　======================================================
　　所有的搜索都不是死的，都是动态的，所以需要把搜索做成动态的，能搜索最新的信息。

　　思路：

　　1 建立主索引+增量索引

　　


　　2并运行这个主索引searchd -c ../etc/csft_rtsinykk.conf --pidfile

　　3 定时任务linux crontab


　　更新增量索引 indexer -c ../etc/csft_rtsinykk.conf --rotate delta

　　合并索引 indexer --merge rtarticles delta --config /usr/local/coreseek/etc/
csft_rtsinykk.conf
--rotate

　　
　　4定时任务更新主索引

　　
　　
　　-------------------------------------------
　　今天试了在建立增量索引时不使用delta方式，增量索引为独立索引，只是其配置和主索引一样，不一样的地方在 sql_query里如 (SELECT id,cate_id,title,contents FROM articles WHERE id>(SELECT max_doc_id FROM sphinx_counter WHERE counter_id=1)

})
　　
　　这样更新索引时只需要作
　　D:\coreseek\bin>indexer -c ../etc/csft_rtsinykk2.conf rtarticles_2_delta --rotate
　　然后在搜索的时候使用
　　$res = $cl->Query ( '人生不过是一场忍耐', "rtarticles_2 rtarticles_2_delta " );
　　
　　这样就不需要进行索引合并（索引合并会带来较大的IO操作）

　　-----------------------------------2011-8-24---------------------------------------
　　
　　参考：http://www.coreseek.cn/docs/coreseek_3.2-sphinx_0.9.9.html#live-updates

3.11. 实时索引更新
　　
有这么一种常见的情况：整个数据集非常大，以至于难于经常性的重建索引，但是每次新增的记录却相当地少。一个典型的例子是：一个论坛有1000000个已经归档的帖子，但每天只有1000个新帖子。

　　
在这种情况下可以用所谓的“主索引＋增量索引”（main+delta）模式来实现“近实时”的索引更新。

　　
这种方法的基本思路是设置两个数据源和两个索引，对很少更新或根本不更新的数据建立主索引，而对新增文档建立增量索引。在上述例子中，那1000000个
已经归档的帖子放在主索引中，而每天新增的1000个帖子则放在增量索引中。增量索引更新的频率可以非常快，而文档可以在出现几分种内就可以被检索到。

　　
确定具体某一文档的分属那个索引的分类工作可以自动完成。一个可选的方案是，建立一个计数表，记录将文档集分成两部分的那个文档ID，而每次重新构建主索引时，这个表都会被更新。


Example 4. 全自动的即时更新


# in MySQL
CREATE TABLE sph_counter
(
counter_id INTEGER PRIMARY KEY NOT NULL,
max_doc_id INTEGER NOT NULL
);
# in sphinx.conf
source main
{
# ...
sql_query_pre = SET NAMES utf8
sql_query_pre = REPLACE INTO sph_counter SELECT 1, MAX(id) FROM documents
sql_query = SELECT id, title, body FROM documents \
WHERE id<=( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 )
}
source delta : main
{
sql_query_pre = SET NAMES utf8
sql_query = SELECT id, title, body FROM documents \
WHERE id>( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 )
}
index main
{
source = main
path = /path/to/main
# ... all the other settings
}
# note how all other settings are copied from main,
# but source and path are overridden (they MUST be)
index delta : main
{
source = delta
path = /path/to/delta
}




　　======================================
　　
　　
　　
　　---------------------------------------------------------------
安装 sphinxSE 引擎

SphinxSE Plugin Install (插件模式安装) :


---------------------------------------------------------------



    Chinese : 解压ha_sphinx.dll放到MySQL 5.1.x的lib/plugin/目录中，使用root登陆MySQL；

   

    Install (启用):

    mysql> INSTALL PLUGIN sphinx SONAME "ha_sphinx.dll" ;


    --------------------------------------------

    Uninstall (关闭):

    mysql > UNINSTALL PLUGIN sphinx ;


    检查引擎模块是否正常加载

    mysql> show engines;



    CONNECTION='sphinx://localhost:3312/cgfinal';，这里表示这个表采用SPHINXSE引擎，字符集是utf8，与sphinx的连接串是'sphinx://localhost:3312/cgfinal，cgfinal是索引名称
　　
　　============================
　　在 centos5.6 64位机器上用coreseek4.1 beta时出错
　　重装libliconv都不行
　　============================
　　/usr/local/sphinx/src/sphinx.cpp:15557: undefined reference to `libiconv_open'

libsphinx.a(sphinx.o)(.text+0x53a01):/usr/local/sphinx/src/sphinx.cpp:15575: undefined

reference to `libiconv'

libsphinx.a(sphinx.o)(.text+0x53a28):/usr/local/sphinx/src/sphinx.cpp:15581: undefined

reference to `libiconv_close'

　　
　　官方解决方法
　　## 如果出现undefined reference to `libiconv'的类似错误，可以按照如下方法处理：

##方法一：（Linux使用）

## 直接执行：export LIBS="-liconv"

##然后再次configure后，进行编译安装make && make install
　　
　　
　　民间解决方法
　　

安装sphinx时又报错

解决

一开始以为libiconv的问题，又重装了几次还是一样，最后终于找着办法了

编辑：
./src/MakeFile文件(必须confiure后在编辑
  这个意识是告诉g++编译器 要加入库iconv的支持)

将

LIBS = -lm -lz -lexpat  -L/usr/local/lib -lrt  -lpthread

改成

LIBS = -lm -lz -lexpat  -L/usr/local/lib -lrt  -lpthread   -liconv


ok了

 

注意是liconv