hihiyou

Sphinx在电子商务网站中的应用(4)-即时更新方案

5.即时更新方案
使用了Sphinx代替了Mysql进行查询后,最大的问题还在于数据的更新问题:我们在后台进行了产品的编辑,删除,添加操作,都需要尽快的反应到用户端.

架构图:

说明:
(1).在Mysql中建立一个增量表,凡是产品更新操作(添加,修改,删除),都会将相关ID更新到到增量表;表结构很简单,只记录ID.

(2).修改Sphinx的配置文件

sql_query = SELECT id, name, price*100 AS price, 0 AS in_update FROM shop_product
sql_attr_uint = in_update

增加了一个字段in_update,用来标记主索引的这条记录,是否在增量表中.

(3).产品的更新操作时,除了更新增量表,同时也利用Sphinx API的UpdateAttributes方法,将主索引中的相关记录的in_update属性设置成”1″

$this->Sphinx->UpdateAttributes( $index, array( 'in_update' ), array( $id => '1' ) );

代码中的$id指的是商品编号.

更新完了属性后,发出增量索引更新通知,可以是写队列,写文件等方式.

(4).在查询时,增加过滤器.

$Sphinx->SetFilter( 'in_update', array(0) );

这样,就不会使用到主索引中的处于增量索引中的doc,以免搜索到错误的编辑前的数据.

(5).守护进程接到增量索引更新通知,重建增量索引.

(6).每天某时段更新主索引,清空增量表,清空增量索引…

思路就是这样,下面的增量索引更新脚本是我用在测试环境的,生产环境的比较复杂,供参考.

#!/bin/bash

CHECK_FILE_PATH='/xxx/sphinx-check.txt'
SPHINX_COMMAND="/opt/sphinx/bin/indexer --config /opt/sphinx/etc/product.conf product_update_index --rotate"

while true
do
	NOW_TIME=`date +'%Y-%m-%d %H:%M:%S'`

	if [ -f $CHECK_FILE_PATH ];then
		WORD_NUM=`cat ${CHECK_FILE_PATH} |wc -w`

		if [ $WORD_NUM -gt 0 ];then
			echo "bulid    ${NOW_TIME}"

			$SPHINX_COMMAND

			> $CHECK_FILE_PATH
		else
			echo "skip    ${NOW_TIME}"
		fi

	else
		echo "nofile    ${NOW_TIME}"
	fi

	sleep 30

done

后台操作时,简单的用写文件的方式通知索引更新脚本,索引更新完成后,将文件重置.

Sphinx在电子商务网站中的应用(3)–查询

Sphinx自带的PHP的API进行查询。
示例1：
编号为1,2,3,4,5的5个分类下的产品列表

$Sphinx->SetFilter( 'category_id', array(1,2,3,4,5) );
$Sphinx->Query( '', '*' );

示例2：
属性编号为1,2,3,4,5的下的产品列表(属性的交集)

$Sphinx->SetFilter( 'index_id', array(1) );
$Sphinx->SetFilter( 'index_id', array(2) );
$Sphinx->SetFilter( 'index_id', array(3) );
$Sphinx->SetFilter( 'index_id', array(4) );
$Sphinx->SetFilter( 'index_id', array(5) );
$Sphinx->Query( '', '*' );

示例3：
属性编号为1,2,3,4,5的下的产品列表(属性的交集)的价格分组,并且升序排列

$Sphinx->SetFilter( 'index_id', array(1) );
$Sphinx->SetFilter( 'index_id', array(2) );
$Sphinx->SetFilter( 'index_id', array(3) );
$Sphinx->SetFilter( 'index_id', array(4) );
$Sphinx->SetFilter( 'index_id', array(5) );
$Sphinx->SetGroupBy( 'price', SPH_GROUPBY_ATTR, '@group asc' );
$Sphinx->Query( '', '*' );

示例4：
属性编号为1,2,3,4,5的下的产品列表(属性的交集),分类编号是7,8,9

$Sphinx->SetFilter( 'category_id', array(7,8,9) );
$Sphinx->SetFilter( 'index_id', array(1) );
$Sphinx->SetFilter( 'index_id', array(2) );
$Sphinx->SetFilter( 'index_id', array(3) );
$Sphinx->SetFilter( 'index_id', array(4) );
$Sphinx->SetFilter( 'index_id', array(5) );
$Sphinx->SetGroupBy( 'price', SPH_GROUPBY_ATTR, '@group asc' );
$Sphinx->Query( '', '*' );

Sphinx的查询使用还是很方便的,需要注意的是,Filter传递的待筛选参数必须是数组;

关于MVA的使用,如果数组有多个成员:

$Sphinx->SetFilter( 'category_id', array(7,8,9) );

表示索引中的category_id满足数组中的任意一个值就会筛选出来.

$Sphinx->SetFilter( 'index_id', array(7) );
$Sphinx->SetFilter( 'index_id', array(8) );
$Sphinx->SetFilter( 'index_id', array(9) );

表示索引中的index_id包含7,8,9三个值才会被筛选出.

MVA也可以用来进行Group操作:

$Sphinx->SetGroupBy( 'index_value_id', SPH_GROUPBY_ATTR );

可以很方便的得出当前条件下的,各种属性(样式,品牌…)的数量.

Sphinx在电子商务网站中的应用(2)–索引结构配置

Sphinx配置文件
贴出主要部分，其他的手册上说的很清楚了。

source product_src
{
	type					= mysql

	sql_host				= 127.0.0.1
	sql_user				= root
	sql_pass				= 123
	sql_db				= shop
	sql_port				= 3306

	sql_query_pre			= SET NAMES utf8
	sql_query				= SELECT id, name, price*100 AS price FROM shop_product

	sql_attr_uint			= price
	sql_attr_multi			= uint index_id from query;SELECT product_id, index _id FROM product_index
	sql_attr_multi			= uint category_id from query;SELECT product_id, category_id FROM product_show

}

上面是source部分，项目的编码是UTF-8，所以首先得执行：“SET NAMES utf8”。product里面的price是以保留两位小数的形式存放的，在sql_query里面，将它乘以100换成整数，避免浮点精度带来的不必要的小数位。
关键的两条“sql_attr_multi”，配置了属性和分类的MVA，“from query”后面紧接着SQL，表示来自查询，product_id放第一个字段，后面跟着值字段，这样Sphinx内部才会进行处理。

建立索引后,结构可以看成下图所示:

Sphinx在电子商务网站中的应用(1)-分析与思路

实际项目的特点是：
1.数据量大
2.商品分类多
3.每个商品可以处于多个分类下
4.平均每个商品拥有2个以上的属性

要求可以做到：
1.按照商品名称搜索
2.按照商品属性筛选
3.按照分类筛选
4.按照价格分组筛选
5.按照价格、时间排序

MySQL基本数据结构：

product表
    id
    name
    price
product_index表
    index_id
    product_id
product_show
    category_id
    product_id

说明:
product是基本产品表，id为产品编号，name是待搜索字段
product_index为产品属性表，index_id是属性编号，product_id为product表的id。如果编号为100的产品，有5个不同属性，在product_index表中就会记录product_id为100，index_id不相同的五条记录。
product_show的结构与product_index类似，记录的是产品于分类的联系，如果同一个产品同属5个不同的分类，在表中就会存在五条记录。

数据结构不复杂，但是实际应用中，使用Mysql的查询实现的搜索和检索，效率是比较低的。最消耗性能的地方是产品列表的索引导航，这是类似淘宝网产品列表的”按XXX浏览”：

SQL的实现不多说。

在Sphinx有个非常棒的特性：MVA(多值属性），MVA类似Mysql的set类型的字段，但是存放值不受预设的限制，使用MVA建立Sphinx的属性，用来存放每个产品的index_id和category_id，很方便就能实现筛选功能。

累了,明天再写第二部分….hihiyou