« Comparativa de sistemas de búsquedas FULLTEXT
Seguridad en PHP: primeros pasos »

Como crear tu propio buscador.
Instalación y configuración de SPHINX ( II )

Continuando el post de instalación de sphinx vamos a ver un ejemplo práctico, que es lo que estamos desenado todos.

He descargado los RFC desde la web del IETF con un script en PHP y algo de expresiones regulares, e insertados en una tabla. En total son unos 4400 documentos con mucho texto para juguetear.

La base de datos tiene una sola tabla bastante simple, aquí está el código SQL para crearla:

PLAIN TEXT
SQL:
  1. CREATE TABLE `rfc_en` (
  2.   `id` int(11) NOT NULL AUTO_INCREMENT,
  3.   `titulo` varchar(255) collate latin1_spanish_ci NOT NULL,
  4.   `autor` varchar(255) collate latin1_spanish_ci NOT NULL,
  5.   `enlace` varchar(255) collate latin1_spanish_ci NOT NULL,
  6.   `contenido` mediumblob NOT NULL,
  7.   `fecha` date NOT NULL,
  8.   PRIMARY KEY  (`id`),
  9.   KEY `fecha` (`fecha`)
  10. ) ENGINE=MyISAM  DEFAULT CHARSET=latin1 COLLATE=latin1_spanish_ci AUTO_INCREMENT=1;



El archivo de configuracion se va a mostrar por partes.

Apartado source

PLAIN TEXT
CODE:
  1. source rfcsrc
  2. {
  3.         type            = mysql
  4.         sql_host      = host
  5.         sql_user      = miuser
  6.         sql_pass     = mipass
  7.         sql_db         = rfc
  8.         sql_port       = 3306 
  9.  
  10.         sql_query_pre       =
  11.         sql_query              = \
  12.                SELECT id, titulo FROM rfc_en
  13.         sql_query_post     =
  14. }
  15.  
  16. source rfc2src : rfcsrc
  17. {
  18.         sql_query       =\
  19.                 SELECT id, titulo,contenido FROM rfc_en
  20. }



Se han definido dos índices, en uno se va a tener en cuenta el título de los RFC y en el otro vamos a hacer un poco el bruto indizando todo el contenido del RFC (llegan a ser 300KB o más) además del título. En el primer source se ve la información de conexión a base de datos y la sentencia sql de construcción del índice.

La sentencia se construye igual que cualquier SELECT de SQL pero con la peculiaridad de que el primer campo a recoger debe ser la clave primaria (recordar que esta DEBE ser un entero único de 32 bits). Todos los campos que aparezcan a continuación serán utilizados para el índice. De momento solo usaremos datos de texto, más adelante se detallará como introducir otro tipo de campos para búsquedas más avanzadas.

El segundo source esta definido mediante una herencia del primero, lo cual nos evita escribir 10 líneas ( los desarrolladores somos vagos y podemos estar un día escribiendo un script para evitar repetir la misma acción 2 veces :D ). Solo sobreescribe la sentencia SQL y se mantiene el resto.

Apartado index

PLAIN TEXT
CODE:
  1. index rfc1
  2. {
  3.         source                = rfcsrc
  4.         stopwords           =
  5.         min_word_len     = 1
  6.         charset_type       = sbcs
  7.         path                    = ruta-de-instalacion/var/data/rfc1
  8.         morphology        = none
  9. }
  10.  
  11.  
  12. index rfc2 : rfc1
  13. {
  14.         source                = rfc2src
  15.         path                    = ruta-de-instalacion/var/data/rfc2
  16. }



Cada índice hace referencia a su fuente de datos definida más arriba.


Apartado indexer: simplemente forzamos a 32 megas el máximo usado por el indizador.

PLAIN TEXT
CODE:
  1. indexer
  2. {
  3.         mem_limit      = 32M
  4. }


Apartado search: se ponen las rutas de los log y el descriptor de proceso. Se define el puerto asociado al demonio y otros parámetros de control. Si no se está seguro de que poner en algun sitio, dejarlo tal cual viene en el fichero esqueleto.

La directiva address es un mecanismo de seguridad, podemos forzar al demonio a que solo conteste las peticiones dirigidas a cierta ip. Si tenemos el script php en la misma máquina que sphinx se puede restringir a la direccion de loopback 127.0.0.1 y nos cubriremos las espaldas por si legan peticiones externas. Si sphinx esta instalado en una máquina diferente al origen de la consulta, pero se dispone de red local se puede asociar el demonio a la ip privada en vez de la pública.

PLAIN TEXT
CODE:
  1. searchd
  2. {
  3.        
  4.         # address        = 127.0.0.1
  5.         # address        = 192.168.0.1
  6.         port                  = 3312
  7.         log                   = ruta-de-instalacion/var/log/searchd.log
  8.         query_log         = ruta-de-la-instalacion/var/log/query.log
  9.         read_timeout    = 5
  10.         max_children    = 30
  11.         pid_file              =ruta-de-instalacionvar/log/searchd.pid
  12.         max_matches   = 1000
  13. }


Con esto ya tenemos fichero de configuración listo.

Así que al lio, lanzamos el indexer:

$ bin/indexer --config etc/sphinx.conf --all
indexing index 'rfc'...
collected 4398 docs, 0.2 MB
sorted 0.0 Mhits, 100.0% done
total 4398 docs, 222430 bytes
total 0.297 sec, 749621.68 bytes/sec, 14821.90 docs/sec
indexing index 'rfc2'...
collected 4398 docs, 214.1 MB
sorted 27.6 Mhits, 100.0% done
total 4398 docs, 214094137 bytes
total 22.821 sec, 9381369.37 bytes/sec, 192.72 docs/sec

En var/data estarán ahora los dos índices generados y tendrán dos tamaños bastante diferentes: 200 KB frente a 68 MB. Hay que decir que los índices tan grandes pueden ser habituales pero, al contrario que este caso, lo serán por el hecho de que las tablas indizadas tengan una cantidad de registros bastante alta en vez de tener una media de 150 KB de texto por registro.

$ ls -lh var/data/
total 70M
-rw-r--r-- 1 root root 0 2007-03-23 20:49 rfc2.spa
-rw-r--r-- 1 root root 68M 2007-03-23 20:49 rfc2.spd
-rw-r--r-- 1 root root 79 2007-03-23 20:49 rfc2.sph
-rw-r--r-- 1 root root 1,1M 2007-03-23 20:49 rfc2.spi
-rw-r--r-- 1 root root 0 2007-03-23 20:49 rfc.spa
-rw-r--r-- 1 root root 203K 2007-03-23 20:49 rfc.spd
-rw-r--r-- 1 root root 62 2007-03-23 20:49 rfc.sph
-rw-r--r-- 1 root root 23K 2007-03-23 20:49 rfc.spi

Y ahora lanzamos el demonio searchd:

$ bin/searchd --config etc/sphinx.conf
Sphinx 0.9.7-RC2
Copyright (c) 2001-2006, Andrew Aksyonoff

using config file 'etc/sphinx.conf'...

Llegados a este punto ya estamos en posicion para empezar a lanzar consultas al demonio y para ello usaremos el API PHP.
Un poquito de código:

PLAIN TEXT
PHP:
  1. function querySPHINX($tag,$off,$contenido)
  2. {
  3.     $port = 3312;
  4.  
  5.         if($contenido)
  6.         {
  7.             $indice = "rfc2";
  8.         }
  9.         else
  10.         {
  11.          $indice = "rfc";
  12.         }
  13.     if ($off == "")
  14.     {
  15.         $off = 0;
  16.     }
  17.    
  18.     $cl = new SphinxClient (); 
  19.     $cl->SetServer ( "localhost", $port );   
  20.     $cl->SetLimits ($off, 10 ); 
  21.     $cl->SetMatchMode ( SPH_MATCH_ALL );   
  22.     $resultado = $cl->Query ( $tag, $indice );
  23.     $num_encontrados = $resultado['total_found'];
  24.    
  25.     if($num_encontrados == 0)
  26.     {
  27.             $cl->SetMatchMode ( SPH_MATCH_ANY );
  28.             $resultado = $cl->Query ( $tag, $indice );
  29.             $num_encontrados = $resultado['total_found'];
  30.     }
  31.     return  array_keys($resultado['matches']);   
  32. }



Con esta función se hace una consulta muy simple basada en la keyword a buscar, el offset de resultados a devolver (para paginar) y un booleano para decidir si consultar el contenido o no. Primero creamos el objeto y se le asocia el servidor y puerto del demonio. A continuación se le indica que queremos obtener 10 resultados a partir del offset $off (0 por omisión), se selecciona el modo de consulta y se lanza la misma.

Los modos de consulta son:

  • SPH_MATCH_ALL: el documento devuelto debe contener todas las palabras de la búsqueda
  • SPH_MATCH_ANY: el documento devuelto debe contener alguna de las palabras de la búsqueda
  • SPH_MATCH_PHRASE: el documento devuelto debe contener todas las palabras de la búsqueda y en el mismo orden

La variable $resultado devuelve bastante información pero de momento nos quedamos con dos elementos:

  • $resultado['total_found'] : numero de resultados encontrados para la búsqueda
  • $resultado['matches'] : array con los identificadores de documento como índice. Por eso se recuperan las claves con array_keys



Espero que esta guía haya sido de utilidad y que la gente se anime a instalarlo y cacharrear un poco.

Podeis probar la demo. Me gustaría no estar en un hosting compartido ni tener un ping tal alto para que vierais que esto es realmente rápido. Si alguien quiere el ejemplo le puedo facilitar los scripts de construcción de la base de datos, el resto está practicamente en las entradas.

Actualizacion
He cambiado la demo de sitio, porque la gente de dreamhost me tiraba el sphinx (ya decia yo que era demasiado chollo para un plan cutre de hosting compartido instalar un servicio como si nada ). Ahora está en una máquina con buenos recursos. Así que ya no hay excusa, los tiempos deberían ser bastante buenos.

Enlaces de interés

This entry was posted on Viernes, Marzo 23rd, 2007 at 23:50 pm and is filed under Motores de búsqueda, MySQL. You can follow any responses to this entry through the RSS 2.0 feed. You can leave a response, or trackback from your own site.

5 Responses to “Como crear tu propio buscador.
Instalación y configuración de SPHINX ( II )”

  1. alejo Says:
    Septiembre 24th, 2007 at 18:22 pm

    hola espero que esten bien necesito aprender de sus conocimientos y experiencias lo agradesco..atte

    alejandro

  2. MarcosBL Says:
    Diciembre 13th, 2007 at 17:31 pm

    He entendido mal o esta parte…

    index rfc2 : rfc1
    {
    path = ruta-de-instalacion/var/data/rfc2
    }

    debería indicar también un

    source = rfc2src

    ¿?

    ¿ En caso contrario indexaría de nuevo la misma consulta que el otro, me equivoco ?

    Un saludo, y un placer la lectura y los ejemplos, asi da gusto meter mano a cosas nuevas :)

  3. CompuGlobalHiperMegaNet Says:
    Diciembre 20th, 2007 at 14:47 pm

    Tienes razón, marcos.

    Muchas gracias por las apreciaciones y la rectificación.

    Un saludo

  4. Fran Says:
    Marzo 15th, 2008 at 0:59 am

    Hola, muy buenos estos posts sobre Sphinx, te comento una duda a ver si puedes orientarme porque aun no he usado Sphinx y no quiero empezar haciendo las cosas mal.

    Tengo un listado de URLS, paginas sueltas de varios dominios. Quiero indexarlas, He pensado en extraer el texto a partir del HTML, pero como es habitual, las etiquetas strong, H1, H2, em, b, etc deberian dar mas \

  5. Manuel Says:
    Marzo 23rd, 2008 at 5:26 am

    Hola,

    Gracias a tus artículos en español, me he decidido a probar Sphinx. Con tu ayuda más la documentación y foros de sphinxsearch.com he logrado instalarlo y que funcione correctamente, pero me falta un detalle para poder usarlo en mis sitios web: no he conseguido que, además del ID de los documentos, los resultados de la búsqueda muestren el título, breve descripción u otros datos de los mismos (ignorancia PHP).

    ¿Podrías orientarme al respecto? Me gustaría saber qué hay que añadirle al siguiente ejemplo (u otro similar) para que, al menos, muestre el título y descripción de los registros que se correspondan con la búsqueda realizada: http://www.sphinxsearch.com/forum/view.html?id=660

    Gracias en cualquier caso y saludos cordiales:

    Manuel

Leave a Reply

This is a captcha-picture. It is used to prevent mass-access by robots. (see: www.captcha.net)

Debes leer y teclear los 5 caracteres entre 0..9 y A..F, y enviar la respuesta.

  

No puedo leer esto. Por favor, generar un