CompuGlobalHiperMegaNet

OpenSearch es un estándar para la publicación de resultados de una búsqueda en un formato adecuado para la sindicación y agregación. Es una forma de que las páginas web y los motores de búsqueda publiquen sus resultados de forma accesible.

Es un protocolo creado por a9.com (propiedad de Amazon) y actualmente es usado por muchos navegadores (principalmente Internet Explorer 7 y Firefox 2) en sus combos de buscadores.

Para incluir opensearch en un buscador propio, basta con escribir un pequeño xml que mapee el campo de búsqueda con una petición web. Luego adicionalmente podemos incluir una etiqueta en el sitio web para que el navegador sepa que esa página dispone de opensearch.

El fichero xml

Es un fichero muy simple en el que se indica que es un documento opensearch, como se mapea la peticion de consulta del buscador y que icono (tipo favicon) queremos usar. Luego pueden usarse más opciones, pero para un caso simple bastaría con esto (además no todos lo navegadores soportan todas las opciones).

Por ejemplo, para el buscador de la wikipedia el fichero xml sería:

Y ya sólo queda poner la etiqueta de notificación de sistema de búsqueda:

Y para acabar de rematar la faena, podemos incluir un enlace para que al pulsar en el se instale nuestro sistema de búsqueda. Por ejemplo: SearchPedia.

Para realizar esto último, debes usar el siguiente código javascript:

Referencias

• Página oficial de Opensearch
• Información en la Wikipedia
• Informacion en Mozilla Developer Center

Se han realizado varias mejoras sobre el buscador de wikipedia.

La primera es que se ha mejorado considerablemente el tiempo del reconstrucción del índice. En concreto esta era la única carácterística que había defraudado cuando se desarrolló y mostró como hacer un buscador para la wikipedia. En aquella prueba me quejaba de que tardara casi 15 minutos en construir el índice.

Tras postear en el foro de sphinx y confirmarme allí que no era el tiempo esperado para esa operación, me dí cuenta de que los índices que tienen las tablas del mediawiki están optimizados para sus consultas pero no para las que queremos realizar al indizar los artículos.

Una vez optimizado eso, se reduce el tiempo de construcción a unos 5 minutos, algo mucho más lógico.

También se han corregido algunos errores en la paginación cuando las consultas contenían caracteres que necesitaban codificación (acentos y ñ).

Soporte para stemming

Como mejora principal, se ha realizado un cambio relevante en el motor de búsqueda. Se ha incluido el soporte de stemming para castellano en sphinx. A partir de ahora en el formulario del buscador se incluye un checkbox donde se indica si se quiere realizar una búsqueda con stemming o no.

Ahora el interfaz queda asi:

Ahora las búsquedas pueden ser ampliadas con resultados relacionados (y por supuesto relevantes) ya que el stemming (o lematización) hace que las palabras búscadas sean reducidas a su lexema.

Por ejemplo si realizamos la búsqueda electricidad sin stemming nos devolverá 11 artículos, pero si realizamos esa misma búsqueda electricidad con soporte de lematización obtendremos 117 resultados. Estos resultados adicionales incluyen términos como eléctrica, eléctrico y otras palabras que puedan ser reducidas al mismo lexema "electr".

Aparte de no estar desechando resultados interesantes para la búsqueda se tiene la gran ventaja de que todas las búsquedas que se realicen sobre palabras que deriven el el mismo lexema devolverán exactamente los mismos resultados. Por ejemplo obtendremos lo mismo si consultamos electricidad, electrica o electrico

A disfrutar del buscador.

He hablado más de una vez del indexer/searcher Sphinx en el blog y de que es una herramienta genial para realizar buscadores de texto completo de alto rendimiento. Si todavía no conoces sphinx echa un ojo a:

• Página oficial de la herramienta
• Instalación de sphinx
• Proceso de creación de un Buscador de wikipedia

Lo que ahora quiero presentar es un stemmer en castellano que desarrollé hace unos meses para sphinx.

¿Qué es un stemmer?

Un stemmer es un algoritmo que realiza un proceso de stemming o lematización por el cual cada palabra es reducida a su lexema o raíz.

Este proceso es realmente útil para aumentar el recall o exhaustividad de un sistema de recuperación de información. Es muy importante tener en cuenta que el stemming es completamente dependiente del idioma en el que está la información a procesar.

Genial, pero ¿Qué es un stemmer?

Imaginemos por un momento que tenemos un directorio de empresas y un buscador asociado. Supongamos que disponemos en base de datos los siguientes registros:

• ID Nombre
• 1 "Fontanería Los rápidos"
• 2 "Perez Fontaneros"
• 3 "El fontanero feliz"

Si no disponemos de una herramienta de lematización, tendríamos los siguientes resultados:

• Consulta ID-resultante
• "fontanería" 1
• "fontaneros" 2
• "fontanero" 3

Esos resultados no sólo serían diferentes entre sí, sino que además estarían incompletos. En cambio si para esos mismo registros de base de datos usamos un stemmer para castellano:

• Consulta ID-resultante
• "fontanería" 1 2 3
• "fontaneros" 1 2 3
• "fontanero" 1 2 3

Creo que ya ha quedado claro la importancia de usar técnicas de stemming.

Sphinx y el stemmer

En este caso en particular, sphinx provee de dos stemmers, uno para inglés y otro para ruso (ya que el desarrollador es ruso). Si queremos realizar un buscador web con sphinx que aplique técnicas de stemming sólo hay una opción: desarrollar el stemmer nosotros mismos.

Después de estudiar un poco como es la parte de lematización en sphinx por dentro se ve que sería suficiente con desarrollar una función en C/C++ que recibida una palabra por parámetro devuelva su lexema y luego integrarlo con un par de directivas y actualización de los makes.

¿Por dónde empezar?. Bueno, pues es importante destacar que hay una persona que se encargó en su día de definir los algoritmos de stemming y es el verdadero referente en el tema. Se llama Martin Porter , el ya nos ha hecho todo el trabajo sucio y nos pone en bandeja la codificación.

Fases del stemmer

• Fase 0: Eliminar pronombres
• Fase 1: Eliminar sufijos estándar
• Fase 2a: Eliminar sufijos verbales que empiecen por y
• Fase 2b: Eliminar otros sufijos
• Fase 3: Eliminar sufijos residuales
• Final: Convertir acentos

Instalación e integración del stemmer con Sphinx

La versión de sphinx para la que se va a explicar todo es la 0.9.7 (la última).

El stemmer en si, es un único fichero sphinxstemes.cpp con la función que realiza la lematización. Pero para integrarlo en sphinx es necesario incluir un par de líneas en 4 archivos:

En el fichero sphinx.h, en la línea 251 esta definido el enum de morfologías. Se debe cambiar por este:

En el fichero sphinx.cpp, línea 8300 aproximadamente, cambiar el método GetWordID por:

En el fichero sphinxutils.cpp, hay que modificar el parser del fichero de configuración. en la línea 419 la función sphConfMorphology debe tener esta pinta:

Por último en el fichero sphinxstem.h, se debe poner la definición de la función de stemming. Añadir

Una vez modificado esto, sólo queda actualizar los make para reconstruir el proyecto. Incluir sphinxstemes en am__objects

y también el cpp en los fuentes

Configuración

Una vez recompilado sphinx con el soporte para el stemmer en castellano, podemos configurar un índice que lo use índicandoselo en el fichero de configuración de esta manera (omitidos los campos que no cambian de una configuración normal):

Hay que tener mucho cuidado con la charset_table, porque es ahí, dónde se definen que caracteres aceptamos para el índice y cuales reconvertimos. El formato U+XX es unicode, y podeis ver unas tablas de códigos en unicode.org.

En la charset_table definida se aceptan los números, los guiones bajos, las letras acentuadas (sólo acentos del castellano) y las letras sin acentuar. Además son convertidas de mayusculas a minúsculas (eso quiere decir la -> ). Una mala configuración de este parámetro puede darnos muchos dolores de cabeza, asi que recomiendo estudiarlo con detenimiento. Por ejemplo, en el caso del búscador de la wikipedia, no se acepta el guión bajo, ya que es el usado en los títulos a modo de espacio.

Si por alguna razon, no quisieramos usar stemming pero si indizar texto en castellano, habría que retocar esta tabla para convertir los caracteres acentuados a su equivalente sin acentuar (más la ñ).

Pruebas del stemmer
En la web de Porter, se da una lista de 28000 palabras y su lematización correcta. El stemmer ha sido probado con esa lista y cotejando el resultado esperado con el obtenido. A excepción de 5 palabras (que debo revisar) todo va igual.

Descarga del stemmer

El stemmer al igual que el proyecto sphinx, es GPL, asi que puedes usarlo con libertad.
Puedes descargarlo de aqui: stemmer-castellano

Donde ver un buscador con el stemmer aplicado

El stemmer se puede ver en buscador de la wikipedia y también en el agregador de blogs agregax, un proyecto muy interesante que lleva a cabo Pau Iglesias (recientemente le hicieron un artículo en El País).

En php existe una función muy simple que te pasa una cadena dada a minúsculas. Esta función es strtolower y, a priori no tiene mucha complicación. Pero cuando un día empiezas a ver tu base de datos o sitio web con palabras malformadas te mosquea, empiezas a estudiar el problema y concluyes que no pasa bien a minúsculas los caracteres que no pertenecen al ascii-7. En teoría depende del locale de la maquina, pero ¿porque hacer código dependiente de mil variables de sistema?.

Por lo tanto la función, tan necesaria como simple, no nos vale por si misma para el propio idioma español ya que convierte cadenas como "LOGROÑO" a "logroÑo" y "DÍA" a "dÍa".

La solución pasa por hacer un paso previo al strtower que convierta estos caracteres:

Es mejor poner los caracteres acentuados con chr o hexadecimal para no tener problemas cuando cambias a un sistema de ficheros sin soporte local para esos caracteres.

Consejo: cuando usas una función php, lee los comentarios de la gente bajo la explicación de la sintaxis en la referencia de la web, te ahorrará trabajo.