strtolower y los acentos en php

23 Mayo, 2007

En php existe una función muy simple que te pasa una cadena dada a minúsculas. Esta función es strtolower y, a priori no tiene mucha complicación. Pero cuando un día empiezas a ver tu base de datos o sitio web con palabras malformadas te mosquea, empiezas a estudiar el problema y concluyes que no pasa bien a minúsculas los caracteres que no pertenecen al ascii-7. En teoría depende del locale de la maquina, pero ¿porque hacer código dependiente de mil variables de sistema?.

Por lo tanto la función, tan necesaria como simple, no nos vale por si misma para el propio idioma español ya que convierte cadenas como "LOGROÑO" a "logroÑo" y "DÍA" a "dÍa".

La solución pasa por hacer un paso previo al strtower que convierta estos caracteres:

PHP:

  1. function strtolowerExtended($str)
  2. {     
  3.         $low = array(chr(193) => chr(225), //á
  4.                      chr(201) => chr(233), //é
  5.                      chr(205) => chr(237), //í­
  6.                      chr(211) => chr(243), //ó
  7.                      chr(218) => chr(250), //ú
  8.                      chr(220) => chr(252), //ü
  9.                      chr(209) => chr(241)  //ñ
  10.                      );
  11.  
  12.  
  13.       return strtolower(strtr($str,$low));
  14.  
  15. }

Es mejor poner los caracteres acentuados con chr o hexadecimal para no tener problemas cuando cambias a un sistema de ficheros sin soporte local para esos caracteres.

Consejo: cuando usas una función php, lee los comentarios de la gente bajo la explicación de la sintaxis en la referencia de la web, te ahorrará trabajo.

MySQL, índices y cintas de video

22 Mayo, 2007

La mayoría de la gente que trabaja con MySQL (ójala fueran todos), sabe que los índices son una parte importantísima del rendimiento en las consultas a base de datos. Para los no conocedores del tema, se pueden crear índices (y se deben...) para que cuando queremos obtener un conjunto de registros, segmentados por algún tipo de condición, estos sean devueltos con un mínimo de rapidez. La regla suele ser que por cada campo de un WHERE se debe tener un índice. Luego se puede estudiar el comportamiento y optimizar estos índices con la maravillosa instrucción EXPLAIN.

A mi juicio, esto tiene una excepción, y son las consultas de texto completo en las que es mejor usar una herramienta externa de consulta de índices de texto completo (fulltext).

No quiero entrar en todo el tema de teoría de índices y demás, pero básicamente se puede resumir en que se reduce un poco el rendimiento de una inserción o actualización en base de datos en pro de la rapidez en consulta.

Generalmente se trabaja con tablas en las que se escribe esporádicamente y se lee muy a menudo de manera que es muy importante mantener esos índices. Hoy me he encontrado el único caso en el que es muchísimo mejor no tener índice alguno en las tablas a utilizar y, aunque es un caso muy particular, no es imposible que ocurra.

Se basa en las siguientes premisas:

  • Se debe llebar una o varias tablas con una cantidad de registros muy alta (varios millones)
  • Se llenan de seguido, no esporádicamente. No sufren lecturas (SELECT) durante el tiempo de inserción
  • Son tablas de caracter transitorio: un script lee una fuente de datos (ficheros) las rellena y cuando ha acabado, serán consultadas y borradas.

En este caso, es imprescindible para el rendimiento que las tablas donde se va a realizar la inserción no tengan índices ( aparte de la clave primaria claro) para que se hagan lo más rápido posible. Una vez finalizado el proceso de inserción, se construyen los índices necesarios, se ejecutan las consultas pertinentes y posteriormente se borran las tablas.

Si medimos el tiempo de ejecución del modelo clásico en fragmentos de 10.000 inserciones se verá que el tiempo para ejecutar esos mismo fragmentos aumenta mucho segun va pasando el tiempo y llenandose la tabla. Sin embargo el modelo de "patada a la teoría" mantiene una buena tasa de inserción constante. Posteriormente el tiempo de creación de índices es despreciable comparado con lo que tardaba la manera original con índices.

He intentado reproducir lo que me ha ocurrido hoy en una máquina de desarrollo y ha pasado en varios órdenes de magnitud menor pero aún así se consigue el mismo objetivo en la mitad de tiempo. 1 millon de inserciones (de las cuales la mitad derivan en una insercion adicional) en 250 segundos frente a 600 segundos por el mismo trabajo. Posteriormente la creación de los índices no supera los 60 segundos.

Conclusión: picardía y ganas de enredar acaban en beneficio para el rendimiento.

Convertir cadenas a su equivalente semántico

15 Mayo, 2007

A menudo, necesitamos pasar una cadena de su forma real a una forma que se mucho más amigable con las URLs. Esto se realiza con objetivos de posicionamiento y SEO en general.

Imaginemos que tenemos una página dinámica que va mostrar una noticia.

El primer paso sería que reciba un ID como parámetro GET y muestre el contenido.

nuestroperiodico.com/noticia.php?id=23


El segundo paso sería poner el título urlencodeado ( nuevo palabro, usar funcion urlencode de tu lenguaje favorito) para que los robots de los motores de búsqueda vean reflejado en las url términos importantes del contenido.

nuestroperiodico.com/noticia.php?id=23&titulo=El+alcalde+ha+muerto


Pero, ¿que pasa si el título de la noticia contiene caracteres que no son muy agradables de urlencodear como acentos o símbolos? Para el título: "El Tráfico: Madrid colapsado por las obras" tendríamos esta url:

nuestroperiodico.com/noticia.php?id=23
&titulo=El+Tr%E1fico%3A+Madrid+colapsado+por+obras


Debemos convertir el título a algo más agradable para una url y para ello haremos los siguientes pasos:

  • Convertir la cadena a minúsculas
  • Quitar símbolos de puntuación y otros símbolos incomodos (como las barras y comillas)
  • Convertir los acentos a sus equivalentes sin acentuar (mas la ñ)


Mucho mejor, quedaría así:

nuestroperiodico.com/noticia.php?id=23
&titulo=el-trafico-madrid-colapsado-por-obras


Pero, ¿porqué pararnos aquí?, las url (en terminos SEO) tienen una longitud a partir de la cual no les gustan a los algoritmos de posicionamiento. Asi que vamos a dejar sólamente la información que realmente interesa. A nuestroperiodico no le interesará nunca posicionarse por los terminos "el" o "por", son términos tan comunes que no tienen ninguna relevancia. En términos de recuperación de información se denominan palabras vacías. Estaría bien tener un último filtro que nos quitara las palabras vacías dejando la url de nuestra noticia así:

nuestroperiodico.com/noticia.php?id=23
&titulo=trafico-madrid-colapsado-obras


¿Y cómo narices hago todo esto? Dejo un poquito de código para los interesados (para poder descargarlo solo pinchar encima de "plain text" y se pone en modo plano).



La vida después de esto

Esto sólo es un primer paso , el gran paso se da cuando se pone uno a juguetear con el mod_rewrite de Apache (otros servidores web tienen modulos o plugins con objetivos similares). No es el objetivo de este artículo pero con mod_rewrite llegaríamos a esta url (para lo que también usaríamos el proceso de conversión a cadenas semánticas):

nuestroperiodico.com/nacional/trafico-madrid-colapsado-obras/23


Código fuente

Determina si una palabra es vacía o no. Generalmente se tienen como mínimo las preposiciones y artículos. Se pueden ir añadiendo las que a cada uno le parezca más oportuno. Si la lista crece, no estaría nada mal sacarla a un fichero externo.

PHP:

  1. function esVacia($palabra)
  2. {
  3.     $esVacia = false;
  4.     $vacias = array("a", "ante", "bajo", "con", "contra", "de", "desde", "en",
  5.                     "entre", "hacia", "hasta", "para", "por", "segun", "sin", "so",
  6.                     "sobre", "tras", "durante", "mediante","la","las","los","el","y","del");
  7.     foreach($vacias as $v)
  8.     {
  9.         if($v==$palabra)
  10.         {
  11.             $esVacia = true;
  12.             break;
  13.         }
  14.     }
  15.     return $esVacia;
  16. }


Cambia los acentos y tildes por sus equivalentes.

PHP:

  1. function cambiaAcentos($str)
  2. {
  3.  if(is_utf($str))
  4.  {
  5.      $str = utf8_decode($str);
  6.  }
  7.  
  8.   $str = htmlentities($str);
  9.   $str = preg_replace('/&([a-zA-Z])(uml|acute|grave|circ|tilde);/','$1',$str);
  10.   return html_entity_decode($str);
  11. }



Pequeño apoyo para cadenas utf. No he probado mucho con ella (usar con cuidado).

PHP:

  1. function is_utf ($t)
  2. {
  3.  if ( @preg_match ('/.+/u', $t) )
  4.       return 1;
  5. }



Función maestra que convierte las cadenas a su equivalente semántico. Se le pasa como parámetro opcional la eliminación de palabras vacías. Cuidado con el orden de cambiar los acentos y pasar la cadena a minúsculas. Debe ser exactamente ese, ya que la función strtolower de php no pasa a minúsculas las mayúsculas acentuadas (o ñ).

PHP:

  1. function strtosem($str,$eliminaVacias=true)
  2. {
  3.  
  4.     $str = cambiaAcentos($str);
  5.     $str = strtolower($str);
  6.  
  7.     $str_partes = split("[ ()/']",trim($str));
  8.  
  9.  
  10.     if($eliminaVacias)
  11.     {
  12.  
  13.         $partes_destino = array();
  14.  
  15.         foreach($str_partes as $parte)
  16.         {
  17.             $parte = trim($parte);
  18.             if(!esVacia($parte) && !empty($parte))
  19.             {
  20.                 $partes_destino[] = $parte;
  21.             }
  22.         }
  23.         $str = implode("-",$partes_destino);
  24.     }
  25.     else
  26.     {
  27.         $str = implode("-",$str_partes);
  28.     }
  29.  
  30.  
  31.  
  32.     return $str;
  33.  
  34. }

Reflexión sobre searchpedia

15 Mayo, 2007

Parece ser, que lo que sólo era un experimento con motores de búsqueda ha gustado y eso me alegra. No pretendo hacer la competencia a la wikipedia ( aunque quisiera no dispongo de los dump actualizados ), sólo demostrarme a mi mismo que se podía hacer y compartir con todos el proceso de creación.

La noticia salió a portada en barrapunto y me dejó bastante tráfico durante unos días. Algún otro blog se hizo eco y luego hubo otros que simplemente son unos cutres, como es el caso de esta gente, que fusilaron el post al completo, sin ni siquiera citar, ni preocuparse de poner bien el contenido (el código fuente y los enlaces). ¿Pretendían hacer el texto suyo? Parece que no, porque pone "Aqui esta el texto original". Pero entonces, ¿Porqué no citar?. ¿Porque no hacer una pequeña reseña de 6 líneas enlazando a la fuente original?

A veces no entiendo nada.