Después de instalar un clúster con Hadoop podemos usar un par de herramientas incluidas con el sistema para comprobar que todo está funcionando correctamente. Al mismo tiempo estos resultados van a crear una base con la que podemos comparar en el futuro el funcionamiento del clúster.
A continuación vamos a ver cómo podemos crear estrés en el clúster. Esto a través de un par de tareas realmente simple para comprobar que el sistema de ficheros distribuido de Hadoop [HDFS] (Hadoop Distributed File System) y las funciones de cómputo usando el algoritmo MapReduce están trabajando correctamente.
I – Estresando HDFS y creando una base para comparación.
1. Escribiendo 50 ficheros de 1000 Mb cada uno al HDFS.

- Los ficheros de salida de este comando van a ser escritos en /benchmarks/TestDFSI de manera predefinida.

2. Leyendo 50 ficheros de 1000 Mb cada uno desde HDFS.

Después de ejecutar estos dos comandos (trabajos) podemos limpiar los ficheros que se generaron usando el siguiente comando:

II- Comprobando que MapReduce trabaja estresando el sistema y creando una base de comparación.
1. Escritura aleatoria:

2. Clasificar datos (sort data):

3. Chequear la sanidad de los datos clasificados:

Espero que esta entrada les haya sido útil.

2. Configuramos CNTLM

Primero abrimos con un editor de texto el archivo en /etc/cntlm.conf y modificamos algunos parámetros de acuerdo a nuestra red:

3. Después de salvar los cambios en el archive de configuración, procedemos a cambiar los permisos del archivo para que nadie más pueda leer la información.

4. Iniciamos el servicio y configuramos el sistema para que siempre lo haga cuando inicie.

5. Finalmente, configuramos el sistema para que use el proxy en el puerto 3128, podemos hacer esto añadiendo lo siguiente en ~/.bashrc

Espero que esta guía les sea útil, por favor deje sus comentarios.

Desde hoy esta disponible para descarga la ultima versión de Fedora, la numero 16. Para mas detalles http://fedoraproject.org.

Un amigo hoy me pidió asistencia con una fuga de memoria (Memory Leak). Una manera fácil de identificar el proceso que causa la fuga de memoria en vez de tener que sacar varios sysreports/sosreports de un sistema es configurando top cada 10 minutos. Aquí les dejo como configurarlo a través de cron.

Y entrar la siguiente línea en el fichero de Cron.
*/10 * * * * root /usr/bin/top -d 1 -n 1 -b >> /tmp/log/top-leak.log

Después de esto solo sería chequear el fichero creado con la información e ir a través de los datos recopilados.

Hoy instale Fedora 15, no quise hacer un “upgrade” de mi versión 14 porque esa antes era 13 y antes 12 (ya mi maquina necesitaba una instalación fresca del sistema operativo).
Después de la instalación, lo primero que he hecho es configurar lo siguiente:

I- YUM y los repositorios.

Fedora usa YUM para manejar los paquetes (instalar, actualizar, etc) desde un repositorio central. El gran problema es que Fedora tiene varios repositorios en servidores alrededor del mundo.

Lo que hago en este caso es instalar un paquete que se llama yum-plugin-fastestmirror que localiza el repositorio más cercano y con mejores condiciones para obtener los paquetes de el.

II- Primera actualización.

En este paso actualizo el sistema. No importa cuando descargaste el ISO de Fedora y cuando ocurrió tu instalación, recuerda que las erratas de los paquetes pasan a diarios, corrigiendo fallas de seguridad y de software, por lo que este paso después de finalizar una instalación nueva es súper importante.

III – Flash player para Firefox 64 bits.

1. Vamos a http://get.adobe.com/flashplayer/ e instalamos el Paquete que trae el repositorio para YUM de Adobe.
2. Instalamos el plugin de 32 bits wrapped :

Después de esto ya estamos listos para ver sitios con contenido flash (youtube, entre otros).

IV- Habilitamos otros repositorios (RPM-FUSION).

En este caso habilitamos otros repositorios, en este caso yo uso RPM FUSION para habilitar soporte mp3 y de video que veremos más adelante.

V – Adicionamos soporte para MP3 y Videos.

Algo que hago siempre es adicionar soporte para los MP3 y archivos de videos, para eso vamos a usar el repositorio que añadimos anteriormente (RPM FUSION).

Después de esto estamos listos para escuchar nuestros mp3s y ver películas. Yo particularmente sigo usando XMMS para la música y VLC para los archivos de video.

VI – Oracle VirtualBox.

Personalmente uso en mi sistema VirtualBox para mis máquinas virtuales por los siguientes motivos:
1- Es gratis.
2- Es multiplataforma.
3- Nunca he tenido problema alguno con VirtualBox en ningún sistema operativo.

La instalación del mismo es bastante fácil, yo personalmente uso DKMS para compilar los modulos:

En caso de que la instalación falle, podemos tratar de recrear el modulo para VirtualBox:

VII – Instalar Adobe Acrobat.

Para ver los PDF como Dios manda siempre instala Acrobat reader, es bien sencillo:

VIII – Cliente de Correo Electrónico.

Fedora trae predefinido Evolution como cliente de correo, yo sin embargo sigo adepto a Mozilla Thunderbid. Y es algo que siempre uso e instalo en el sistema. Instalar Thunderbird en Fedora 15 es bastante fácil:

Y eso es todo, la configuración de la cuenta de correo en Thunderbid es bastante fácil.

Después de estos pasos cada quien puede seguir configurando a gusto, por ejemplo yo seguiré con la instalación de GnuPG + Enigmail. Pero eso se los dejo para otra entrada.

El 24 de mayo será el dia oficial para el lanzamiento de la version 15 de Fedora. Para mas información por favor visite el sitio web del proyecto fedora .

Todos los sistemas Linux utilizan una imagen de kernel llamada initrd.
Esta es una pequeña imagen del kernel es la contiene los drivers necesarios para el tipo de sistema. Si esta imagen de kernel no tiene defenidos los drivers digamos de scsi todos los dispositivos scsi no serian reconocidos por el kernel.

Para poder ver que drivers están en esta imagen podemos usar este comando para mandarlos a a pantalla (standard output).

Si gustas guardar el resultado en un archivo para verificar cuales drivers el kernel esta montando:

2. Después de esto podemos chequear que el servicio esté corriendo en el servidor:

Pero yo prefiero usar el comando “service” para chequear el servicio:

Si el servicio no está corriendo podemos iniciarlo de la siguiente forma:

3. Otra cosa que debemos chequear cuando tenemos problemas de correo en el servidor es que los puertos (en este caso para sendmail) están abiertos. Sendmail usa los puertos 25 y 587 predefinidos.

Por motivos de prueba si hay problemas con sendmail siempre me gusta para el firewall (corta fuegos) en el servidor de la siguiente manera:

Pero lo mejor sería siempre abrir los puertos necesarios en el firewall (iptables), esto lo podemos hacer de la siguiente manera, editando /etc/sysconfig/iptables usando vi o nano y adicionando lo siguiente:
-A INPUT -p tcp -m tcp –dport 25 –syn -j ACCEPT
-A INPUT -p tcp -m tcp –dport 587 -j ACCEPT
Por favor, en este caso estas entradas deben ir antes de cualquier regla REJECT. Salvamos el fichero y reiniciamos el servicio:

Algo que me gusta hacer si hay problemas con algún servicio (en este caso sendmail) es chequear si el Puerto está escuchando correctamente:

4. Si todo parece en orden podemos chequear que está trabajando de la siguiente manera desde la terminal usando mutt o el comando mail :

Usando Mutt seria de la siguiente forma:

O

O también pueden usar lo siguiente :

Estoy obviando un paso obvio que es chequear los logs, ese creo que está de más incluirlo en la lista. Siempre que estamos tratando de arreglar problemas lo primero que se debe de chequear son los logs de ese servicio/ aplicación.
NOTA: Por favor, sepan que algunos servidores de correo (gmail, Hotmail, etc) marcan los correos enviados sin SMTP Relay como SPAM. Si les interesa saber cómo configurar sendmail o como configurar SMTP relays en sendmail, por favor déjenme un comentario o escríbanme a mi correo.

Estamos asumiendo que el MD3000 ya está cableado y el Sistema Operativo instalado en el server.

El software que se necesita para esta instalación esta en el Dell PowerVault MD3000 Resource CD. Puedes bajar el CD desde aquí:

Montamos el ISO:

Primero instalemos algunas dependencias ya sea con yum (si es que está configurado), o puedes usar tu Media de instalación (CentOS DVD).

Existen dos formas de instalar el software, una es usando el script que viene en el Resource CD ./install.sh, para que este método funcione se necesita hacer desde el GUI ya sea runlevel 5 o conexión vía VNC.
La segunda opción es instalando los paquetes por medio de DKMS (Dynamic Kernel Module Support), esta es la opción que seguiremos en nuestro lab.

Primero instalemos el paquete de DKMS desde el Resource CD.

-Los paquetes rpm para CentOS 5 y RHEL 5 se encuentran bajo /mnt/linux/RPMS/rh5/

Los paquetes son:
linuxrdac-09.03.0C06.0234-1dkms.noarch.rpm
mptlinux-4.00.38.02-3dkms.noarch.rpm

Nota: En Red Hat va a instalar los paquetes automáticamente, en CentOS necesitas indicarle a dkms donde está tu Kernel Source para la compilación.
Notaras que los RPMS se instalan pero no compilan, a continuación te mostrare como arreglar esto.

Instala los dos rpms mptlinux y linuxrdac.
Si todo sale bien puedes checar que si se instalaron satisfactoriamente:

Si actualizas tu kernel a una versión mas nueva, en nuesteas puebas subimos de la versión de kernel 2.6.18-167.el5 a 2.6.18-194.3.1.el5, junto con la misma versión de kernel-devel, tienes que instalar los modulos usando dkms en el nuevo kernel.

Como podemos ver los paquetes mptlinux y linuxrdac no están instalados en el nuevo kernel.

Tenemos que volverlos a instalar haciendo un “build” y después “install”.

Reinicia el equipo y verifica que todo inicie correctamente.

Una de las razones que puede causar este problema es estar manejando servidores con ESX 3.5 conectados a almacenamiento iSCSI desde ese vCenter.

Si ese es el caso, podemos buscar uno de estos sintomas para confirmar que esa es la causa:

1. En vCenter vamos a los servidores ESX 3.5 que usen iSCSI. A continuacion vamos al tab de Configuration, luego a Storage, y por ultimo hacemos click en una de las luns iSCSI y luego en el enlace de Manage. Si nos da un error en vez de mostrarnos los diferentes Paths, entonces este servidor puede estar causando la caida de vCenter. En condiciones normales deberia mostrarnos los diferentes paths a esa lun.
2. Buscamos el archivo vpxd.log en vCenter (la ruta en Windows 2008 seria %ALLUSERSPROFILE%\VMware\VMware VirtualCenter\Logs). Abrir el archivo y buscar la fecha y la hora donde el servicio se cuelga (podemos buscar la palabra ”panic”) y junto al panic debe mostar el nombre de un servidor con ESX 3.5 y informacion acerca de alguno de los paths de iscsi.  Si ese es el caso, ese servidor esta causando el crash del vCenter.

Si identificamos que esa es la causa de los cuelgues de vCenter tenemos 2 opciones, desconectar el servidor ESX de ese vCenter, o actualizar a vSphere 4.0 o superior.

Siempre es recomendable en primer lugar actualizar el servidor vCenter con los ultimos parches en caso de que ya se haya corregido el problema.