29 de octubre de 2011

BackTrack 5: Instalación en una máquina virtual

Ya se que tengo pendiente terminar la serie del cluster web de alta disponibilidad, pero como hace tiempo que salió disponible la última versión de BackTrack y tenía ganas de hacer algo diferente, comienzo con la instalación de esta grandiosa distribución orientada al mundo de la seguridad.

Lo primero de todo una vez tenemos la imagen ISO, tener un equipo donde realizar la instalación. Como siempre en mi taller particular, con una máquina virtual de las siguientes características:


Arrancamos el liveDVD descargado y utilizamos la opción por defecto del menu de arranque.


Una vez que termina el arranque del sistema, ejecutamos la interfaz gráfica como muestra la captura con el comando startx.


Desde las opciones del sistema (Menu > Settings > System Settings):


Modifico las locales



Y el layout del teclado



Después arranco el script Install BackTrack situado en el escritorio donde como primer paso elegimos el idioma del instalador.


Luego el uso horario y el idioma antes de pasar el particionamiento del disco.



En este caso voy a dejar la instalación por defecto del sistema para no alargar demasiado del tutorial. En posteriores entradas realizaré la instalación en unidades USB donde realizaremos el particionamiento de manera manual.


Y finalizamos el asistente confirmando el resumen final:

  

Es complicado realizar capturas de todas las fases de la instalación, pero intentaré describir brevemente los siguientes pasos. Primero se crea el sistema de archivos y se formatean las particiones:

  

Luego empieza la copia de los archivos al disco duro:


Se configuran ciertos componentes como el idioma, el sistema de paquetes APT, el reloj, etc.


Luego el hardware y el gestor de arranque




Y reiniciamos el sistema para arrancar desde el disco duro:


Nos logueamos con el usuario root y contraseña toor

 

Cambiamos la contraseña de root con el comando passwd y arrancamos el entorno gráfico




En siguientes entradas realizaremos la actualización del sistema operativo y la configuración y actualización de algunas de las herramientas incluidas en esta suite.

Un saludo, Brixton Cat.

4 de octubre de 2011

Cluster Web Alta Disponibilidad: Instalación del cluster

En esta entrada describiré la instalación de las herramientas para la creación y configuración de la granja de servidores que alojará nuestro portal Web. Comprobaremos la instalación y describiré las herramientas básicas para la administración y la resolución de problemas del cluster.

En primer lugar, realizamos la instalación de pacemaker y corosync junto con el resto de dependencias.


Realizaremos la configuración de Corosync para establecer el grupo multicast que posibilita la comunicación entre los nodos del cluster. Pacemaker como comentabamos anteriormente, es el encargado de la gestión de los recursos del cluster y de la comunicación entre los servicios y la capa OpenAIS proporcionada por Corosync.


En primer lugar deberemos crear la clave que compartirán los miembros del cluster, sobre ésta la única información que he encontrado ha sido que es una clave privada de tamaño 1024 bits y se genera a través del dispositivo /dev/random; con la opción -l se utiliza el archivo /dev/urandom evitando la interacción con el usuario.


La clave generada en la ruta /etc/corosync/authkey debe ser copiada a todos los nodos del cluster.


Editamos el archivo de configuración /etc/corosync/corosync.conf donde especificar la dirección de la red (bindnetaddr) por la que se comunicarán los nodos. En caso que tengamos otros cluster corriendo en la red, deberemos cambiar la dirección y el puero multicast para evitar conflictos: mcastaddr y mcastport.


Por defecto, corosync está configurado para utilizar pacemaker como servicio por lo que no es necesario modificarlo.


Activamos la ejecución del servicio corosync en el arranque del sistema (/etc/default/corosync)



Copiamos el archivo de configuración (/etc/corosync/corosync.conf) y el del arranque por defecto (/etc/default/corosync) al nodo secundario


Arrancamos el servicio corosync y comprobamos que se está ejecutando.



 

En caso de tener problemas, en el siguiente enlace se puede encontrar más información para verificar la instalación.



Podemos utilizar el comando crm_mon para monitorizar el estado del cluster y comprobar, tras unos minutos del arranque del servicio, que los nodos están listos para la configuración de los recursos.


Herramientas de administración

En esta segunda parte paso a describir levemente las disintas herramientas que tenemos para la administración del cluster y sus recursos. La configuración que se muestra a continuación será explicada con mayor detalle en la siguiente entrada.

- crm_mon. Como ya comentabamos anteriormente, nos sirve para monitorizar el estado del cluster y de sus recursos.


- crm node standby|online. Este comando nos permite activar o desactivar los nodos durante tareas de pruebas, actualizaciones, etc.



- crm configure show. Con este comando podemos ver el archivo cib.xml utilizado por el cluster para guardar la configuración.


- crm configure edit. Con este comando podemos editar el archivo de configuración anterior.


- crm resource status|start|stop. Podemos comprobar el estado de un recurso, arrancarlo, pararlo, etc.


- crm resource cleanup. Con este comando borramos los errores de un recurso.


- crm resource reprobe. Comando para iniciar recursos no arrancados.


En la siguiente entrada comenzaremos con la configuración de los recursos mostrada en estas capturas donde se explicará mejor y se realizarán pruebas para ver el comportamiento del cluster.

Enlaces de referencia:

http://www.clusterlabs.org/wiki/Debian_Lenny_HowTo
http://www.clusterlabs.org/doc/crm_cli.html
http://www.clusterlabs.org/doc/en-US/Pacemaker/1.1/html/Clusters_from_Scratch/

Un saludo, Brixton Cat.

2 de octubre de 2011

Cluster Web Alta Disponibilidad: Instalación Servidor Web

Una vez que tenemos listos los nodos que formarán parte del cluster, pasamos a instalar el servidor Web así como el gestor de base de datos y PHP para tenerlo preparado cuando configuremos el recurso en el cluster.

Deberemos instalar los paquetes apache2, php5 y mysql-server dejando que aptitude (o el gestor que más nos guste) nos resuelva las dependendias necesarias y nos solucione los conflictos que puedan ocasionarse.

Como se puede ver la captura, da un conflicto entre los módulos prefork y worker. Dejaré que se instale el paquete worker dado que proporciona mejores resultados y menor consumo.


Instalamos las librerias y módulos necesarios: libapache2-mod-auth-mysql, php5-mysql y php-gd.



Y comenzamos con la configuración del servidor Web. Para empezar deshabilitamos el sitio por defecto.


Y creamos un nuevo archivo con la configuración para nuestro sitio en la ruta /etc/apache2/sites-available con nombre www.example.es.


Para luego habilitar el nuevo sitio


Modificamos el archivo de configuración de Apache2 /etc/apache2/apache2.conf para incluir un ServerName del equipo así como para permitir la consulta al módulo Status. Aunque se recomienda deshabilitar este último por motivos de seguridad, es necesario para la gestión del recurso por el cluster por lo que nos aseguraremos que únicamente se pueda acceder desde localhost.


Deshabilitamos el módulo Autoindex y activamos Rewrite.


Creamos el directorio y el archivo de pruebas para el servidor al que le añadimos la función gethostname() de PHP para ver el resultado de las pruebas.


Y probamos desde el navegador a acceder a las IPs



En la próxima entrada instalaremos las herramientas para la creación del cluster: corosync y pacemaker. Realizaremos una configuración mínima de las herramientas y comprobaremos la correcta instalación de estas. Además describiremos levemente las distintas herramientas con las que administrar y comprobar el estado del cluster.

Un saludo, Brixton Cat.

1 de octubre de 2011

Cluster Web Alta Disponibilidad: Instalación del sistema base

Lo primero que tenemos que hacer para empezar con la instalación del cluster, es contar con los equipos que van a formar parte del mismo. En mi caso utilizaré VMWare para crear un par de máquinas virtuales en las que realizar la configuración.

Las caracteristicas hardware de las máquinas no tienen que cumplir muchos requisitos. Si queremos poner en producción este ejemplo, será necesario estudiar el proyecto así como dimensionar los equipos. Pero como esto se supone una maqueta, los equipos contarán mínimamente con:

- 1 procesador  
- 521MB RAM
- HDD SCSI 8GB
- 1 tarjeta ethernet 10/100
- Lector de DVD.


No voy a detallar los pasos para la instalación del sistema operativo dado que hay bastante literatura al respecto. Como reseña comentaré que acostumbro a desmarcar las utilidades estándar para luego instalar el software que realmente necesitaré.










 


Una vez acabado el proceso de instalación, pasamos a configurar los distintos archivos del sistema:

- /etc/network/interfaces: En este archivo describimos la configuración de red del servidor. Solo muestro la configuración de Bender.


- /etc/resolv.conf: Archivo donde especificamos los DNS así como el nombre de dominio de nuestra red.


- /etc/apt/source.list: Archivo con el listado de repositorios donde el gestor de paquetes buscará el software a instalar o actualizar.


- /etc/hosts: Archivo utilizado para la resolución de nombres de host.


Levantamos la interfaz y comprobamos la conexión antes de actualizar la lista de paquetes y los paquetes obsoletos.


Realizo la instalación de software base que siempre acostumbro a instalar: build-essential y linux-headers


Instalamos el servidor SSH, en este caso no voy a tocar la configuración por defecto.


Y comprobamos que LVM2 está instalado en el sistema para posteriormente crear los volúmenes lógicos para nuestro sistema de ficheros.


Hasta aquí la ínstalación y configuración mínima del sistema base sobre el que iremos trabajando. Hay que tener en cuenta que estos mismos pasos se repiten para la instalación del segundo equipo, cambiando exclusivamente los datos del direccionamiento así como el nombre de host.

En la siguiente entrega instalaremos el servidor Web así como el resto de componentes que serán necesarios para finalmente instalar nuestro gestor de contenidos. Igualmente se realizará una configuración minima inicial para ir realizando pruebas sobre la maqueta y estudiar el resultado de las pruebas.

Un saludo, Brixton Cat.

Cluster Web Alta Disponibilidad: Introducción

Por unos motivos u otros, últimamente he estado investigando sobre el mundo del clustering y realizando unas pruebas con distintos programas con los que crear granjas de servidores para aplicaciones de alta disponibilidad.

En este tutorial, eminentemente práctico, detallare los distintos pasos que he seguido para la instalación de un cluster Web de alta disponibilidad basado en Debian Squeeze donde albergaremos un gestor de contenidos para el sitio Web.

El escenario final debe ser como muestra el siguiente esquema de red.  Cabe mencionar que se podría mejorar la configuración creando distintas interfaces con las que discriminar el tráfico a través de subinterfaces, de VLANs, etc.


Decir un poco por encima que el software para configurar cluster crea una capa entre el hardware de los nodos y los servicios que estos ejecutan, estableciéndose una comunicación entre los nodos y los servicios que controlan estos.

Corosync es el encargado de la comunicación entre los nodos. Establece un grupo multicast a través de una clave compartida entre todos los miembros del cluster utilizando conexiones UDP para comprobar el estado del vecino. Corosync deriva del software OpenAIS, un framework para la creación de aplicaciones de alta disponibilidad según los estándares del Service Availability Forum.

Pacemaker es la otra cara de la moneda, el software encargado de la comunicación entre los nodos y los servicios que éstos ejecutan. Actúa como un Cluster Resource Manager, encargándose de la gestión de los recursos que son configurados en el cluster.

La arquitectura del sistema queda como resume la siguiente imagen:


 Debido a que en una entrega este tutorial puede hacerse demasiado largo y tedioso, lo dividiré en las siguientes entradas para organizarlo de mejor manera y explicar en mayor medida las configuraciones y las acciones tomadas:

- Instalación del sistema base.
Instalaré el sistema base de los nodos que compondrán el cluster utilizando el CD de instalación NetInstall de Debian Squeeze. Realizare la configuración básica de los archivos del sistema y la instalación del servidor SSH para tener acceso remoto.

- Instalación y configuración servidor Web.
Como su propio nombre indica, se instalará el servidor Web así como el gestor de base de datos MySQL y el preprocesador PHP. Realizaremos la configuración del servidor para poder realizar pruebas y comprobar resultados.

- Instalación del cluster.
En esta entrada se instalarán y configurarán los distintos paquetes para la creación de la granja de servidores. Además de realizar la comprobación de una correcta instalación, utilizaremos las distintas herramientas para la administración del mismo.

- Configuración de recursos.
Comenzaremos la configuración de los recursos del cluster: la dirección IP, el servidor Web. Se realizarán distintas pruebas con las que comprobar el comportamiento del cluster así como las distintas herramientas para la administración del mismo.

- Instalación y configuración de DRBD.
Instalaremos el software DRBD para crear dispositivos de bloques que serán replicados entre los nodos formando un RAID1 con el que asegurar los datos. Dicha unidad se crea bajo un volumen lógico para facilitar su administración y se montará para el sistema de ficheros del sitio Web.

- Configuración MySQL.
Realizaremos la configuración del gestor de base de datos relacionales para integrarlo en el cluster y ser controlado por el mismo. Configuraremos el servidor para asegurar que la base de datos sea almacenada en una unidad DRBD entre los nodos para que sea replicada al igual que los datos del portal.

- Instalación CMS.
Se realizará la instalación del gestor de contenidos Web Drupal al igual que la configuración del mismo para un correcto funcionamiento.

Espero que os sea entretenido y os animeis a probarlo vosotros/as mismos/as. No dudeis en contactar conmigo en caso de duda o si teneis problemas.

PD: Para los/as que os hayais dado cuenta, los nombres de los servidores quieren recordar a nuestro entrañable personaje Bender B. Rodriguez... Pero me ha fallado el subconsciente y he nombrado el segundo como Blender. Mea culpa...

"Ahora construiré mi propio cluster Web, con bases de datos y con furcias. Es más, paso del servidor Web... y de las bases de datos."

Un saludo, Brixton Cat.

4 de mayo de 2011

Instalar Debian Squeeze en un USB con persistencia


En este wiki voy a explicar un método para la instalación de Debian 6 aka Squeeze en una memoria USB con posibilidad de almacenar información en la misma o configurarla a nuestro gusto.

Para empezar nos descargamos una imagen Live para memorias USB desde el siguiente enlace:

http://cdimage.debian.org/debian-cd/6.0.1-live/i386/usb-hdd/


En mi caso, voy a instalar la versión 6.0.1 para la plataforma i386 con KDE como gestor de ventanas (aquí). Una vez descargada la imagen, y recomendablemente comparado el checksum del fichero, introducimos la memoria USB y lo localizamos con el comando (en mi caso cuento con un dispositivo sda por lo que lo excluyo de la búsqueda):

$ dmesg | grep -E "sd[b-d]"

También podemos lanzar el comando:

$ fdisk -l

para observar todas los dispositivos conectados al sistema.

Ahora volcamos el contenido de la imagen descargada con el comando:

# dd if=/ruta/archivo.iso of=/dev/sdX

Que nos creará una partición FAT16, con todo el contenido del archivo descargado.

Ahora pasamos a crear la partición secundaria donde se creará una copia del sistema de ficheros completo, /, y se guardarán los datos. Para ello, ejecutamos:

# fdisk /dev/sdX

Y pulsamos las siguientes opciones:

- n. Creamos nueva partición
-- e. Tipo extendida
-- 2. Nº de la partición
-- XX. Primer cilindro a utilizar
-- XXX. Último cilindro a utilizar
- n. Creamos nueva partición
-- l. Tipo lógica
-- XX. Primer cilindro a utilizar
-- XXX. Último cilindro a utilizar

Aunque por defecto la partición se crea con el códico correcto (para este ejemplo), ext3, pulsamos las siguientes opciones para cambiar el tipo de formato:

- t. Cambiamos formato
-- 5. Elegimos partición (Corresponde a la partición lógica)
-- 83. Código hexadecimál para el tipo Ext3. Para ver la lista completa pulsar L

Ahora marcamos la partción activa. Dicha partición se corresponde con la que fue creada a la hora de clonar el sistema dado que en esa partición es donde se localiza el directorio /boot con los archivos del cargador de arranque, syslinux.

- a. Partición activa
-- 1. Nº de la partición

Primero comprobamos los cambios realizados con la opción: p; y guardamos los cambios con la opción w.

Una vez hemos creado la partición secundaria, pasamos a formatearla con el comando

# mkfs.ext3 -L live-rw /dev/sdb5

Para que funcione la persistencia de datos, es necesario especificar la etiqueta live-rw para que sea reconocida por el sistema y montada en el arranque del sistema. En el Debian Live Manual (Apartado 10.3.1) podemos encontrar información al respecto:

[…]In order to use this feature a partition with a clean writable supported filesystem on it labeled "live-rw" must be attached on the system at boot time and the system must be started with the boot parameter 'persistent'. […]

Una vez tenemos el sistema creado y la partición secundario etiquetada donde almacenar los datos, montamos la partición con los archivos de arranque para modificar el archivo de configuración del bootloader con las opciones para la persistencia.

# mount /dev/sdb1 /mnt/usb

Con nuestro editor de texto preferido, editamos el archivo de configuración /mnt/usb/syslinux/live.cfg

Podemos crear un nuevo apartado en el menu o modificar alguno de los que ya existen. En mi caso creo un nuevo apartado con el texto:

Label Persistent
        menu label Persistent
        kernel /live/vmlinuz
        append initrd=/live/initrd.img boot=live persistent config quiet


Es necesario añadir el flag persistent en las opciones boot. Una vez modificamos el archivo de configuración de arranque, desmontamos la unidad con

# umount /dev/sdb1

Y reiniciamos el sistema:

# shutdown -h now

Si todo ha ido correctamente lo tendremos listo y podremos empezar a modificar el sistema y almacenar información.

Fuente: http://www.esdebian.org/wiki/instalar-debian-squeeze-usb-persistencia

Un saludo, Brixton Cat ; )