Etiquetas

miércoles, 1 de enero de 2014

go-mtp para conectar smartphone android a Linux usando mtp

En los actuales smartphones basados en Android fue triste la decisión de abandonar el soporte como "almacenamiento masivo" para transferencia de archivos entre un pc y el móvil para reemplazarlo por mtp (Media Transfer Protocol), desarrollado originariamente por Microsoft.


Me llevó varias horas de trabajo. Compilar libmtp a la versión 1.1.6. Para hacerlo fácil, en Debian puede seguirse el procedimiento descripto en esta entrada de equiscentrico: http://www.equiscentrico.com.ar/2011/06/como-crear-paquetes-deb-partir-de.html sólo bastará reemplazar el nombre del paquete de ejemplo (era midori en aquel caso) por libmtp.

Después probé varias alternativas: kio-mtp, mtpfs... ambos compilados a sus versiones más recientes en los repositorios de fuentes de Sid. En un Samsung S2 el funcionamiento era estable, pero en un Samsung Trend (supongo que debe tener un Android algo más nuevo (?) no había caso.

go-mtp fue el camino

Conviene asegurarse que nuestro usuario pertenezca a los grupos "plugdev" y "fuse":

$ groups
retux dialout cdrom audio video plugdev fuse wireshark

Instalar go-mtp

En el gitHub del proyecto se puede bajar el paquete https://github.com/hanwen/go-mtpfs y como indica la documentación, la compilación del programa es sencilla:

1) Instalación de go-mtp:

# apt-get install golang-go
# apt-get install libusb-1.0-0-dev

$ mkdir /tmp/go
$ export GOPATH=/tmp/go
$ go get github.com/hanwen/go-mtpfs

En el directorio /tmp/go/bin/go-mtpfs tendremos el binario.

Podemos copiarlo a un directorio permanente:

# cp /tmp/go/bin/go-mtpfs /usr/local/bin



2) Usando go-mtp

2.1) Creamos un directorio como punto de montaje

# mkdir /media/samsung
# chown retux /media/samsung

Obviamente, reemplazando "retux" por el nombre de usuario que corresponda.

La magia de go-mtp (conectando el teléfono al usb previamente, claro):

$ go-mtp /media/samsung &
2014/01/01 15:35:00 starting FUSE.

Véase el mensage que indica el inicio de FUSE. Si aparece, ya tendremos accesible el sistema de archivos del teléfono vía mtp:

$ ls /media/samsung/Phone/
Alarms data-app gameloft GoLocker_in GOWeatherEX Music Podcasts TalkingFriends
Android DCIM GOLauncherEX GoStore media Notifications Pou WhatsApp
AppGame Download golocker GoTheme Movies Pictures Ringtones

Una vez que lo hayamos usado, solo basta desmontarlo:

$ fusermount -u /media/samsung
Continuar »

jueves, 26 de diciembre de 2013

Cross-compile para Raspberry Pi con scratchbox2 - Un borrador

En realidad, estas notas son apenas un borrador.
Llevo un tiempo haciendo cross-compile del kernel linux para raspberry pero siempre compilar algún programa en C++ propio me había resultado muy complicado.
Hoy decidí probar con scratchbox2 y este es el borrador del "work-in-progress". La verdad parece muy util y directo que otro acercamiento.

Como dije, esto es un borrador, no un tutorial. Por eso si alguien encuentra errores, o conoce scratchbox más en profundidad cualquier aporte será bienvenido. Es un borrador, porque además fui haciéndolo en días sucesivos, por lo tanto podría haber algun/os error/es.

Decidí utilizar los paquetes más estándares posibles, disponibles en los repositorios de Debian Wheezy.
El sistema "host" es un i386, mientras que el "target", lógicamente será un armv6, el tipo de arquitectura de CPU de la Raspberry Pi.
Por lo que leí, resumido brevemente, la gran ventaja de scratchbox es que es una jaula fakeroot en la que se instalará un fs root de raspbian y allí podremos ir instalando las dependencias (librerías) que el soft que vayamos a compilar requiera. Scratchbox y qemu serán los encargados de mantener la magia, es decir, compilar para la arquitectura "target" e inclusive ejecutar código compilado para arm en la CPU "host". Con algunos ejemplos creo que se puede ver mejor:

1) Instalación de los paquetes necesarios:

# aptitude install scratchbox2 fakeroot realpath qemu-user

2) Instalación del toolchain

El "toolchain" para compilación cruzada podría compilarse, pero lo más directo es usar las rpi-tools, disponibles en este repositorio git.

$ mkdir -p $HOME/raspi_build/rpitools/ && cd $HOME/raspi_build/rpitools/
$ git clone https://github.com/raspberrypi/tools.git --depth 0

Tomemos nota del directorio donde lo instalamos y a seguir

3) Extracción del rootfs de raspbian

Para crear el ambiente que scratchbox precisará para su magia, vamos a copiar de una imagen de raspbian el sistema de archivos raíz (rootfs), que normalmente está en la segunda partición de la imagen de la SD:

Para esto usé una imagen más o menos actual de raspbian: 2013-07-26-wheezy-raspbian.img


$ mkdir -p $HOME/sb2_lab/mnt
$ cd $HOME/sb2_lab
$ mkdir raspbian-rootfs
Crear el dir de trabajo donde se prefiera, claro y copiar allí la img de raspbian.

$ cd $HOME/sb2_lab
$ /sbin/fdisk -lu 2013-07-26-wheezy-raspbian.img

Disco 2013-07-26-wheezy-raspbian.img: 1939 MB, 1939865600 bytes
255 heads, 63 sectors/track, 235 cylinders, 3788800 sectores en total
Units = sectores of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Identificador del disco: 0x00047c7a

Disposit. Inicio Comienzo Fin Bloques Id Sistema
2013-07-26-wheezy-raspbian.img1 8192 122879 57344 c W95 FAT32 (LBA)
2013-07-26-wheezy-raspbian.img2 122880 3788799 1832960 83 Linux
Veamos, que la partición tipo linux comienza en el sector 122880, y cada sector tiene 512 bytes. Con eso vamos a montar el loop device para copiar los archivos.
Hagamos el cálculo:
$ echo "512 * 122880" | bc
62914560


Para montar el loop device, tenemos que hacerlo como root y le pasamos el offset que calculamos:

# mount -o ro,loop,offset=62914560 -t auto 2013-07-26-wheezy-raspbian.img mnt/

A copiar:

$ cd $HOME/sb2_lab/
$ rsync -avz mnt/ raspbian-rootfs

Ahora en el subdir ./raspbian-rootfs tendremos el rootfs de raspbian

$ ls raspbian-rootfs/
bin boot dev etc home lib lost+found media mnt opt proc root run sbin selinux srv sys tmp usr var


4) Iniciar el ambiente de scratchbox

Ingresamos al directorio donde copiamos el rootfs de raspbian, de otra manera sb2 no podrá iniciar bien el toolchain.
Vamos iniciar el ambiente para Scratchbox2, pasandole la ubicación de gcc en la versión del toolchain para Cross-Compile que habíamos bajado:

$ cd $HOME/sb2_lab/raspbian-rootfs
$ sb2-init raspberrypi_wheezy
/home/matias/raspi_build/rpitools/tools/arm-bcm2708/gcc-linaro-arm-linux-gnueabihf-raspbian/bin/arm-linux-gnueabihf-gcc

Al final del proceso aparecerá:

"sb2-init completed successfully, have fun!"

Si no aparece, a desconfiar de algo y revisar.
Con eso ya tenemos el ambiente listo. Ahora, a probarlo.

5) Compilando algo para probar

Creemos el siguiente código, solo para probar. Puede ser en el directorio de trabajo o en cualquier otro:

/* Archivo: teste.c - Solo para probar sb2 */
#include <stdio.h>
int main(){
printf("Hello, #RasPi\n");
return 0;
}

Lo llamé teste.c, vamos a compilarlo dejando que scratchbox haga su magia:

$ sb2 gcc -o teste teste.c

Ahora veamos la info sobre el binario que creó:

$ file teste
teste: ELF 32-bit LSB executable, ARM, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.26, BuildID[sha1]=0x2c11b259c80ffd4ceccb9a2a0622fb12571858f7, not stripped

$ readelf -a teste | grep -i "cpu\|mach"
Machine: ARM
Tag_CPU_name: "6"
Tag_CPU_arch: v6
Tag_CPU_unaligned_access: v6

Como se ve, la arquitectura de destino fue, en efecto, arm v6.
Ahora, con la ayuda de qemu scratchbox permite hasta ejecutar el binario arm en el sistema "host" (i386):

$ sb2 ./teste
Hello, #RasPi

6) Probar compilar algo del mundo "real"

Por ahora, todo muy lindo. Pero el código de ejemplo es tan básico que precisa de librarías estándares y mínimas.
Probé lo siguiente, que me estaba dando mucho laburo compilar sin usar scratchbox.
El código siguiente es muy simple, es parte de unas clases que usé y modifiqué un poquito para controlar los leds de "status" de una raspberry. Los leds indican si el sistema completó el boot y monitorea el estadod e ethernet. Es algo bastante útil si se usa una RasPi sin monitor, para tener una idea de su estado si necesidad de ping, conectar por ssh, etc.

$ git clone https://github.com/retux/raspileds_status --depth 0
Cloning into 'raspileds_status'...
remote: Counting objects: 56, done.
remote: Compressing objects: 100% (44/44), done.
remote: Total 56 (delta 11), reused 50 (delta 5)
Unpacking objects: 100% (56/56), done.

Originariamente, había compilado estos binarios directo en la raspi. Porque la verdad el tiempo de compilación es mínimo. Ahora compilarlo con ScratchBox fue muy sencillo:


$ cd raspileds_status
$ sb2 make clean
rm -f *.o
$ sb2 make
g++ -Wall -c -o GPIOClass.o GPIOClass.cpp
g++ -Wall -c -o netifledwatch.o netifledwatch.cpp
g++ -Wall -o netifledwatch GPIOClass.o netifledwatch.o
g++ -Wall -c -o gpiopinctrl.o gpiopinctrl.cpp
g++ -Wall -o gpiopinctrl GPIOClass.o gpiopinctrl.o
g++ -Wall -c -o gpioctrl.o gpioctrl.cpp
g++ -Wall -o gpioctrl GPIOClass.o gpioctrl.o

Veamos alguno de los binarios para confirmar:
$ file netifledwatch
netifledwatch: ELF 32-bit LSB executable, ARM, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.26, BuildID[sha1]=0xd7cb48d849ae94101dbd00c1ad28f67f0f56048b, not stripped

Como se ve, la magia de ScratchBox hizo posible que ni siquiera fuera necesario modificar el Makefile.

¿Qué sigue?

Queda por ver cómo se puede usar las maravillas de apt-get en el ambiente scratchbox, por ejemplo, para instalar dependencias necesarias para compilar soft más complejo. No lo probé aún, pero tiene que poder hacerse.

Agregado 27/12/2013:

Con la imagen de raspbian reciente que estoy usando para el ambiente chroot de scratchbox, es necesario comentar la línea del archivo ld.so.preload, porque de lo contrario algo de la emulación con qemu se rompía y no permitía por ejemplo ejecutar un apt-get update dentro del ambiente chroot.

$ cat raspbian-rootfs/etc/ld.so.preload
#/usr/lib/arm-linux-gnueabihf/libcofi_rpi.so

Después de eso, se puede ejecutar apt-get update e instalar paquetes en el ambiente, sin problemas:

$ sb2 -eR apt-get update
Get:1 http://mirrordirector.raspbian.org wheezy Release.gpg [490 B]
Get:2 http://mirrordirector.raspbian.org wheezy Release [14.4 kB]
Get:3 http://raspberrypi.collabora.com wheezy Release.gpg [836 B]
Get:4 http://archive.raspberrypi.org wheezy Release.gpg [490 B]
...

$ sb2 -eR apt-get install vim
Reading package lists... Done
Building dependency tree
Reading state information... Done
The following extra packages will be installed:
libgpm2 vim-runtime
...

¿Lindo, no es cierto? De esta forma podrían instalarse con apt-get las libs y dependencias para compilar el soft X e intentar el cross-compile con Scratchbox.

Agregado 30/12/2013:

Correr apt-get y todas sus maravillosas luces y botoncitos dentro del ambiente chroot de scratchbox2, por eso siguen una líneas con el procedimiento usado:

Primero entramos en la emulación de Scratchbox con el siguiente comando:
$ sb2 -eR
[SB2 emulate raspberrypi_wheezy] root@debian-test-kput raspbian-rootfs #

Vemos que estamos en el ambiente chroot, lo que nos informa el prompt.

Segundo, instalamos las claves públicas de los repositorios:

[SB2 emulate raspberrypi_wheezy] root@debian-test-kput raspbian-rootfs # wget http://archive.raspbian.org/raspbian.public.key -O - | apt-key add -
--2013-12-30 15:28:47-- http://archive.raspbian.org/raspbian.public.key
Resolviendo archive.raspbian.org (archive.raspbian.org)... 5.153.225.206, 2001:41c9:1:3ce::10
Conectando con archive.raspbian.org (archive.raspbian.org)[5.153.225.206]:80... conectado.
Petición HTTP enviada, esperando respuesta... 200 OK
Longitud: 1776 (1,7K) [application/octet-stream]
Grabando a: “STDOUT”

100%[======================================================================================>] 1.776
--.-K/s en 0s

2013-12-30 15:28:47 (13,0 MB/s) - escritos a stdout [1776/1776]
OK

[SB2 emulate raspberrypi_wheezy] root@debian-test-kput raspbian-rootfs # wget http://archive.raspberrypi.org/debian/raspberrypi.gpg.key -O - | apt-key add -

2013-12-30 15:52:34 (12,2 MB/s) - escritos a stdout [1719/1719]

OK

[SB2 emulate raspberrypi_wheezy] root@debian-test-kput raspbian-rootfs # wget http://raspberrypi.collabora.com/collabora-raspbian.gpg -O - | apt-key add -
--2013-12-30 16:01:35-- http://raspberrypi.collabora.com/collabora-raspbian.gpg
Resolviendo raspberrypi.collabora.com (raspberrypi.collabora.com)... 93.93.128.223
Conectando con raspberrypi.collabora.com (raspberrypi.collabora.com)[93.93.128.223]:80... conectado.
Petición HTTP enviada, esperando respuesta... 200 OK
Longitud: 3145 (3,1K) [text/plain]
Grabando a: “STDOUT”

100%[======================================================================================>] 3.145 --.-K/s en 0s

2013-12-30 16:01:35 (22,6 MB/s) - escritos a stdout [3145/3145]

OK


Conclusión provisional

Con apt-get completo corriendo, pudiendo instalar dependencias para aquello que vayamos a compilar scratchbox2 es una belleza.
Inclusive, hace hasta innecesario y menos eficaz tener necesidad de emular un raspbian (o cualquier otra distro) en un x86, porque basta hacer:

$ sb2 -eR

Y ya estamos en el ambiente chroot, desde donde podremos ejecutar los binarios compilados para arm, cuyas instrucciones serán reinterpretadas y traducidas por qemu.
Continuar »

viernes, 20 de diciembre de 2013

Correr Raspian en una máquina virtual (qemu) y redimensionar su Sistema de Archivos (FS)

Si bien, la Raspberry Pi es de las cosas más transportables en este mundo, a veces nos la olvidamos. Contra ese olvido y otras aplicaciones puede servir correr Raspbian u otra distribución para arm1176 desde qemu.
A mí me resulta útil para probar algunas cosas sin tener que andar reescribiendo repetidamente en una SD, o para compilar algún programa que vaya a correr en la Raspberry desde un i386.
También esto puede servir para ajustar y customizar una imagen del S.O a nuestro gusto, darle el tamaño adecuado y después transferirla a memorias SDs.
Siguen algunos tips al respecto.

Como muchos sabrán QEMU es el acrónimo de "Quick Emulator", es un hypervisor que realiza emulación de hardware. Sirve para "traducir" binarios compilados de una arquitectura para correrlos en otra arquitectura de CPU o bien para correr una máquina virtual completa. Para esto último es que lo usaremos, para que nuestra VM sea una Raspberry corriendo en i386 o derivados.
Sin más introducciones, manos a la obra.
Las instrucciones para usar qemu con la variante arm de las Raspberry Pi puede encontrarse aquí:

http://xecdesign.com/qemu-emulating-raspberry-pi-the-easy-way/ En español y resumiendo el procedimiento puede resumirse de la siguiente forma:

1) Preparar el ambiente

Crear el directorio de trabajo.
Descargar el kernel "custom" para funcionar con qemu-arm:

wget http://xecdesign.com/downloads/linux-qemu/kernel-qemu

2) Bajar la imagen de Raspbian que vamos a usar como base

La imagen puede ser Raspbian o cualquier otra distro para RasPi. En el caso de Raspbian se puede descargar desde http://www.raspberrypi.org/downloads

Descompactar la imagen, de modo que quede, por ejemplo: 2013-09-25-wheezy-raspbian.img


3) Si no tenemos qemu instalado, instalarlo

En mi caso en el sistema "host" es un i386 con Debian, para instalar el paquete de qemu:
# aptitude install qemu-system

4) Ver que tengamos todo lo necesario

Primero verificamos que la versión de qemu fue compilada con soporte para arm1176

$ qemu-system-arm -cpu ?
Available CPUs:
arm1026
arm1136
arm1136-r2
arm1176
arm11mpcore
arm926
arm946
cortex-a15
cortex-a8
cortex-a9
cortex-m3
pxa250
pxa255
pxa260
pxa261
pxa262
pxa270
pxa270-a0
pxa270-a1
pxa270-b0
pxa270-b1
pxa270-c0
pxa270-c5
sa1100
sa1110
ti925t
any

En negrita puede verse que el paquete por defecto para Debian soporta arm1176, la arquitectura de la CPU de la Raspberry.
Si tenemos la imagen del S.O (Raspbian o el que fuere) y el kernel (archivo kernel-qemu), tenemos todo listo.


Como dice el tuturial citado, basta correr la siguiente línea en el directorio de trabajo para bootear el Raspbian:

$ qemu-system-arm -kernel kernel-qemu -cpu arm1176 -m 256 -M versatilepb -no-reboot -serial stdio -append "root=/dev/sda2 panic=1 rootfstype=ext4 rw" -hda 2012-12-16-wheezy-raspbian.img
Véase: -m 256 indica cuántos Megabytes de la memoria de la máquina host (i386) le asignaremos a la MV Guest ("RasPi", digamos). Yo llegué a probar hasta con um mínimo de 64Mb (sin correr X) y todo fue bien.

PERO: en versiones más recientes de la imagen de raspbian (ejemplo, la que usé para este tutorial que es la 2013-09-25-wheezy-raspbian.zip) es necesario agregar el siguiente paso extra:

En el dir de trabajo creamos un sub-dir para punto de montaje de la imagen:
$ mkdir mnt
$ /sbin/fdisk -lu 2013-09-25-wheezy-raspbian.img
GNU Fdisk 1.2.4
Copyright (C) 1998 - 2006 Free Software Foundation, Inc.
This program is free software, covered by the GNU General Public License.

This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
GNU General Public License for more details.


Disk /mnt/backup/RaspberryPi/qemu-vms/raspbian/2013-09-25-wheezy-raspbian.img: 2 GB, 2961100800 bytes
255 heads, 63 sectors/track, 360 cylinders, total 5783400 sectors
Units = sectors of 1 * 512 = 512 bytes

Device Boot Start End Blocks Id System
/mnt/backup/RaspberryPi/qemu-vms/raspbian/2013-09-25-wheezy-raspbian.img1 8192 122879 64228 c FAT32 LBA
Warning: Partition 1 does not end on cylinder boundary.
/mnt/backup/RaspberryPi/qemu-vms/raspbian/2013-09-25-wheezy-raspbian.img2 122880 5785599 2835472 83 Linux
Warning: Partition 2 does not end on cylinder boundary.

El dato que nos interesa es el bloque de inicio de la segunda partición, que es donde está el sistema. Como el tamaño de los bloques es 512 bytes deberemos pasarle el offset a losetup haciendo el cálculo 122880 * 512:

# losetup -f --show -o `echo "122880 * 512" | bc` 2013-09-25-wheezy-raspbian.img
/dev/loop0
# mount /dev/loop0 mnt
# ls mnt
bin boot dev etc home lib lost+found media mnt opt proc root run sbin selinux srv sys tmp usr var

Primero, creamos el loop device, y después lo montamos en el dir mnt.

# vim mnt/etc/ld.so.preload

En ese archivo es necesario comentar la única línea que lo compone:

#/usr/lib/arm-linux-gnueabihf/libcofi_rpi.so

# umount mnt
# losetup -d /dev/loop0

Esto último es importante, porque de lo contrario el raspbian en la MV no iniciará.

Fuente: http://www.raspberrypi.org/phpBB3/viewtopic.php?f=29&t=37386&p=311360#p311360

Redimensionando la imagen, para que la SD "virtual" sea más grande

Así como establecía el tuto http://xecdesign.com/qemu-emulating-raspberry-pi-the-easy-way/ ya podremos correr Raspbian virtualizado. El problema es que resta redimensionar la imagen de la SD, la cual viene reducida a 1.8Gb aproximadamente. Si no la redimensionamos el sistema no nos servirá de mucho, ya que le queda muy poco espacio disponible en el File System para, por ejemplo, instalar soft nuevo.
Dicho esto, vamos a "hacer" una SD "virtual" más grande, digamos de unos 4Gb:

1) Crear uma img "contenedora"

$ dd if=/dev/zero of=4gbraspi.img bs=1M count=4000
4000+0 registros leídos
4000+0 registros escritos
4194304000 bytes (4,2 GB) copiados, 59,7716 s, 70,2 MB/s

Como siempre digo, mucho cuidado con dd. Especialmente cuando estamos obligados a correrlo como root. Por eso, es bueno tener una máquina de "laboratorio" para hacer estas cosas que no sea una máquina "de trabajo". Por eso, el resto lo hacés a tu propia cuenta y riesgo. En este texto el caracter '$' indica que el comando puede ejecutarse como usuario plano y '#' indica que debe ejecutarse como root (con muuucho cuidado).
/dev/zero es un archivo especial del sistema, que cuando se lo lee siempre devuelve el caracter \0 (NULL).

2) Copiar la imagen original a la nuestra

2.1) Preparamos los loop devices:

Vamos a utilizar las "loop device" tools que son las encargadas de la enorme magia de permitirnos leer la imagen del FS como si fueran nodos de dispositivos. En la práctica eso se entiende mejor:

# losetup -f --show 4gbraspi.img
/dev/loop0
# losetup -f --show 2013-09-25-wheezy-raspbian.img
/dev/loop1

Véase que en /dev/loop tenemos nuestra imagen SD "nueva" y en /dev/loop1 tenemos la imagen de raspbian original.

2.2) Copiamos los datos a nuestra "nueva" imagen OJO, es como root

# dd if=/dev/loop1 of=/dev/loop0
5785600+0 registros leídos
5785600+0 registros escritos
2962227200 bytes (3,0 GB) copiados, 227,464 s, 13,0 MB/s

2.3) Podemos "desmontar" la imagen original, que ya no usaremos:

# losetup -d /dev/loop1

Llegado a este punto podríamos bootear con qemu nuestra imagen, pero no tendrá nada nuevo, porque el espacio restante estará repleto de bytes NULL. Entonces vamos a redimensionar la partición ext4 de la imagen raspbian y su File System para que ocupen todo el espacio restante.

3) A redimensionar

3.1) Veamos el tamaño total de la imagen (SD "virtual"):

# fdisk -l /dev/loop0
GNU Fdisk 1.2.4
Copyright (C) 1998 - 2006 Free Software Foundation, Inc.
This program is free software, covered by the GNU General Public License.

This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
GNU General Public License for more details.


Disk /dev/loop0: 4 GB, 4186667520 bytes
255 heads, 63 sectors/track, 509 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/loop0p1 1 8 64228 c FAT32 LBA
Warning: Partition 1 does not end on cylinder boundary.
/dev/loop0p2 8 361 2835472 83 Linux
Warning: Partition 2 does not end on cylinder boundary.

Vamos a agrandar la partición de Linux (tipo ext4) a todo el tamaño de la imagen, para eso usamos la herramienta parted:

# parted /dev/loop0
GNU Parted 2.3
Using /dev/loop0
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) print
Model: (file)
Disk /dev/loop0: 4194MB
Sector size (logical/physical): 512B/512B
Partition Table: msdos

Number Start End Size Type File system Flags
1 4194kB 62,9MB 58,7MB primary fat16 lba
2 62,9MB 2962MB 2899MB primary ext4

(parted) rm 2
(parted) mkpart primary 62.9 4194
(parted) print
Model: (file)
Disk /dev/loop0: 4194MB
Sector size (logical/physical): 512B/512B
Partition Table: msdos

Number Start End Size Type File system Flags
1 4194kB 62,9MB 58,7MB primary fat16 lba
2 62,9MB 4194MB 4131MB primary ext4
(parted) quit
En negrita se indican los comandos en la consola de parted. Primero borramos la partición 2 (que originariamente iba hasta los 2962 MB) y luego la redefinimos com mkpart, iniciándose en los 62,9 MB y hasta los 4194, que es el tamaño total del dispositivo, como lo indicaba parted también.
Con esto la partición ya está redimensionada. Solo queda redimensionar el File System, para que la ocupe por completo.


4) Redimensionar el File System ext4

Debemos buscar el punto de inicio de la partición ext4 para pasárselo al offset de losetup
# fdisk -lu /dev/loop0
GNU Fdisk 1.2.4
Copyright (C) 1998 - 2006 Free Software Foundation, Inc.
This program is free software, covered by the GNU General Public License.

This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
GNU General Public License for more details.


Disk /dev/loop0: 4 GB, 4186667520 bytes
255 heads, 63 sectors/track, 509 cylinders, total 8177085 sectors
Units = sectors of 1 * 512 = 512 bytes

Device Boot Start End Blocks Id System
/dev/loop0p1 8192 122879 64228 c FAT32 LBA
Warning: Partition 1 does not end on cylinder boundary.
/dev/loop0p2 122880 8191999 4032315 83 Linux
Warning: Partition 2 does not end on cylinder boundary.

El número que nos importa es 122880, que es el sector donde comienza la segunda partición.
Lo multiplicamos por el tamaño de cada sector:

# echo '122880 * 512' | bc
62914560

62914560 es el offset que tenemos que pasarle a losetup:

# losetup -f --show -o 62914560 4gbraspi.img
/dev/loop1

Corremos un fsck para verificar la integridad del FS:

# e2fsck -f /dev/loop1
e2fsck 1.42.5 (29-Jul-2012)
Paso 1: Verificando nodos-i, bloques y tamaños
Paso 2: Verificando la estructura de directorios
Paso 3: Revisando la conectividad de directorios
Paso 4: Revisando las cuentas de referencia
Paso 5: Revisando el resumen de información de grupos
/dev/loop1: 72857/177056 files (0.1% non-contiguous), 427737/707840 blocks

Y, finalmente redimensionamos el F.S:

# resize2fs /dev/loop1
resize2fs 1.42.5 (29-Jul-2012)
Resizing the filesystem on /dev/loop1 to 1008640 (4k) blocks.
The filesystem on /dev/loop1 is now 1008640 blocks long.

Desmontamos los loops devices:

# losetup -d /dev/loop1
# losetup -d /dev/loop0

Y podemos probar nuestra "nueva" imagen:

$ qemu-system-arm -kernel kernel-qemu -cpu arm1176 -m 256 -M versatilepb -no-reboot -serial stdio -append "root=/dev/sda2 panic=1 rootfstype=ext4 rw" -hda 4gbraspi.img

Una vez iniciada nuestra VM podremos ver que nuestra "SD" virtual ahora tiene el tamaño que definimos (en este ejemplo 4Gb aprox., pero eso va a gusto de cada cual, claro)

~$ df -h
Filesystem Size Used Avail Use% Mounted on
rootfs 3.8G 1.7G 2.0G 47% /
/dev/root 3.8G 1.7G 2.0G 47% /
devtmpfs 62M 0 62M 0% /dev
tmpfs 13M 184K 13M 2% /run
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 25M 0 25M 0% /run/shm

Si bien en este tuto usamos raspbian, el procedimiento debiera ser muy pero muy similar si se usa otra distro para Raspberry Pi.
Continuar »

viernes, 6 de diciembre de 2013

Optimizando recursos migrando a ngetty como terminales virtuales ttys

Linux es heredero de Unix, el sistema operativo creado por Dennis Ritchie y Ken Thompson en los Bell Labs de AT&T a fines de los años '60. Por eso, algunas "cosas" que Linux aún corre, vienen de larga data, son producto del desarrollo colectivo de muchas muchas personas. Getty es uno de esos procesos, que se encargan de las llamadas tty o terminales virtuales. En este post sigue un procedimiento para ahorrar significativamente memoria RAM migrando de getty a ngetty.


Getty es el proceso encargado de la gestión de las terminales virtuales (tty). Como Unix, getty tiene una historia larga: su nombre proviene de "Get Teletype", porque antiguamente las consolas que se conectaban eran teletipos. La tarea de getty es detectar una conexión y proceder al login.
En los Linux actuales las terminales virtuales se acceden con ctrl+alt+Fn donde Fn es una tecla de función F1-F6 en la configuración canónica.
El proceso getty es iniciado por init, y por lo tanto configurado en /etc/inittab.
En sistemas con mucha memoria RAM, es prácticamente despreciable el uso getty hace de recursos. Pero puede darse el casos que Linux tuviera que correr como un sistema "embebido" o que el hardware que vayamos usar no tenga GB de memoria sino algunos MBs. Un ejemplo también podría ser la Raspberry Pi. Entonces ahorrar algo de consumo de RAM podría ayudar.
Veamos el consumo inicial de memoria de los procesos gettys corriendo:


En los campos VSZ (Virtual Size) y RSS (Resident Set Size) nos podemos hacer una idea de la memoria que están usando las gettys tradicionales. Sin entrar en los detalles acá de VSZ y RSS más info se puede encontrar aquí
http://www.linuxquestions.org/questions/linux-hardware-18/why-is-vsz-more-than-rss-in-ps-aux-even-if-i%27m-not-using-any-swap-663109/

ngetty entra en juego

ngetty a diferencia de getty no inicia N procesos dependiendo de cuántas terminales virtuales estemos usando. ngetty es un demonio único, y su uso de recursos es a demanda. Según indica su autor, Nikola Vladov, "ngetty es un demonio que inicia sesiones de login en consolas de terminales virtuales bajo demanda. Es un buen reemplazo de todos aquellos procesos gettys iniciados por init que, la mayor parte del tiempo, sólo toman memoria. ngetty, cuando se compila usando dietlibc el binario ngetty solo tiene 2k y usa mucha menos memoria que getty".
Esas y otras informaciones sobre ngetty se pueden encontrar en el site oficial del proyecto: http://riemann.fmi.uni-sofia.bg/ngetty/

En Debian, para instalar ngetty es tan simple como:

aptitude install ngetty

Antes de reemplazar definitivamente ngetty se puede hacer una prueba para verificar el comportamiento, como se indica en el site de ngetty. Para eso editar /etc/inittab y agregar la si:

1:2345:respawn:/sbin/mingetty tty1
2:2345:respawn:/sbin/mingetty tty2
3:2345:respawn:/sbin/mingetty tty3
# 4:2345:respawn:/sbin/mingetty tty4
# 5:2345:respawn:/sbin/mingetty tty5
# 6:2345:respawn:/sbin/mingetty tty6
# Run ngetty in standard run-levels

#Config de ngetty en ttys 4,5 y 6
ng:2345:respawn:/sbin/ngetty 4 5 6
Aquí se han comentado las getty originales de las tty 4, 5 y 6. Es decir las que se acceden con ctrl+alt+F4, F5 o F6.

con init q podemos hacer que el sistema haga un reload de inittab, pero si se quiere para más seguridad se puede dar un reboot o pasar a modo single-user y luego a un runlevel multiusuario.

init q

Entonces si con ctrl+alt+F4, F5 o F6 podemos acceder bien y loguearnos en esas terminales virtuales, entonces podemos pasar a deshabilitar definitivamente getty:

# 1:2345:respawn:/sbin/mingetty tty1
# 2:2345:respawn:/sbin/mingetty tty2
# 3:2345:respawn:/sbin/mingetty tty3
# 4:2345:respawn:/sbin/mingetty tty4
# 5:2345:respawn:/sbin/mingetty tty5
# 6:2345:respawn:/sbin/mingetty tty6

# Run ngetty in standard run-levels
ng:2345:respawn:/sbin/ngetty 1 2 3 4 5 6

Aquí ngetty se iniciará en los runlevels estándares 2, 3, 4 y 5 y habilitará ttys (o consolas virtuales) de 1 a 6 (ctrl+alt+F1 hasta F6).

Comparemos ahora el consumo de memoria:


Comparemos los valores de VSZ y RSS y veremos que los valores de ngetty son notablemente menores a las que acumulan todos los procesos getty canónicos.
En sistemas muy antiguos, o en hard donde Linux tenga que consumir menos recursos ngetty puede hacer alguna diferencia.

En la Raspberry Pi

En la RasPi, aunque mucho de nosotros no usemos las consolas virtuales, ngetty es una forma de reducir el uso de ram, sin deshabilitar el acceso a las ttys por completo.

# Note that on most Debian systems tty7 is used by the X Window System,
# so if you want to add more getty's go ahead but skip tty7 if you run X.
#
#1:2345:respawn:/sbin/getty --noclear 38400 tty1
#2:23:respawn:/sbin/getty 38400 tty2
#3:23:respawn:/sbin/getty 38400 tty3
#4:23:respawn:/sbin/getty 38400 tty4
#5:23:respawn:/sbin/getty 38400 tty5
#6:23:respawn:/sbin/getty 38400 tty6

ng:123:respawn:/sbin/ngetty 1 2 3 4 5 6

# Example how to put a getty on a serial line (for a terminal)
#
#T0:23:respawn:/sbin/getty -L ttyS0 9600 vt100
#T1:23:respawn:/sbin/getty -L ttyS1 9600 vt100

# Example how to put a getty on a modem line.
#
#T3:23:respawn:/sbin/mgetty -x0 -s 57600 ttyS3


#Spawn a getty on Raspberry Pi serial line
T0:23:respawn:/sbin/getty -L ttyAMA0 115200 vt100

Nótese la línea final, en la que dejé un proceso para getty, ya que esa es la consola serial que la RasPi tiene disponible a través del puerto serie ttyAMA0, ubicado en el GPIO (no son niveles RS-232, así que cuidado. Hace falta hardware para adaptar los niveles). Si la quisiéramos deshabilitar se puede comentar, claro.
Continuar »

jueves, 19 de septiembre de 2013

Reducir ciclos de escritura en almacenamiento flash/USB

Complemento aquí algunas configuraciones que pueden ayudar a alargar la vida útil de medios de almacenamiento como las tarjetas SD o los USB stick cuando los usamos como soporte del sistema de archivos, por ejemplo en la Raspberry Pi.


En otro lugar ( http://www.equiscentrico.com.ar/2013/09/raspberry-pi-crear-initramfs-para-usar.html ) he detallado el procedimiento que seguí para usar UUID desde el inicio del bootstraping, para lo cual fue necesario recompilar el kernel de raspbian y crear una imagen initrd para que todo funcionara junto.

Aquí voy a agregar unos tips simples para reducir un poco la "pisada" del sistema sobre el sistema de archivos principal, tratando de prolongar la vida útil de medios como las tarjetas SD o los USB stick, que de por sí tienen un ciclo de vida mucho más reducido que otros medios de almacenamiento.

Por defecto el sistema de archivos que usa Raspbian para la partición raíz es ext4 (con journalling).
/etc/fstab tiene por defecto una configuración muy importante:

/dev/mmcblk0p2 / ext4 defaults,noatime 0 1

La opción de montaje "noatime" es vital en la Raspberry porque por defecto Linux utilizaría la opción "atime", que escribe timestamps en el disco cada vez que lee algo. Esa opción no plantea problemas para un disco duro, pero sería fatal para una tarjeta SD.

Bien, además de eso podría reducirse un poco más la pisada sobre el sistema de archivos de raspberry:

Yo pensaba utilizar ext2 para el sistema de archivos raíz, porque aquella versión no usaba journalling. Pero esa feature también puede deshabilitarse en un sistema de archivos tipo ext4. Para eso, tenemos que montar el sistema de archivos en otra máquina

# dumpe2fs /dev/sdf1 | grep -i journ
dumpe2fs 1.42.5 (29-Jul-2012)
Filesystem features: has_journal ext_attr resize_inode dir_index filetype
extent flex_bg sparse_super large_file huge_file uninit_bg dir_nlink extra_isize
Journal inode: 8
Journal backup: inode blocks
Journal features: journal_incompat_revoke
Journal length: 32768
Journal sequence: 0x000001c1
Journal start: 0

Entonces, deshabilitamos journalling

# tune2fs -O ^has_journal /dev/sdf1
tune2fs 1.42.5 (29-Jul-2012)

Y ahora se ve que no tenemos journalling habilitado:

# dumpe2fs /dev/sdf1 | grep -i features
dumpe2fs 1.42.5 (29-Jul-2012)
Filesystem features: ext_attr resize_inode dir_index filetype extent
flex_bg sparse_super large_file huge_file uninit_bg dir_nlink extra_isize

Por si acaso chequeamos la integridad del F.S:

# e2fsck /dev/sdf1
e2fsck 1.42.5 (29-Jul-2012)
rootfs: clean, 73586/262144 files, 443671/1048576 blocks

Ahora arrancamos la RasPi y podemos verificar que el journalling del F.S no
esté habilitado entre las features.


Logs en RAM:

Esta opción es muy simple pero puede contribuir a reducir la pisada.

Podemos agregar en /etc/fstab las siguientes dos entradas:

# FSs en RAM
none /var/log tmpfs size=1M,noatime 0 0
# Si quisieramos tambien /var/run
none /var/run tmpfs size=1M,noatime 0 0

De esa forma los f.s /var/log y /var/run que son los que tienen mayores actualizaciones, se guardarán en RAM con un límite de 1Mb cada uno.

Los logs serán volátiles por lo cual si la RasPi presentara algun problema y precisaramos guardar logs persistentemente tendríamos que comentar la entrada para /var/log.

Más info sobre tmpfs en *nix: http://en.wikipedia.org/wiki/Tmpfs

Continuar »