GDM en Fedora y según me contaron Arch también, queda pegado al momento de iniciar el entorno gráfico, todo esto puede deberse a un simple paquete que contiene el controlador EVDEV, para revisar esto, y si es realmente de esta manera ejecuta la X, luego si falla reinicia, en este caso, revisa el registro de errores de Xorg, cat /var/log/Xorg.0.log.old.

En Fedora el paquete se llama:

xorg-x11-drv-evdev

lo instalas con YUM install nombredelpaquete

Otro problema que noté es que si no instalas el paquete:

xorg-x11-drv-synaptics tendrás un puntero porfiado... comenzará a moverse sólo para las orillas de la pantalla...