Standardmäßig wird unter Xubuntu der Xorg-Server durch den Display-Manager LightDM mit Root--Rechten ausgeführt. Aus Sicherheitsgründen ist es ratsam, jegliche Software, die nicht zwingend Root-Rechte benötigt, nur mit eingeschränkten Benutzerrechten auszuführen. Leider unterstützt LightDM derzeit kein sogenanntes "rootless Xorg" (siehe auch GitHub: LightDM - Support non-root X - Issue #18).
Grundsätzlich kann ich auf einen Display-Manager und eine Anmeldung per GUI verzichten. Aus diesem Grund habe ich derzeit mein System testweise so umgestellt, dass ich mich per virtueller Konsole (TTY) anmelde. Nach erfolgreicher Anmeldung wird dann automatisch der Xorg-Server und Xfce ohne Root-Rechte gestartet.