Tout viens de là :
Un très bon article sur les Xauthority
En admettant que remote est l'utilisateur désirant se connecter à Xorg et que current est l'utilisateur actuel ayant lancer X.
Et la commande magique (bon c'est pas de la grande classe mais j'en ai marre) :
sudo cp /home/current/.Xauthority /home/remote/.Xauthority && sudo chown remote:remote /home/remote/.Xauthority && sudo su -l -c 'export DISPLAY=":0.0" && export XAUTHORITY=/home/remote/.Xauthority && commande'remote
Image : amagill