Пытаюсь разобраться с работой setxkbmap в неактивной сессии

Есть потребность выставить запускать setxkbmap для залогиненых пользователей у которых сессия в данный момент неактивна (не multi-seat и потому только одна сессия может быть одновременно активной либо все неативны).

Так вот setxkbmap замечательно работает в активной сессии. Например

$ setxkbmap us; sleep 1m; setxkbmap $(cat ~/.Xkbmap)

дает желаемый результат и раскладка сначала выставляется на US, а через минуту восстанавливаются мои настройки, заданные в ~/.Xkbmap. Если же сначала выставить US, а затем с другого компа зайти по SSH и выставить правильные DISPLAY и XAUTHORITY, то setxkbmap не дает результата. При этом другие приложения нормально запускаются в неактивной сессии (их видно, если переключиться в нее)

Возможно я чего-то не знаю о setxkbmap и XKB extension вообще... пока попросил помощи в рассылке debian-russian. Возможно кто-то и поможет.