Xephyr is a nested X server that runs as an X application.

Xephyr -br -ac -noreset -screen 800x600 :1

Esto lanzará un nueva ventana de Xephyr con DISPLAY a :1, esto quiere decir que para lanzar una aplicación en esta ventana, sería necesario especificar ese DISPLAY:

DISPLAY=:1 xterm