A resposta é sim,
Por que?
1) a parte gráfica exige muitos recursos da máquina, o que no caso de servidores não eh bom, afinal, o recurso da máquina deve ser para sua função principal.
2) a administração de servidores em sua grande maioria são feitas remotamente através de terminais SSH (texto puro)
3) Sistema instalados sem ambiente gráfico e sem outras funções que não sejam interessantes para o desempenho da função do servidor, chamamos de instalação minimalista.
4) O ambiente gráfico é responsável por consumir cerca de 200 a 400 MB, o que para um servidor de squid por exemplo é alto e esse valor pode ser utilizado para chache.
Esses são alguns dos motivos que me veio agora...
abraço.