Boa noite ALCB.
Voce vai clicar com o botão direito em cima do ícone desejado,
então vai aparecer o menu de contexto do windows,nele voce vai ler a opção "Fixar na barra de tarefas",para retira-lô e o mesmo procedimento só que a opção é desfixar da barra de tarefas!Nesse mesmo menu de contexto voce pode fixar os ícones no menu iniciar!
Espero ter ajudado.