praticamente qualquer programa que vc utilizar vai reduzir sempre a qualidade dos fps na questão de qualidade do vídeo sair baixa pode ser apenas uma questao de configuração na qualidade de captura ou por nao utilizar a versao paga com qualidade Hd caso este seja o caso de seu desejo tambem ha a necessidade de renderizar o video depois pra melhorar a qualidade final
a utilização de placa de captura externa também pode resolver seu problema