A resposta para pergunta é Sim! É recomendado fazer a exclusão para evitar conflitos e problemas futuros.

Veja como fazer este procedimento, seguindo os passos abaixo:

1. Aperte a tecla Windows+R: 

2. Na janela 'Executar' digite: certmgr.msc

3. Na janela de administração dos certificados clique em "Pessoal" e em seguida "Certificados", clique com o botão direito no certificado desejado e escolha a opção "Excluir".

Na janela de confirmação que se abre clique na opção "Sim".

Pronto! O certificado foi excluído.

Guia do Certificado Digital