Somente fazendo vários testes no local para descobrir o que está acontecendo. Muitas vezes, o problema é com o servidor que é lento, e pode ser tanto o do email dela quanto dos emails dos contatos, geralmente emails gmail ou hotmail ou yahoo são bem rápidos e entregam na hora, mas emails de outros domínios podem ser lentos e às vezes com falhas. Eu mesmo já mandei um email, que demorou muito tempo mesmo pra chegar (mais de 7 dias). Também verifique se os contatos estão digitados certos. Envie emails de outras contas para o contato, para ver se estão recebendo bem.
Por fim, se o email está configurado como pop, permaneça no Outlook, mas se estiver configurado como imap, voce poderia tentar usar outros clientes como o Thunderbird, que é free e trabalha melhor com várias contas de email imap.