Se você estiver recebendo mensagens duplicadas pelo Outlook Express, o arquivo Pop3uidl.dbx pode estar danificado.
A Microsoft indica este artigo que pode solucionar o problema: http://support.microsoft.com/kb/314578/en-us
Caso esteja recebendo mensagens duplicadas pelo Microsoft Outlook 2003, o programa pode precisar de uma atualização.
A Microsoft indica este artigo que pode solucionar o problema: http://support.microsoft.com/default.aspx?scid=kb%3Bpt-br%3B885870
Porém, esta pode não ser a única causa do problema. Instabilidades na sua conexão, por exemplo, também podem gerar comportamento similar.