На первую попытку сервер отвечает временной ошибкой с кодом 4xx. Настоящий почтовый сервер ставит письмо в очередь и через несколько минут пробует снова. Многие спам-программы повторов не делают, и их письма отсеиваются. После удачного повтора пара «IP отправителя, адрес отправителя, адрес получателя» запоминается, и следующие письма проходят сразу.
Для рассылки это значит, что часть писем приходит с задержкой от нескольких минут до часа, особенно на корпоративные домены. Это не ошибка доставки и не повод удалять адрес. Беспокоиться стоит, только если временные отказы от одного домена не проходят часами.