Если будете переобучать, то показывайте ему не только спам, но и не-спам. Иначе ложных срабатываний только прибавится. Если ученику показывать только черное, он забудет, как выглядит белое...

Для гарантированного исключения ложных срабатываний рекомендую поставить второй байес, чтоб голосовали.