А Вы не отключаете телефон на ночь?
Действительно, так и объясните мужчине, что ночь, все спят и больше так пусть не делает. Если будет продолжать - прекращайте всякое общение, у мужчины явные проблемы с адекватностью, как минимум, алкоголик, себя не контролирующий, а может, что и похлеще..