Люда, если дословно, то да - не могу себе позволить. Но если бы американец хотел сказать женщине, что он ее не тянет финансово, то именно это выражение и употребил бы - I can't afford it/you.
Еще можно сказать - you're a high maintenance woman. И здесь буквально тоже будет звучать: ты слишком дорого обходишься.
Еще один вариант - we're playing in different leagues. Короче, как и в русском, и любом другом языке, есть множество способов передать смысл, но эмоциональная окраска зависит от контекста.