Как научиться отказывать, чтобы не испытывать неудобств?

Здравствуйте! Вот казалось бы, все просто, нужно делать то, что тебе хочется. Но бывает, что отказать человеку неудобно.

Например, я хожу на спортивную мафию. А есть один ведущий, он меня приглашает на мафию, я не всегда могу прийти. А он в ответ начинает психологически давить, а почему нет, а какие у тебя дела и обстоятельства?

Но я ведь ему не обязан отчитываться, какие обстоятельства и дела, просто может не захотел, есть поинтереснее планы. Тем более, что прибыль от организации игры получает он, как ведущий. А я ухожу в минус. А человек мне так пишет, будто я ему должен прийти на мафию.