Use of à + infinitif versus en + gerund

Is there a rule that explains why it is « j’ai passé une demi-heure à gratter » and not « en grattant » ? I find it very tricky to know when to use à properly.  « Une tasse à thé ».  « C’est à moi de le faire ».  I can memorize word situations that call for « à «  but not a working rule I can rely on.  Thanks.