这个要看下具体情况，也就是说你选择对方付费的话，有没有先和收方确定好他那边付费。因为一般这种情况，都是双方确认好的，由一方来付运费。
然后，要看下是什么原因收方拒收。如果是因为运输问题（比如货物破损、货物丢失、投递延误、服务恶劣等等），收方拒收，那么快递方不但不应该收取运费，更要承担赔付。
如果不是运输原因，收方拒收，或者是快递公司无法联系到收方，包裹只能退回给你，那么来回运费是由你承担的。但按照流程，如果包裹要退回给你，快递公司是应该先和你联系的，不能在没有弄清情况的前提下，自说自话把包裹给你退回来，然后要你支付双倍运费。
