若在离婚之时，女方对退回部分彩礼持有异议，首先需要明确的是是否达到了彩礼返还的法定要求。
根据我国现行的相关法律法规，当出现以下三种情况时，彩礼应当予以返还：第一，双方尚未依法办理结婚登记手续；第二，虽然已经办理了结婚登记手续，但是双方并没有真正意义上的共同生活；第三，在婚前给予对方彩礼，并且这种行为导致了给付方的经济状况陷入困境。
倘若符合以上任何一种情况，而女方却拒绝返还彩礼，那么您可以考虑通过友好协商来加以解决。
若协商无果，您也有权诉诸于法院进行诉讼程序。
在此过程之中，您需要积极搜集并提供相应的证据资料，以证明您确实支付过彩礼以及为什么需要返还这些财物。
例如，转账记录、证人证言等等都是有用的证明材料。
法院将会依据双方提交的各类证据和实际情况，做出公平且合理的裁判结果。