依据法律规定，离婚时彩礼是否返还以及返还的数额要依据具体情形来判定。通常来讲，当双方未办理结婚登记手续，或者办理了结婚登记手续但实际并未共同生活，又或者是婚前给付彩礼导致给付人生活困难时，离婚时就可以要求返还彩礼。要是仅结婚半年就离婚，倘若存在上述的某一种情形，就能够要求返还部分彩礼，不过并非肯定要将20万全部返还。具体的返还数额得综合考量双方共同生活的时间、彩礼的使用状况等因素。例如，双方虽然办理了结婚登记手续但共同生活的时间比较短，并且彩礼金额较大，给给付方的生活造成了明显的影响，那么可能会酌情返还较多的彩礼；要是共同生活的时间比较长，彩礼已经用于共同生活的支出等，返还的数额就可能相应地减少。总之，要根据具体情况进行具体分析。