A项，对劳动合同的无效或者部分无效有争议的，由劳动争议仲裁机构或者人民法院确认。
B项，约定“工伤概不负责”的免责条款，该免责条款因排除劳动者合法权利而无效。劳动合同部分无效，不影响其他部分效力的，其他部分仍然有效。

C项，劳动合同被确认无效，劳动者已付出劳动的，用人单位应当向劳动者支付劳动报酬。劳动报酬的数额，参照本单位相同或者相近岗位劳动者的劳动报酬确定。
D项，劳动合同被确认无效，给对方造成损害的，有过错的一方应当承担赔偿责任。

故正确答案为D。