我国在犯罪、刑事责任与刑罚的关系上采取罪、责、刑平行说，A项表述错误。

根据罪、责、刑平行说，犯罪、刑事责任与刑罚在刑法中居于同等重要的地位，因此，刑事责任并非犯罪与刑罚的上位概念，B项表述错误。

有犯罪就有刑事责任，有犯罪和刑事责任未必有刑罚，因为犯罪人承担刑事责任的方式不限于刑罚，还有非刑罚处理方法，C项表述错误。

犯罪、刑事责任、刑罚是各自独立又相互联系的三个范畴，而居中的是刑事责任，其是将犯罪与刑罚联系起来的纽带。

可见，D项表述正确。