人民检察院是我国司法机关，而不是司法行政机关，司法部(厅、局)才是我国的司法行政机关。可见，A项表述错误。
《宪法》规定，全国人大选举和罢免最高人民法院院长。可见，B项表述错误。
《宪法》规定，最高人民法院监督地方各级人民法院和专门人民法院的审判工作，上级人民法院监督下级人民法院的审判工作。据此，上下级人民法院之间是监督与被监督的关系。可见，C项表述错误。
《宪法》规定，最高人民检察院领导地方各级人民检察院和专门人民检察院的工作，上级人民检察院领导下级人民检察院的工作。据此，D项表述正确。