亲民党指出，杜正胜上任后引发不小的争议，包括自己挥毫大量印制“教育部”包装纸、大肆修缮“教育部”及官邸引发批评、黄光彩争议不绝却偏袒维护、认为参拜靖国神社是应该的、在“立院”被询时说“愿意面对阎罗王”、地图旋转90度让台湾平躺、大幅删减文言文降低学生语文程度、要求有“中国”名称的学生改名。

　　亲民党“立委”李庆安说，台“行政院长”谢长廷上任后，调查显示有54%的民众认为应该要撤换杜正胜，杜正胜是一位有争议的部长，但是谢只认为他要留校察看，这样如何对的起全台的老师、家长和学生？所以杜正胜应该要下台。

　　不过，谢长廷称，在8月份重新调整“内阁” 前，目前没有撤换杜正胜“教育部长”的计划。