이색은 우왕대 이후 정치적인 불운과 함께 불교에 더욱 관심을 기울이게 되었고, 이로 말미암아 정적으로부터 탄핵을 받게 되었다. 이색은 우왕과 창왕을 옹립한 사실, 공양왕 원년의 사전 개혁에 반대한 사실, 그리고 불교에 아첨하였다는 이유로 큰 어려움을 겪었다.