우리나라에 최초로 검사(檢事)라는 용어와 관직이 등장한 것은 갑오개혁의 일환으로 제정된 1895년 3월 25일의 대조선국 법률 제1호 「재판소구성법(裁判所構成法)」이었다. 그 이전의 시기에는 사법권과 행정권이 분화되어 있지 않았을 뿐만 아니라 범죄 혐의자를 구금(拘禁), 수사(搜査), 소추(訴追)하는 검찰 기관과 심리, 재판하는 재판 기관도 분화되지 못했다. 그러다가 재판소구성법에 의해서 비로소 행정기관으로부터 분리된 근대적 개념의 사법기관인 재판소가 설치되었다. 각 재판소의 직원으로는 판사, 검사, 서기, 정리(廷吏)를 두고 판사와 검사는 지방관이 겸임하도록 허용하고 있었다. 또한 판사와 검사를 구분하여 판사는 재판을 전담하고 검사는 범죄 수사와 소추를 담당케 함으로써 검사가 독자적인 지위와 직무 권한을 가지게 되었다. 그러나 조직체계상으로는 검사를 각급 재판소의 직원으로 두었으므로 오늘날과 같은 독립된 조직과 기구를 가지지는 못했다고 할 수 있다.

이후 ‘을사보호조약’의 체결로 1906년 2월에 일제의 통감부(統監府)가 설치되고, 1907년 7월에는 ‘한일신협약(정미7조약)’의 체결로 일본이 대한제국의 법령제정권을 장악하면서 일본은 종전 재판소 제도의 기본 법령을 폐지하고 1907년 12월 23일 법률 제8호로 재판소구성법을 새로이 제정하였다. 이는 재판제도뿐만 아니라 검찰조직에도 커다란 변화를 가져왔다. 이때 실시된 4급 3심제의 구재판소, 지방재판소, 공소원, 대심원 등 각 재판소에 대응하여 구재판소 검사국, 지방재판소 검사국, 공소원 검사국, 대심원 검사국을 재판소에 병치(竝置)함으로써 비록 편제상으로는 재판소에 소속되어 있었지만 검사의 조직 체계를 재판소에 대응하는 검사국의 형식으로 분리시켰다.

1910년 한일합병을 단행한 일제는 조선 통치의 최고 기관으로 총독부를 설치하여 조선 내의 모든 정무를 총괄하도록 하였다. 총독부 시대에도 각급 검사국은 각급 재판소에 병치되었으므로 검사국 제도나 검사국의 설치에 관한 문제는 바로 재판소 제도나 설치에 관한 문제와 일맥상통하였다. 총독부시대의 검사국 제도를 정한 기본 법령은 1910년 10월 1일 제정·시행된 후 1943년 6월 22일까지 13차례의 개정을 거쳐 시행되었던 「조선총독부 재판소령」이다. 이 법령은 검사국의 설치·폐지 및 관할 구역을 총독부령의 형식으로 인구 증가에 따른 사건 처리의 편의를 고려하여 필요에 따라 이를 정할 수 있도록 하였다. 이에 따라 총독부는 사건의 증가, 행정구역의 개편, 정치·사회적인 여건의 변화에 수반하여 검사국의 설치·폐지 및 관할 구역의 변경 등을 거듭하였는바, 총독부시대 말기인 1944년에는 우리나라에 1개의 고등법원 검사국, 3개의 복심법원 검사국, 11개의 지방법원 검사국, 48개의 지방법원지청 검사분국이 설치되었다.

1945년 8월 15일 해방을 맞이한 우리나라는 정치적·사회적으로 혼란한 상태에서 미군정의 시대로 접어들었다. 점령군으로 들어온 미군은 군정을 실시하기 위하여 군정청(軍政廳)을 설치하고, 군정법령 제21호로 1945년 8월 9일 현존 법령의 존속을 선고함으로써 「조선총독부재판소령」이 계속 시행되었다. 그후 1948년 7월 17일 헌법과 함께 제정된 대한민국 법률 제1호 「정부조직법」에서는 검찰 조직에 관하여 법무부에서 검찰에 관한 사무를 관장한다는 점만 규정하였고, 1948년 8월 2일 「남조선과도정부법령」 제213호로 「검찰청법」이 제정·공포됨으로써 검찰이 법원으로부터 독립된 독자적인 조직을 구축하게 되었다. 이로써 검찰 사무는 사법부에서 분리되어 검찰청으로 이관되었고 검찰청은 법무부에 소속되었다. 정부수립 당시 검찰청 조직은 대검찰청 1개, 고등검찰청 2개, 지방검찰청 9개, 지청 33개 등 전국 45개 기관으로 구성되었다.

그후 대한민국 정부가 수립된 후인 1949년 12월 20일 대한민국 법률 제81호로 다시 「검찰청법」이 제정 공포되어 공익의 대표자로서 수사를 주재하고 소추 기능을 전담하는 오늘날의 모습을 갖추었다. 이 법이 검찰 조직에 관하여 규정한 내용을 보면, 검찰청은 검사의 사무를 통괄하는 기관으로서 법원 조직에 대응하여 대검찰청, 고등검찰청, 지방검찰청으로 구성되며 지방검찰청은 지청을 둘 수 있도록 하였고, 각급 검찰청과 지청의 관할 구역은 각 법원과 지원의 관할 구역에 의하도록 규정하였다. 또한 검사의 직무로서 다른 법령에 의하여 그 권한에 속하는 사항과 형사에 관하여 공익을 대표하는 자로서 범죄수사·공소제기와 그 유지에 필요한 사항, 범죄수사에 관한 사법경찰 관리의 지휘감독, 법원에 대한 법령의 정당한 적용의 청구, 재판 집행의 지휘 감독을 규정하고 있다.

제2공화국 시대에 이르러서는 정세의 불안정과 사회적 혼란 등에 비례하여 검찰 기능의 중요도가 인식되어 검찰이 제 모습을 찾기 시작하였다. 또한, 제3공화국에서는 군사쿠데타 직후 혁신 계열의 특수 반국가행위 사건 처리를 비롯하여 무고사범·폭력사범·병무사범의 단속 등으로 사회질서의 확립에 크게 공헌하였다. 제4공화국에 있어서는 당시 미국·중공의 급속한 접근, 월남 패망, 휴전선 땅굴 구축 등으로 불투명한 내외정세 속에서 국가안보 저해요인을 제거하기 위한 공안 범죄·정보 분석의 과학화에 노력하는 한편, 급속한 경제성장에 따른 범죄의 전문화·기획화에 대한 대비를 추진하였다. 그리고 제5공화국에 이르러서는 정의사회 구현을 목표로 사정(司正)의 중추기관으로서 구시대의 잔존 부조리 척결과 함께 공직사회의 기강 확립, 헌신적 대민봉사 자세확립에 기여하고 사회 일각에 나타나기 시작한 극소수 좌경화 경향에 대처하였다.