我が国では，王朝時代，風俗を粛正し，内外の非違を弾奏することを職務とする弾正台が置かれていたこともありましたが，のちの検非違使や奉行職のように裁判官と訴追官が分離していませんでした。
そのため，現在の検察制度は前述のフランスの制度の継受ということができます。明治維新後，司法省が設置されるまでの間，刑法官（のちの刑部省）とともに犯罪の糾弾と行政警察とを併せ行う弾正台が置かれていました。
その後も検察制度は幾度かの変遷をたどっていますが，その概要は以下のとおりです。
| 明治５年８月 | 司法職務定制を制定 この制度は近代的なフランスの検事制度を採用しながらも，従前の律令系体制下の弾正台に似た機能を検事に求めたものだった。 |
| 明治６年 | 本格的な法律の編さん作業への取り組み パリ大学のボアソナード教授を招へいした。 |
| 明治13年 | 「治罪法」の制定 |
| 明治15年 | 「治罪法」の施行 この法では国家訴追主義や起訴独占主義を宣明され律令系法制の名残が一掃できたが，予審制が採用され予審判事が直接証拠収集に当たるというものだった。 |
| 明治23年２月 | 裁判所構成法の制定・公布 治罪法には当初から国情に合致しない点や法律の不備があったので，ドイツ人ルドルフの起草に基づく法が制定された。 |
| 明治23年10月 | 旧々刑事訴訟法の制定・公布 この法は，裁判所の一部局とする趣旨ではないが，検事局が裁判所に付置されたこと，検事の任官資格や俸給についても裁判官と同一となったこと，及び職務権限などから見ても現在の検察制度の基本となった。 |
| 大正11年５月 | 旧刑事訴訟法の制定・公布 |
| 昭和22年４月16日 | 法律第61号「検察庁法」の制定・公布 |
| 昭和23年７月10日 | 法律第131号「刑事訴訟法」の制定・公布 第二次世界大戦終結後は，連合国軍隊の占領下において現在の検察官及び検察庁が誕生した。 |
さらに，現行の刑事訴訟制度においては憲法上三権分立主義が徹底されたことから，裁判所は従前の司法大臣の司法行政上の手を離れて独立した組織として編成されることになり，検察官についても，裁判所法とは別に検察庁法が制定されたことにより，両者は組織上明確に分離されることとなりました。そのことから，刑事司法における検察官の職責は，捜査・公判を通じて，より一層重要となりました。
なお，我が国の歴史上「検事」という官名が登場するのは，養老５年（７２１年）のことのようで，続日本紀によれば，畿内における非違の糾弾奏上のことを行う「攝官」（のちの検非違使と同じような官職）を補佐する「攝官記事」の名称を「検事」に改められたことがうかがわれます。
