日本列島から見つかっている化石のうち、最古のものは岐阜県上宝村（現在は高山市）の飛騨外縁帯と呼ばれる地質体の地層から見つかった古生代オルドビス紀のコノドント化石です。オルドビス紀の化石としてはこれ以外には、やはりこの近くの転石から発見された貝形虫化石があります。

シルル紀からデボン紀の化石は東北の北上山地、飛騨外縁帯、紀伊半島から四国、九州にかけて細長く断片的にのびる黒瀬川帯の石灰岩などから見つかります。

石炭紀からペルム紀にかけての化石は北上山地のほか、日本各地の石灰岩地帯からサンゴやフズリナの化石がたくさん見つかっています。

1970年代まで石灰岩から見つかる化石をもとにして、日本には広い範囲に古生代の地層が分布していると考えられていました。しかしこれらのうち多くは「微化石が語る日本のおいたち」で解説するように、ジュラ紀に形成された付加体であること、石灰岩は付加体に含まれた外来の岩塊であることが分かってきました。古生代の日本列島や近畿の姿を復元するには、石灰岩がつくられた場所と、それ以外の地層がたまった場所を、当時のプレート位置を復元しながら考える必要があります。