Одной из древнейших в Японии является стоянка Ивадзуку, где найдены грубые рубилообразные орудия из галек и крупные ножевидные пластины, относящиеся к раннему неолиту или мезолиту. Здесь обнаружены могильники и множество стоянок. На ранних неолитических поселениях находят остродонные и "цилиндрические" сосуды, поверхность которых покрыта оттисками верёвочки, топоры, обсидиановые остроконечники, скребки, грузила и другие изделия из камня, скопления раковин морских моллюсков (это так называемая культура "кухонных куч"). Население в этот период занималось охотой и рыболовством, собирательством растительной пищи и морских моллюсков, жило в больших общинных землянках.
Находки глиняных женских статуэток свидетельствуют о характерном для эпохи материнского рода почитании женщин-прародительниц. Археологическая культура этого периода носит название "дзёмон" (по "верёвочному" орнаменту).
В позднем неолите появляются сосуды в виде ваз с узким горлом и носиком, как у чайников, с лощёной или окрашенной в красный цвет поверхностью; зачастую они украшались спиральным орнаментом. В торфяной стоянке Корекава сохранились сосуды и другие изделия из дерева (луки, мечи и кинжалы), покрытые местным красным и чёрным растительным лаком. Совершенствуются каменные орудия, появляются украшения из раковин и кости, нефрита и янтаря. К концу неолита территория Японских островов была сплошь заселена человеком.
Пережитки неолитической культуры существовали в стране вплоть до 4—3 вв. до н. э. К этому времени на островах появились пришельцы с материка (из Китая, Кореи), уже знакомые с металлом (бронза, затем железо). Они сеяли рис и бобовые, разводили домашних животных, в том числе лошадей. Сложившаяся под влиянием этих племён археологическая культура яёи (существовавшая с 3—2 вв. до н. э. по 3—5 в. н. э.) отмечена наземными постройками, в т. ч. сооружениями на сваях, а также посудой, изготовлявшейся на гончарном круге (форма и орнаментика её при этом упрощены). Погребения знати совершались в ящиках из каменных плит под курганами. В могилах находят бронзовые мечи и наконечники копий, китайские зеркала, драгоценные украшения из нефрита и яшмы.
В древних китайских летописях содержатся материалы, свидетельствующие о том, что в последних веках 1-го тысячелетия до н. э. на Японских островах жили отдельные племенные группы. В 3 в. н. э. образовался довольно крупный племенной союз – "государство царицы Химико", как его называют китайские источники. Из этого местного племенного союза вырос общеплеменной союз. В дальнейшем в результате разделения японского общества на классы возникло государство. Территорией, на которой оно первоначально складывалось, были главным образом южная часть острова Хонсю и северная часть острова Кюсю. Образование государства происходило в борьбе вождей племенных групп, обитавших в каждом из указанных районов, причём во 2-й половине 5 в. гегемония в общеплеменном союзе перешла к племенной группе Ямато (Ва). "История Сун" упоминает под 478 г. о послании от царя Ямато (по японским источникам это, по-видимому, Юряку), в котором он сообщает о покорении всех стран на востоке, юге и даже за морем (имелась в виду Мимана – японское владение в южной части Корейского полуострова с 4 в.). В этом послании очевидно, отражена заключительная фаза процесса объединения, подавляющей части племени в одном союзе.