Исторически архитектурата в Япония е повлияна от китайската архитектура, въпреки че различията между тях са много. Дървените фасади на китайските сгради се боядисват, докато японските сгради не. Също така китайската вътрешна архитектура е съобразена с използването на столове в ежедневието, докато е обичайно за японците да сядат на земята (обичай, който започнал да се променя през периода Мейджи (1868-1912).
Климатът също оказва влияние върху японската архитектура. Летата в по-голямата част от Япония са дълги, горещи и влажни и този факт е дал отражение върху строителството на къщите. Традиционната къща е повдигната и въздухът се движи около и под нея. Предпочитания материал е дървото, защото държи прохладно през лятото, топло през зимата и е по-гъвкаво при земетресения.
Будизмът навлиза в Япония през периода Асука (593-710), пренесен от Китай. От тогава будистката архитектура оказва изключително влияние върху японската архитектура.
През периода Нара (710-794) в Нара е издигнат престолен град, наречен Хеиджокьо, който с перпендикулярните си улици наподобява китайската столица. Храмът Норюджи, построен под влиянието на будизма през 607 г., е най-старата дървена конструкция в света. ЮНЕСКО го признава за световен културен паметник през 1993 г.
През периода Хейан (794-1185) домовете на знатните се строят в стила шиндензукури, като основните сгради и помещенията за отдих се намират в центъра и чрез коридори са свързани с другите апартаменти. Дворецът Тосанджо (1043 г.) е пример за този стил.
Чайни къщи започнали да се строят, когато чайната церемония станала популярна през период Муромачи (1333-1568). Те били изпълнени в стил сукия-зукури, характеризиращ се с нежна чувствителност, стройни дървени елементи и изчистена простота. Кацура Рикю в Киото е един от най-добрите примери за този стил. Хората харесвали хармоничното вписване на малката къща в живописната градина.

Храмът Бьодоин
Храмът е построен през 1053 г. и е разположен на брега на река Уджигава. Архитектурният стил е много изискан. Въпреки че композицията е сложна, всеки детайл е изящно балансиран. Основната част е украсена с орнаменти, изобразяващи феникс, откъдето идва и името й - Хоодо.
В разцвета на феодализма през XVI век били построени много замъци. Въпреки че били изграждани като отбранителни съоръжения, замъците също така били мерило за силата и властта на владетелите. Малкото от тях, запазили се до наши дни, впечатляват с бойните си кули (теншукаку). Всекидневните в дворците били изящно украсени, а читалните и чакалните били изпълнени в стил шоин зукури. Пример за този стил е Широшоин в Ниши-Хонгендйи в Киото.
През периода Мейджи в Япония се въвежда западната архитектура. Камък и тухли започват да се използват в строителството. Сега се строят сгради, които съчетават традиционната японска архитектура с използването на съвременни технологии и нови материали.