Исторически архитектурата в Япония е повлияна от китайската архитектура, въпреки че различията между тях са много. Дървените фасади на китайските сгради се боядисват, докато японските сгради традиционно не. Също така китайската вътрешна архитектура е съобразена с използването на столове в ежедневието, докато за японците е обичайно да сядат на земята (обичай, който започнал да се променя през периода Мейджи (1868-1912)).

    Климатът също оказва влияние върху японската архитектура. Летата в по-голямата част от Япония са дълги, горещи и влажни и този факт е дал отражение върху строителството на къщите. Традиционната къща е повдигната и въздухът се движи около и под нея. Предпочитаният материал е дървото, защото държи прохладно през лятото, топло през зимата и е по-гъвкав при земетресения.

    Будизмът навлиза в Япония през периода Асука (593-710 г.), пренесен от Китай, като тогава започват да се строят и първите будистки храмове по китайски образец. От тогава будистката архитектура оказва изключително влияние върху японската. Храмът Хорюджи, построен през 607 г. и възстановен веднага след като изгаря през 670 г., е най-старата дървена конструкция в света. Той е един от будистките паметници в комплекса Хорюджи, признат от ЮНЕСКО за световен културен паметник през 1993 г.

    През периода Нара (710-794 г.) в Нара е издигнат престолен град, наречен Хейджо-кьо, който с перпендикулярните си улици наподобява китайската столица. Много храмове и дворци от този период са строени в стила на китайската династия Тан.

    През периода Хейан (794-1185 г.) елементите на китайската архитектура са напълно асимилирани и се създава истински национален стил. Домовете на знатните в столицата Хейан-кьо, днешно Киото, се строят в стила шинден-дзукури, като основните сгради и помещенията за отдих се намират в центъра и чрез коридори са свързани с другите апартаменти.

    През ХVІ в., когато феодалните владетели доминират в японското общество, се проявяват много замъци. Въпреки че са били строени за военна защита, тези замъци се използвали и за да увеличат престижа на владетеля, а също и като негов дом. Някои от тях са се запазили и до днес и особено впечатляват с извисяващата се наблюдателна кула или „теншукаку”. Жилищните сгради в рамките на територията на замъка, както и тези в будистките храмови комплекси, били строени в стила „шоин-дзукури”, който включвал в себе си иновации като прозиращите плъзгащи се елементи, известни като „шоджи” и „фусума” , както и тръстиковите постелки „татами”. Тези елементи са характерни за традиционната японска архитектура и до днес. Най-прекрасният пример за този стил е дворецът Ниномару в замъка Ниджо в Киото. През ХVІІ в. архитектурният стил „шоин-дзукури” започнал да се комбинира с този на „сукия” – чайните къщи, в които се изпълнявала цайна церемония, и се създава нов японски архитектурен стил „сукия-дзукури”. Той се характеризира с деликатност, елегантни и ненатрапчиви дървени елементи и липса на орнаменти. Най-добрият пример, който илюстрира този стил, е императорската вила Кацура в Киото, известна с хармоничното сливане на сградите с градините около тях.

    С навлизането на будизма в Япония през VI в. започнало строителството на манастири, посветени на култа към Буда, чиито архитектурни форми произхождали от Китай и Корея. В двора на всеки храм изниквали сгради за нуждите на монасите или монахините, които живеели там, както и подслони за обикновените богомолци. През VIII в. седем основни конструкции оформяли облика на манастира: пагода, главна зала, зала за проповеди, камбанария, хранилище за свещените текстове сутри, обща спалня и столова. Дворът бил обграден с масивна стена с врати от всички страни, като обикновено вратите били на два етажа. Главната зала била основното помещение за поклонение. В по-старите храмове залата за проповеди била най-голямата и се използвала от монасите като място за четене, учене и богослужение. Преобладавали два вида кули: едните били с камбани за известяване на ежедневните религиозни обреди, а другите служели за хранилища на свещените текстове (сутра). Трапезарията и спалните помещения се намирали зад или встрани от вътрешния двор. Обикновено сградите на храмовия комплекс били подреждани в геометрична форма, която се различавала при различните школи в будизма. Основните сгради в дзен будистките манастири и храмови комплекси често били строени в права линия, свързвани с покрити коридори, докато храмовите комплекси на течението на будизма на Чистата земя често включвали градини и изкуствени езера.

    Последователите на Шинто вярват, че съществува ками (божество) във всяко природно явление или предмет, от действащите вулкани и красиви планини до дърветата, скалите и водопадите. Шинто светилищата се издигат там, където живеят божествата ками и където хората могат да се молят. Без да се придържат към определени правила, сградите на шинтоистките храмове се изграждат в зависимост от местността. Пътека тръгва от извисяващите се порти тории към вътрешния двор и води до главната сграда на храма като пътят е очертан от каменни фенери. За да се запази чистотата на светилището, във вътрешния двор има водни басейни, където богомолците могат да измият ръцете и устата си. Пред входната врата или главната зала на повечето шинтоистки храмове има две фигури на лъвове комаину, които са пазители на светилището. Временни светилища на ками били изграждани за специални случаи. Счита се, че този стил съществува от около 300 пр.н.е. Основната сграда на храма Сумийоши в Осака е подобна на този вид временни светилища и е запазила облика на древните религиозни сгради. Друг основен архитектурен стил е заимствал простите си форми от житниците и съкровищниците на праисторическа Япония. Най-добрият пример за този стил е шинтоисткият храм Исе в префектура Мие. Вътрешният храм е посветен на богинята на слънцето Аматерасу Омиками, външният храм е посветен на богинята на зърното Тойоуке-но Омиками. Елементи от жилищната архитектура могат да се видят в основната сграда на храма Изумо в префектура Шимане. Колоните се издигат директно от земята и подът е повдигнат. След появата на будизма религията шинто се променя и сградите на шинтоистките храмове заимстват елементи от будистката архитектура. Например, много от светилищата започнали да боядисват в китайски стил: червени колони и бели стени.

    Обичайно било свещените сгради да се реконструират, за да се пречисти мястото и да се подновят материалите (обичай, който все още спазват в храма Исе на всеки 20 години). Поради тази причина, както и в резултат на пожари и други природни бедствия, най-старите храмове датират от XI и XII век.

    В миналото японските къщи били изцяло отворени, без прегради, разделящи отделните пространства. Постепенно започнало да се отдава повече внимание на определени помещения и тяхната функция, като ядене, спане или обличане. Това наложило използването на паравани, наречени „бьобу”. По-късно се появили плъзгащите се врати от хартия (шоджи или фусума), които все още могат да се видят в традиционните японски къщи. Въпреки че не са добра преграда за шума, те осигуряват уединение и могат да се премахнат, за да се отвори цялото пространство (разбира се без колоните, които поддържат къщата). Шоджи също така пропускат светлината. Друга важна черта на традиционния японски дизайн е начинът, по който японците възприемат интериора и екстериора на къщата – не като две отделни среди, а като едно цяло. Тази идея е олицетворена в японската веранда (енгава), която играе роля на преходна част между вътрешността и околността на къщата. Нуреен, който е прикрепен за къщата и се мокри, когато вали, е вариант на енгава. От естетическа гледна точка традиционната японска къща е построена за хора, които седят на пода, а не стоят прави. Вратите, прозорците и нишите са поставени така, че произведенията на изкуството в къщата, както и в градината да се виждат добре от седнало положение. Традиционният японски стил не е изчезнал въпреки промените, настъпили с модернизацията на жилищата. Дори в къщите, построени в западен стил, е обичайно подът на стаите да е покрит с рогозки татами, като се е запазил и обичаят японците да се събуват преди да влязат в къщата.

    Съвременни методи в архитектурата били въведени в Япония след началото на периода Мейджи през 1868 г. Първите сгради комбинирали традиционните японски дървени конструкции и западните методи на строителство и дизайн. Основното училище Каичи, построено през 1876 г. в гр. Мацумото в префектура Нагано, е типичен пример за този хибриден архитектурен стил и станало стандарт и еталон за много училища, построени из цяла Япония. През 80-те години на ХІХ в. възникнало реакционно движение срещу бързото отваряне към Запада. То имало въздействие и върху архитектурата, като отново бил предпочитан азиатският архитектурен стил. След Първата световна война традиционната японска архитектура се преосмисля наново, след като архитекти като Франк Лоид Райт (1869-1959) от САЩ и Бруно Таут (1880-1938) от Германия идват да работят в Япония. През годините след Втората световна война продължават усилията да се обединят традиционната и съвременна архитектура. Танге Кензо, един от най-известните и влиятелни японски архитекти след войната, успява да обедини традиционната японска архитектура с научните и технологични постижения. През 50-те и 60-те години на XX век той проектира няколко забележителни постройки, включително националния стадион Йойоги, построен за Олимпийските игри в Токио през 1964 г.