Освен дървета и храсти, за постигане на художествения облик на японските градини, се използват още скали, пясък, изкуствени хълмове, езера и течаща вода. За разлика от геометрично подредените дървета и скали в градините в западен стил, в традиционните японски градини се изграждат композиции, които възможно най-близко наподобяват природните пейзажи. При изграждането на пейзажите създателите на градини следват три основни принципа. Това са умален мащаб, символизъм и "заимвствани пейзажи". Първият принцип се отнася до умаляването на планински и речни природни гледки, така че да образуват органично цяло. Така могат да бъдат създадени идеализирани пейзажи от планинско селце в сърцето на големия град. Символизмът включва много абстракции, като например белия пясък, който представлява морето. Проектантите "заимвстват" пейзажи, като включват гледката зад градината например, планината или океана като неразделна част от композицията. Според една от философските школи основната конструкция на японската градина са скалите и начинът, по който те са подредени. Древните японци вярвали, че обградените със скали места се обитават от богове и затова ги наричали амацу ивасака (небесни прегради) или амацу ивакура (небесни места). По същата логика гъста горичка се наричала химороги (божествена ограда), а рововете и потоците се смятало, че заграждат свещена земя и ги наричали мицугаки (водни прегради). Японските градини могат да се разделят на два основни вида: цукияма (хълмиста градина), композиция от хълмове и езера, и хиранива (плоска градина), равна площ без хълмове и езера. Първоначално хълмистият стил бил използван за главните градини на дворците, а равнинният стил за по-ограничени пространства. Последният вид става популярен с въвеждането на чайната церемония и чашицу (стая за чайна церемония).

    Най-древните градини датират от периода Асука (593-710 г.) и периода Нара (710-794 г.). В областта Ямато (сега в префектура Нара) градинарите на императорското семейство и на влиятелните кланове създавали имитации на океански пейзаж, които включвали големи езера с острови, обградени от "крайбрежие". Това било по времето, когато будизмът навлизал в Япония от Азия през Корейския полуостров. Имигранти от тези страни донесли в Япония допълнителни континентални елементи като каменни фонтани и мостове в китайски стил.

    През 794 г. столицата на японската държава се премества от Нара в Киото. Това се счита за началото на периода Хейан (794-1185 г.). С утвърждаването на властта на клана Фудживара започнало развитието на изкуствата и културата. Аристократите живеели в луксозни дворци, построени в стила шинден-дзукури. Градините от тази епоха били също величествени. През Киото минават няколко реки и изкуствени канали текат през различните части на града. Летата в Киото са горещи и влажни, затова започнало изграждането на езера и водопади, които носели прохлада. Потоци, наречени яримизу, минавали между сградите и през градините на дворците. Овалните езера в стил фуна асоби (разходка с лодка) често били достатъчно големи за плаване, а за удобство по време на риболова били издигани павилиони, надвиснали над водата и свързани с другите части на двореца чрез покрити коридори. Между основната сграда и езерото имало обширна площ, покрита с бял пясък, живописно място за провеждане на официални церемонии. В градините в стил шую (разходка) има пътека, позволяваща на разхождащите се да се радват на разнообразните гледки. Такива са градините в храмовете и дворците от периодите Хейан, Камакура и Муромачи. Градината на храма Сайходжи в Киото, построена от свещеника Мусо Сосеки през периода Муромачи, се счита за типичен пример на стила шую. Създава се впечатление, че езерото естествено стои на фона на планината.

    През Х в. японската аристокрация приема будизма. С разпространяването на вярата в рая, наречен Джодо (чиста земя), градините започнали да се оформят по подобие на Джодо описан в свещените книги и религиозни трактати. В този стил кристализират някои от най-древните модели на японската градина. При тях фокусът е езерото с дъговиден мост до централен остров. Градината на храма Бьодоин в Уджи, близо до Киото е добър пример на стила джодо. Този храм първоначално бил провинциална къща на влиятелен човек - Фудживара но Мичинага. Тъй като елитът на обществото живо се интересувал от градини, те били обект на многобройни трактати като най-старият е Сакутейки (Трактат за градинарството) от Тачибана но Тошицуна (1028-1094 г.).

    Класата на воините започва да придобива все по-голямо влияние през периода Камакура (1185-1333 г.). Влиянието на Дзен свещеници от Китай също се отразява на жилищното строителство и градинарството. Не било прието военният елит да организира великолепни градински приеми. Аристократите предпочитали да се радват на градините си седейки вкъщи. Градините били проектирани преди всичко за съзерцание. В този период се появили градинари-свещеници ишитатесо (буквално преведено "монаси поставящи скали"). Счита се, че златният век на японската градина настъпва през периода Муромачи (1333-1568 г.). Тогава се появява нов стил - каресансуи (пресъхнал планински поток), създаден от опитни майстори градинари, наречени сензуи каварамоно (ваятели на планини, потоци и реки). Силно повлияни от дзен будизма, тези градини се характеризират с доведените до крайност абстракции: групи скали представляват планини или водопади, а белият пясък изобразява течаща вода. Стилът на тези градини, които не могат да се видят никъде другаде по света, вероятно е повлиян от китайските гравюри, изобразяващи пейзажи с голи планински върхове и сухи речни корита. Примери на този стил са скалните градини в храмовете Рьоанджи и Дайтокуджи в Киото. Скалната градина Дайтокуджи се състои само от 15 скали и бял пясък върху равна земя и е типичен пример за равнинна градина. Те пресъздават градински теми, свързани с морето. Езерата са оформени с помощта на камъни, дървета, каменни светилници, водни басейни и кладенци. Освен това градините от този период са повлияни от архитектурния стил, наречен шоинзукури, който включва токонома (свещена ниша), чигайдана (шахматно разположени рафтове) и фусума (хартиени плъзгащи се врати) и е първообразът на съвременните японски къщи в традиционен стил. При стила каншо или закан (съзерцание) зрителят се намира в шоин, стая в сградата шоинзукури, която е композирана като картина и предразполага към продължително съзерцание.

    Чайната градина, олицетворяваща тишина и спокойствие, се развива заедно с чайната церемония, утвърдена от Сен но Рикю (1522-1591 г.). При създаването на чайната градина се избягва всичко изкуствено и се запазва естествената природна гледка. Минава се през градината, за да се стигне до чайната къща. Съвременните японски градини включват доста елементи, наследени от чайната градина, като каменна пътека, каменни фенери и групи от дървета. Семплите чайни павилиони, където се сервира чай на гостите, също произхождат от чайната градина.

    През периода Едо (1600-1868 г.) различните стилове от древността се синтезират в градините каию („градините на много удоволствия”), специално създадени за феодалите. Изящни камъни и дървета били използвани за създаването на миниатюрни копия на известни пейзажи. От една градина се преминава в друга, свързани от малки езерца. Градината в двореца Кацура в Киото е създадена в ранния период Едо и е типичен пример за стила каию с езеро в средата и няколко чайни къщи около него. Тази градина придобива широка известност благодарение на немския архитект Бруно Таут. Друга прочута градина е Оикенива - "Градината с езерото" в Императорския дворец в Киото, построена през XVII век. Тя представлява голямо езеро, осеяно с обрасли с борове островчета. Градината Коракуен в Токио, построена през 1626 г., е една от най-забележителните градини в стил каию. Сред езерото има остров с малък храм, посветен на индийската богиня Бензаитен, известна в Япония като едно от седемте божества на късмета. Каменният мост към острова се нарича "Моста на пълната луна" поради полукръглата си форма. Отражението му във водата допълва окръжността. Градината на двореца Хама в Токио е още една известна градина каию, построена през периода Едо, прочута с красивото си езеро с три моста. Всеки мост е оформен с дървени решетки, увити в глициния, и води до островче. Разположението на езерата, тревните площи и алеите за езда пресъздават атмосферата на вила на феодален владетел от периода Едо. Считаните за трите най-красиви градини, наподобяващи пейзажи в Япония са също в този стил - Кайракуен в Мито, префектура Ибараки, Кенрокуен в Каназава, префектура Ишикава и Коракуен в Окаяма, префектура Окаяма. От началото на периода Мейджи (1868-1912 г.) Западът оказва влияние дори върху традиционното японско градинарско изкуство. Токийският национален парк Шинджуку Гьоен, със своите големи пространства с обширни тревни площи, е пример за това влияние.