Освен дървета и храсти, за постигане на художествения облик на японските градини, се използват още скали, пясък, изкуствени хълмове, езера и течаща вода. За разлика от геометрично подредените дървета и скали в градините в западен стил, в традиционните японски градини се изграждат композиции, които възможно най-близко наподобяват природните пейзажи.
При изграждането на пейзажите създателите на градини следват три основни
принципа. Това са умален мащаб, символизъм и "заимвствани пейзажи". Първият принцип се отнася до умаляването на планински и речни природни гледки, така че да образуват органично цяло. Така могат да бъдат създадени идеализирани пейзажи от планинско селце в сърцето на големия град. Символизмът включва много абстракции, като например белия пясък, който представлява морето. Проектантите "заимвстват" пейзажи, като включват гледката зад градината например, планината или океана като неразделна част от композицията.
Според една от философските школи основната конструкция на японската градина са скалите и начинът по който те са подредени. Древните японци вярвали, че обградените със скали места се обитават от богове и затова ги наричали амацу ивасака (небесни прегради) или амацу ивакура (небесни места). По същата логика гъста горичка се наричала химороги (божествена ограда), а рововете и потоците се смятало, че заграждат свещена земя и ги наричали мицугаки (водни прегради).
Японските градини могат да се разделят на два основни вида: цукияма (хълмиста градина), композиция от хълмове и езера, и хиранива (плоска градина), равна площ без хълмове и езера. Първоначално хълмистият стил бил използван за главните градини на дворците, а равнинният стил за по-ограничени пространства. Последният вид става популярен с въвеждането на чайната церемония и чашицу (стая за чайна церемония).