Os modelos dos primeiros jardins japoneses vieram da… China e representaram o prazer e divertimento dos aristocratas. Os do Período Heian (794-1185) tinham normalmente um lago com uma ilha e eram construídos para contemplar a Natureza através das mutações das estações do ano. A partir disso, os jardins começam a desenvolver características próprias, dando destaque para os arranjos de pedras.
Os jardins do século VII e do século VIII tinham elementos como lagos artificiais, pontes e lanternas à semelhança dos chineses e coreanos, ou a noção budista da montanha Sumeru como o centro do cosmos. O palácio imperial e as residências da nobreza do período Heian eram construídos sobre lagos artificiais com pavilhões de pesca num cenário de montanha. No período Kamakura, um grupo de guerreiros das províncias, bem como de nobres e de monges, começou a mostrar interesse na construção de jardins. O primeiro depoimento crítico do arranjo do jardim japonês, o Sakuteiki (Ensaio sobre a Concepção de Jardins), foi escrito por Tachibana Toshitsuna, no início do período Kamakura (1185-1333).
A água surge com um elemento característico dos jardins e é apresentada sob as mais diversas formas. Em muitos casos, um simples regato pode sugerir a ravina de uma montanha, ao passo que uma ilha de pinheiros num lago artificial pode sugerir Matsushima ou outro local belo. Nos jardins Zen, a gravilha branca as rochas sugerem um rio a correr, um oceano ou, a água pode provocar um som fresco e calmo ao cair dentro ou sobre uma bacia de pedra.
Entre os designers de jardins mais famosos da história do Japão conta-se o monge Zen Muso Soseki, do século XIV (1275-1351). Até os 50 anos, Muso viveu como um monge mendicante à procura da "luz". Ao longo de suas viagens fundou vários pequenos mosteiros nas montanhas, com jardins integrados no cenário natural. Mais tarde foi protegido pelos shoguns Ashikaga e pelo imperador Godaigo e nomeado abade dos mosteiros de Tenryuji e de Rinsenji, em Kyoto, onde concebeu maravilhosos jardins. Já no fim da vida retirou-se para o pequeno templo de Saihoji, onde criou um jardim utilizando o musgo como elemento principal e incorporando o ideal chinês de "dez visões maravilhosas".
