主屋北側に典型的な江戸庭園がある。
赤松の壁画がある大床の間から座敷を通し庭の黒松と石灯籠が楽しめる。瀧の壁画がある茶室兼用の座敷から目前の山中を表現した庭が楽しめる。奥座敷から幽玄な枯山水の渓流とその傍らの石灯籠が楽しめる。経年で主屋内の壁画が色あせ、庭土の老化などで一見どこにでもある旧家の古びた庭に見えるが、大阪で数少ない貴重な主屋とセットとなった江戸庭園の一つであり、もともと借景が無い庭園だったので、略原型のまま維持されている庭は庭に付与された思想を保持し続けている。主屋、北蔵、西蔵にて囲まれた所に二つの築山を設け、(古木なので樹木名が判らないが)モチノキのような大木、ウバメガシに似た大木、人里の山で大木となるアラカシなどを育て、奥の築山に枯山水の二本の渓流を設け、謙虚にツツジ、サツキ、ツバキ、キンモクセイ、ヤツデ、ハギをそれぞれ1本づつ見せ、地面をササで覆い、築山、石組み、樹木にて山中の雰囲気を出している。飛び石を地表に並べ土面を強調し、井戸を目立たせ大きな地下水脈があることを感じさせるようにしている。山中の雰囲気を見せ、地下に流れる巨大エネルギーを持つ地下水を感じさせる庭なので、法然院方丈庭園と同じく易経「27山雷頣（食し養う）」を表現し、住人に自省と自己鍛錬を求め、謙虚な生き方を訴えかけている。武家庭園に遠慮し黒松は一本だけ、武家庭園で良く見受けるアカマツ、イヌマキ、クロガネモチ、モッコク、マンリョウ、センリョウなどはなく華やかな石もない。築山の土面を隠すクチナシの植え込みに葉の綺麗なつる性植物をからませ、ツワブキ、シダを見せている。武家に遠慮し華やかな庭とはしないが、美しさを作り出し、ナンテンをあちこちに育て、ハギを大きく育て商家の庭らしくしている。造り酒屋として大成功された杉山家の庭らしく大地を強調し、柔和に万物を育て、ひいては人を育てようとする包容力がある。富田林八人衆の一人として当主は町の経営にたずさわっておられた家なので、代々の当主はものごとを明らめ、ものごとを噛み砕き、皆が納得する結論を出すことに努められておられたことがにじみ出ている。石灯籠で枯山水の沢や地面を照らす雰囲気を出し、他人に対する思いやりを感じさせるようにしている。以上のような思想を持つ庭と、庭に付与された思想を屋内に取り込む壁画とがセットになっている典型的な江戸時代の芸術を大阪で見ることができた。この家に育ち、作家、詩人となった石上露子(本名杉山孝)は歴代当主が培った芸術を結晶させた人だと感じた。
