表門をくぐり、石畳を進むと、明治10年(1877年)に建築し、同20年に移築された入母屋造の母屋が出迎える。玄関を上がった八畳の本座敷は、長押を打たないなど、数寄屋風の意匠を帯びている。目を引くのは、建築当時まだ日本では製造されていなかったガラス入りの建具で、施主の広瀬宰平は住宅としての実用を重んじて建物の随所にガラスを用いた。宰平のあたらしもの好きは、このほかにも見られ、当時としては画期的な意匠が随所に取り入れられている。
日差しが届きにくい中央の居室には移築時に暖炉、その後に掘りごたつがそなえられた。畳敷きの和室に暖炉というのも、きわめて斬新なアイデアといえよう。
二階へ上がる階段は、機能を重視して、本座敷と台所の二方向から上がれるように動線がつくられている。その動線の交差する箇所に広い踊り場をもうけ、荘重な西洋的な意匠が取り入れられている。
二階「望煙楼」の座敷を取り囲む縁側には、低い手すりがあり、それを支える手すり子の意匠は、居留地の西洋館で見るような擬洋風的な趣きを感じさせる。
母屋と銅板葺きの渡り廊下でつながった新座敷は寄棟造り、瓦葺きで、南に十五畳、北に十畳の二室を並べ、正面と両側面にぐるりと板縁を廻している。二室とも、棹縁天井を張り、内法長押を廻し、部屋境の欄間に設えられた櫛形の意匠が、繊細な趣きを醸し出している。
宰平も八木甚兵衛も、本来、数寄屋造りのシンプルな意匠が好みで、格式張った長押は嫌っていたが、宰平は新座敷は賓客をもてなす場でもあるので、長押を入れたいと要望。その意を酌んだ甚兵衛は、控えめな内法長押を採用し、格式あるなかにも、落ち着きのある雰囲気を作り出したとされる。
床の間は琵琶床に格天井、床柱も重みを感じさせる角材を用いるなど、格式に配慮したつくりになってはいるが、出書院は簡素な組子障子、床脇も地袋だけにとどめられており、シンプルに仕上げられている。
新座敷の奥には客用の湯殿があり、そこから裏庭を散策する路地がある。これは宰平が設計変更を指示したもので、招待客に風情を感じてもらおうと意図したものだ。
八木甚兵衛の特長である丸物使いは、初期の作であるこの旧広瀬邸にもふんだんに取り入れられている。縁廻りには、節のほとんどない均等な太さの巨大な丸太杉を軒桁に用い、そこに渡された垂木も自然木の磨き丸太を採用している。いまに至るも狂いがほとんどないところに、八木の高度な技をうかがうことができる。
母屋奥の料理場も、旧広瀬邸の文化的価値を高めている。母屋の居室部をすべて合わせたほどの広さを持ち、客を迎えたときに遅滞なくもてなしができるよう、調理場や洗い場が機能的に配されている。明治33年(1900年)頃の築とされるが、現在も良好に保存されており、当時の裏方の事情をよく伝えている。
母屋の本座敷と新座敷から望む内庭は、大きくはないが、変化に満ちた園路をもち、工夫が凝らされている。新座敷を出たすぐのところは、平坦な芝生が広がり、拳大の石を敷き詰めた延段が新座敷から母屋にそって延び、内庭から広がる南庭へ上る石段へとつながる。
中島を有する心字池の奥には築山が築かれ、飛石をつたって起伏に富んだ園路を歩きながら池の周辺に植栽された灌木や花木を楽しむことができる。
池の南端には小滝があり、さらさらと流れるさまを形容した吹きはなしの東屋「潺潺(せんせん)亭」が佇む。 板床の一部が池に張り出すように作られ、低い手すりが添えられた軽快なつくりで、野趣を存分に堪能できる。
池の北寄りには「指月庵」が建つ。明かり障子を開けて、室内を庭園に向かって開放することができるうえ、東面にも大きな円窓が開き、明るく開放的な雰囲気が特長的だ。
現在は、樹木が茂り、この内庭だけで完結しているような趣きがあるが、建設当時は、新座敷から内庭の背景に広く別子銅山を含む赤石連山も見渡せたはずで、宰平も来客も、その眺めを楽しんでいたに違いない。