当寺は、夏目漱石ゆかりの寺としても知られています。夏目家累代の菩提寺であるとともに、漱石の作品には、当寺がモデルであるかと思われる「養源寺」が登場します。
「おやぢの葬式の時に、小日向の養源寺の座敷にかゝってた懸物は此の顔によく似て居る。坊主に聞いて見たら韋駄天(いだてん)と云ふ怪物ださうだ。」
『坊っちゃん』(1993年版)より