太陽石有一個原住民的淒美故事。

　　芝山岩過去是平埔族的生活範圍，而北投地區是女巫住的地方，稱為「叭搗」。當時芝山岩住著太陽的兒子，名為哈達岷格夫的英俊男子。他與北投女子芝嬋巴雅談戀愛，但兩人的感情受到女子母親的阻撓。

　　有一天兩人偷偷相約在芝山岩見面，不見不散，結果被女子的母親知道了，她把先去山上的等待的男子變成一塊巨岩（芝山岩岩石多的由來）。芝嬋巴雅到了芝山岩後不見哈達岷格夫來，便連等了數天，傷心的她幾乎昏死過去。女巫只好告訴他真相，女子聽了非常傷心，風雨中找到這顆巨石，哭訴生死相隨後，便一頭撞上巨石，剎時巨石裂開，裂面呈現了太陽輻射的光芒，這就是太陽石得由來。