賀茂神社の起源は、賀茂三笠山（米子城跡の山）を神体山として大自然の神「別雷神」を祀り、祭祀を営む神殿を今の地に建てたのが始まりである。
昔、賀茂神社周辺は「賀茂の浦」という小さな漁村でこの辺は「賀茂」（現在は加茂町として賀茂の名は残るが行政区画の折貝の字を簡略化した）と呼ばれていた。次第に集落を形成していくと当神社に因み「米子」という地名が誕生した。「よなぐ井（宮水…今でも湧き出る湧水）伝説」や「八十八の子（88歳で子を授かる）伝説」などの口碑がある。米子神社或いは八十八神社などと称しても結構であろうが、「賀茂」がいかに尊いかを測り知る事ができる。鳥取県神社誌、米府神社由来記には「総産社賀茂皇大明神」と記載され、厳かなるお宮「厳宮(いつのみや)」と称え奉る米子町（現在の米子市になる前で町の範囲は今の市より狭い）最古の神社「米子町総鎮守」である。
