姚姓居此，稱姚家營。清末莊易主趙姓，更今名。

清初，童姓在境內(nèi)建一廟，稱童祖廟。村取廟名。

清嘉慶年間李姓在此高處修廟，稱高廟。因廟得名。