南华大学衡阳医学院筹建于1956年。

1958年开始招收公共卫生三个专业三年制专科。

1959年开始招生医疗专业5年制本科生。

1962年因国民经济困难被迫停办。

1965年复办改为衡阳医学高等专科学校。文化大革命期间，1966年至1969年没有招生。

1970年开始招生一年制工人医生班。直至1972年才参与全国高校统一招生。