1984年的高考数学卷被认为是历史上最难的。这一年高考数学平均分只有26分，许多学霸都是哭着走出高考的，学渣的惨状更是不堪设想。1984年的高考数学试卷难度极大，题目综合性强，且很多题目超出了考生的认知范围，导致全国平均分极低。

此外，虽然2003年的江苏高考数学试卷因葛军的命题而难度大增，人均分只有68分，但相比1984年的情况，难度还是相对较低的。其他如1987年、1999年和2011年的高考数学试卷也被认为难度较大，但都没有达到1984年的水平。

因此，综合来看，1984年的高考数学卷是历史上最难的一年。