关于哪套高考数学试卷最难，存在一些不同的观点和数据。以下是部分年份和省份的高考试卷难度情况：

2003年

由于高考期间高考试卷被盗，教育部门启用了备用卷，这份试卷的难度被广泛认为是极高的。很多学生反映题目非常奇怪且偏颇，整张试卷几乎没有简单的题目，导致许多学生哭着走出考场。2003年高考数学的平均分仅为60分左右。

1984年

1984年的高考数学试卷开始增加难度，打破了以往的做法。当时的题目非常新颖，很多学生平时没有见过，导致平均分较低，很多省份的平均分低于30分。

1999年

1999年的高考数学题目创新性很强，灵活多样，贴近生活，完全避开了传统的解题套路。这种创新性的题目导致学生成绩分化严重，具有创新思维的学生能够取得高分，而一般学生则表现不佳，全国平均分约为47分。

2008年

2008年江西高考理科数学卷因其难度而闻名，尤其是压轴题，据说只有一人做出来，并且引起了院士的关注和讨论。

2018年

2018年山东省的高考数学卷中出现了一道单选题，考察了三角函数中“和角公式”的复合应用，难度远超预期，引起了广泛关注。

综合以上信息， 2003年的高考数学试卷因其难度之大和广泛的影响力，被认为是史上最难的试卷之一。