不学物理在大学选科时确实会遇到一些困难，主要体现在以下几个方面：

专业选择受限：

许多理工科专业如信息与计算科学、大气科学、空间科学与技术、电子信息类、机械类、土木类、航空航天类、海洋工程类等，都要求或偏好物理科目。如果高中没有选择物理，这些专业的报考将变得非常困难。

分数线上升：

由于物理是理工科的基础，许多高校在招生时对物理科目有较高的要求。因此，不选物理的考生在填报志愿时可能会面临更高的分数线，从而增加了录取的难度。

学习难度增加：

即使侥幸进入某些不要求物理的专业，大学阶段的物理学习也可能会比较吃力，因为物理学科的难度较高，挂科率也相对较大。

未来职业发展的限制：

某些医学类专业如临床医学、口腔医学、儿科学等，以及一些985高校的财经类专业如金融学、会计学、统计学等，都要求或偏好物理科目。不选物理可能会限制未来的职业选择和发展。

综上所述，不学物理在大学选科时确实会面临较大的挑战。因此，建议在高中阶段就认真考虑自己的兴趣和职业规划，尽量选择物理科目，以便为未来的学习和职业发展打下坚实的基础。