在短短的三个月之内，中国学术界灿烂星河中最亮丽的巨星相继陨落，台岛各界及海内外学人为之哀戚。为使科学事业不致因巨星陨落而停滞，同时也尽快扫除密布于学人心头上的阴霾，在胡适业归道山不久，台湾当局再度任命李济为“中央研究院”代院长。李推托一番，最后表示个人服从组织，拿起鸡毛掸子，把故院长胡适坐过的那把有些灰尘的椅子扫了扫，躬身坐了上去。
李济自1948年年底拒绝他的学生与陶孟和等人三番五次劝阻，毅然决然地押着他视若生命的国之重宝渡过波浪滔天的台湾海峡，毫发未损地在基隆港安全登陆后，国民党大势已去，兵败如山倒，一批批官僚、政客、奸商、投机分子、游兵散勇与流氓、乞丐等各色人物，像蝗虫一样嗡嗡叫着，蜂拥至这座孤悬于汪洋大海中面似烧烤地瓜状的岛屿。
因地小人多，时局混乱，来台人员大多无处安身。李济率领押船的部分史语所人员，勉强在台大医学院教室中搭个简单的床铺暂住下来。时台大教室少而简陋，其拥挤之状从石璋如回忆中可以见出：“人多的可以住一间教室，人少的就两家住一间教室，我就跟萧纶徽家共住一间教室。教室有前后二门，萧走前门，我走后门，两家中间用帐子拉起来隔开。公家只给一家做了一张方形大床，上头可以搁两张榻榻米，全家人就挤在一起，睡在上头。这就是我们的住。李济先生比我们早来一段时间，家眷多，也住在台大医学院。虽然我们到这里很苦，可是我们从基隆下船一早来到台大安顿行囊之后，休息到第二天，史语所三组的同仁就在李济先生的带领下，步行到圆山作遗址调查去了。”
在迁台的最初几年，尽管孤悬一岛，前程堪忧，李济曾有过“心情迷乱，考古兴趣伤失殆尽”的情绪，但很快振作起来，并以一个国际级学者的风范和文化良知，重新投入学术中去。除领导并参加了著名的圆山贝冢发掘，还参加了台中瑞岩泰雅族的体质人类学调查，组织对桃园尖山遗址发掘、环岛考古调查，整理安阳殷墟出土陶器、青铜器等事宜。再之后，李济率领一帮弟子开始对中国上古史展开研究。此时的李济与许多学者不同的是，他以一个杰出的人类学者的身份和地位，而不是以一个狭隘的考古专家的身份与角度，来观察上古人类活动与创造文明的历程与成果，充分展现了其在学术上的磅礴大气与深刻洞见。对于这段史实的考察研究以及最萦绕于心的问题，台湾大学为其重刊的文章中，李济以后记的形式作了如下说明：
治中国古代史的学者，同研究中国现代政治的学者一样，大概都已感觉到，中国人应该多多注意北方。忽略了政治的北方，结果是现在的灾难。忽略了历史的北方ｉb?，我们的民族及文化的原始，仍沉没在“漆黑一团”的混沌境界。两千年来中国的史学家，上了秦始皇的一个大当，以为中国的文化及民族都是长城以南的事情；这是一件大大的错误，我们应该觉悟了！我们更老的老家——民族的兼文化的——除了中国本土以外，并在满洲、内蒙古、外蒙古以及西伯利亚一带，这些都是中华民族的列祖列宗栖息坐卧的地方；到了秦始皇筑长城，才把这些地方永远断送给“异族”了。因此，现代人读到“相土烈烈，海外有截”一类的古史，反觉得新鲜，是出乎意料以外的事了。
李济所说的“现在的灾难”，当是指晚清以后的军阀及蒋介石集团没有注重中国北部的经营，因而有了外蒙古在苏俄扶持下悍然独立，国民党受共产党军队的重击而败退台湾的事实。面对这一无法挽回的惨剧，李济以他非凡的识见告诉他的同行并附带警示逃亡台岛的政客们，越是在这样艰难困苦的境况中，作为具有思想的政界和学术中人，就越要把眼光放得长远与开阔，不要拘泥于一个小小的台湾岛或中国大陆，特别是“我们以研究中国古史学为职业的人们，应该有一句新的口号，即打倒以长城自封的中国文化观；用我们的眼睛、用我们的腿，到长城以北去找中国古代史的资料，那里有我们更老的老家”。如此的学术境界和气魄，如张光直所说：“除了个人的胸襟，更代表了在上古史研究中的一种实事求是的科学态度。”
1953年秋，李济在菲律宾举行的第八届太平洋科学会议上所作专题报告《安阳的发现对谱写中国可考历史新的首章的重要性》，文章再次指出：“中国是一个大陆国家，因而这片土地上无论发生什么变化都是大陆规模的。中国的文化和种族史的宏大堪与整个欧洲的文化和种族史相比拟。只有从这样的角度来观察，并以此为依据来研究，才能在中国古代史及其考古遗存的阐释上取得真正的进展。”
对于李济思想所散发出的光芒，十年后，有个叫李敖的台大历史系毕业生，曾作了这样的评价：“在中国考古家由早到黑发掘古物的时候，没有人会想到这种‘无聊的’乌龟壳研究会有什么用，但是这三四十年来的古史研究，竟使我们发现我们民族的脐带究竟在什么地方，使我们民族的心胸遥远的跑到长城以北、玉门关以外，这对民族自信心的鼓舞，总比空头口号家的‘大哉中华’来得实际有效吧？”而