在隋朝末期天下大乱之际，李渊发动兵变，房玄龄选择加入李世民的队伍，并担任秦王府记室一职，为李世民出谋划策、处理文书。他的文思敏捷，每当行军途中需要写军情奏章时，他可以在马停留的短暂时间内完成。
随着李世民的平定一地，其他人都在寻找古玩珍宝，而房玄龄却着重于为李世民发掘人才，比如他推荐了杜如晦、张亮、薛收、李大亮等人，这些人后来都成为了朝廷要员，立下了重大的功勋。
房玄龄和杜如晦在历史上被称为“房谋杜断”，因为房玄龄善于策划，而杜如晦则擅长做出决断，两者相辅相成，成为了绝佳的搭档。公元626年，房玄龄、长孙无忌、杜如晦三人作为玄武门之变的主要策划者，帮助李世民夺取了帝位。李世民称赞房玄龄“筹谋帷幄，定社稷之功”，并授予他国公爵位。
在李世民登基后，房玄龄担任了中书令、尚书左仆射、司徒等要职，成为朝廷中枢决策的主要参与者。他非常注重官员的治理，裁撤了冗官，提高了办事效率，节省了财政开支。他还注重制度建设，汲取历代经验，制定了一系列完善的典章政令，废除了隋朝的严刑酷法，改为宽厚平和的方式处理政务和民情。他工作勤勉，常常日夜忙碌，非常看重人才，不分卑贱，被人们称为一代贤相。
