他没想到的是，四年级划分时，清华营建系已改为纯工科的建筑系，没有了建筑史。他被分到工业建筑，毕业后分配到中国科学院土木建筑研究所。幸而1956年9月中科院与清华建筑系合办建筑历史与理论研究室，梁思成任主任，傅熹年被所在单位派到这个研究室工作，得以回到母校清华。他以为终于实现了研究中国建筑史的夙愿，但命运再一次捉弄了他。
反右运动中，因一些私下闲谈被人揭发，他被划成右派，1959年春下放建筑工程部的北京南口农场劳动。
说起这次下放，他只淡淡地说工作是“放牛、养猪、种老玉米”。他觉得自己很厉害的是给母猪接生，十个八个呼噜一下子就生出来了，“挺好玩的”。下放的近两年里，他抽空反复通读了带去的《资治通鉴》和宋《营造法式》。
1960年10月，他摘掉了右派帽子，返回单位。反右后，建筑历史与理论研究室已被清华撤销，经梁思成联系，傅熹年等非清华人员调到了建筑工程部所属的建筑科学研究院建筑历史室。工作室的主任是梁思成，副主任是刘敦桢、汪季琦。傅熹年被编入民居研究组，参加了王其明负责的浙江民居调查。
王其明觉得傅熹年很有钻劲儿。他是红绿色弱，考清华建筑系前就有意识地做“预习”，画画知道自己哪个颜色不准，就注意调整。她觉得，傅熹年被划右派受打击很大，但对他来说也算一个很特殊的成长环境，还收获了知心的爱人。他划右派后，要跟在文物出版社工作的女友分手，女友却坚决不改志向，他也毫不动摇，两个人是等他摘了帽子后才结婚的。
除了画图，傅熹年的文史综合能力也有了用武之地。在协助刘敦桢编写《中国古代建筑史》时，他开始用研究古建筑的手法来考察一些重要古代名画。
宋以前建筑实物，尤其是住宅全都灭失了，目前所见早的古代住宅是明前期的，再早就只能求诸文献、绘画等，其中绘画是形象资料，尤其重要。现存宋元绘画中保存住宅资料丰富的是张择端的《清明上河图》和王希孟的《千里江山图》。《清明上河图》所画的是北宋汴梁城乡建筑，以店铺为主，兼有一部分住宅。画中对建筑物的构造、装修细部都有精细的描绘，但因为画面取景较近，在表现建筑全景方面就难以兼顾。《千里江山图》则能加以补充，它是宋画中表现住宅和村落全景多的一幅。
有一次，启功偶然从一个信封里找到几张“漏网”的敦煌写经残片照片，与傅熹年同看，说其中一张好，书法秀美潇洒，毫无职业写经人的习气。
这是一篇写经的发愿文。文中称，自己发愿要写三千部《妙法莲华经》，以为亡母“太原王妃”祈福。两人都觉得“太原王妃”眼熟，但一时想不起是谁。
几天后再见面，启功高兴地说，终于想起来了！武则天之父武士彟死后追赠太原王，太原王妃即武则天的生母杨氏。但武士彟还有其他子女，不能确定要发愿写经的就是武则天。当时无法查资料，这个疑问只能暂时搁置了。
1968年底“清理队伍”后，傅熹年获准回到人民队伍中，随全院职工整体下放河南的“五七干校”。之后，建筑研究院被撤销，人员星散。傅熹年被分配到甘肃天水，在国家建委第七工程局的工程公司为技术员，再次离开了古建。
鉴定全国公藏古代书画
后，傅熹年结束了多年的漂泊生涯，得以回归，右派问题也在1979年“改正”。但是，他仍然不能心无旁骛地搞，因为，80年代，他又“跨界”成为了中国古代书画鉴定组成员。
全国古代书画鉴定工作早开始于60年代初。在周恩来的指示下，文化部文物局组成了鉴定小组，张珩为组长。张珩于1963年病逝，不久“文革”开始，这项工作就完全停顿了，直到1983年，才在谷牧的批示下重启。当时决定，由中宣部下发文件，将鉴定全国公藏古代书画作为一项国家任务下达。
1983年8月，中国古代书画鉴定组正式在北京成立，上海博物馆顾问谢稚柳和北京师范大学教授启功任组长，谢辰生代表文化部文物局负责协调工作，组员有故宫博物院研究员徐邦达、辽宁省博物馆副馆长杨仁恺、故宫博物院研究员刘九庵，以及当时在中国建筑技术发展中心建筑历史研究所任研究员的傅熹年。
傅熹年是在启功、徐邦达和谢辰生的联合推荐下进入这个组的，全组七个人中，六人都是七十往上的老，只有他是50岁的“小字辈”。
8月底，期巡回鉴定在北京启动。在故宫博物院丽景轩鉴定书画，以“文革”中的抄家文物为主。接下来，先后鉴定了北京市文物局、北京文物总店、中国历史博物馆、首都博物馆和故宫博物馆所藏书画。
由于鉴定组大多是高龄老人，鉴定只在春秋两季进行，每次三个月。《清明上河图》《千里江山图》等名画当然也要过一下眼，过完就赶紧收了，这些都是早已公认的国宝。
1985年、1986年上半年，鉴定组移师上海。在上海，发生了较大的意见分歧。
上海博物馆所藏元代名画中，有一卷题为赵孟頫所绘《百尺梧桐轩图》。此图绢本，青绿设色，画的是园居闲适之景。图中一人便服闲坐在梧桐轩中，旁有一童子捧茗，一使者抱琴，高大的梧桐树环绕四周。全图笔法秀雅，设色工丽。画后有周伯琦、张绅、倪瓒等七人的题诗，都是元末名家。对此画是否为赵孟頫所画，傅熹年提出了不同看法。
傅熹年还回忆，鉴定组开会时，他和刘久庵常坐在一起，互相交谈。每次提出反对意见，总有人会问：你说不是他画（写）的，那你说是谁画（写）的？可能有感于此，一般鉴定时定其真伪就够了，但刘久庵还进一步研究伪品，尽可能找出作伪者，如指出多件祝允明书法都是吴应卯、文葆光伪作的。刘久庵不但熟悉大名家，还熟悉中小名家，对一些名家的不成功之作，他往往能力排众议定其为真笔。
巡回鉴定工作于1989年底结束，共过目全国6万多件书画作品。作为鉴定成果，出版了10册《中国古代书画目录》，其中编成24卷彩色《中国古代书画图录》
鉴定工作结束后，傅熹年偶然翻阅旧笔记，起了对《百尺梧桐轩图》加以考订之心。因为这幅绘画之精雅、题诗诸人的声名之煊赫都给他留下了深刻的印象，为什么一幅伪作却会有七位同时代名家为它题跋？
通过研究题诗的内容和题诗的时间地点，他判定，画上的梧桐轩主人应是张士诚之弟张士信。当时张士诚以富庶的平江（苏州）为中心割据江浙11年之久，在遍布全国的元末起义烽烟中，这里成了一个文学艺术盛的孤岛。傅熹年认为，画的作者应是当时居留在平江的一位名家，其画风受到赵孟頫的影响。张士诚兵败身亡后，收藏者不得不裁去原款，伪托赵孟頫所作，实是为了将画作保存下来而不是为了欺世盗名。因此，此图虽非出自赵孟頫，也有特殊的历史和艺术价值。
巡回鉴定休会期间，傅熹年还于1987年秋赴美国考察了博物馆藏中国书画。考察是由美国华美协进社社长、翁同龢之孙翁万戈安排的，原拟安排王世襄赴美，但王世襄将这一机会让给了更熟悉书画的傅熹年。
傅熹年历时110日，参观了纽约大都会艺术博物馆、波士顿美术馆等10个博物馆，看了大量以前只见于著录书和图录上的名作，大开眼界，归后整理成《旅美读画录》。
他此行有成就感的，是在参观美国华盛顿弗利尔美术馆时，在一个普通库里发现了国宝级的南宋画家夏珪真迹《洞庭秋月图》。