然而此时，并非大环境里发生的一切都是那么兴奋与和谐，美国太平洋战区总司令麦克阿瑟在日本宣布投降后随即命令在华日军，只能向国民党军队投降；这之后，美国政府进一步介入了中国的内战，美军调集大批飞机和军舰帮助国民党运送军队，抢先接收了日军占领的大城市。从此，国共双方进入了边谈边打的阶段。由于二战的结束，美军已没有必要与十八集团军和新编第四军交流对日作战情报，也不再需要协调营救被击落的美军飞行员了，过去设立延安观察组的初衷已不复存在，因此观察组的人员日渐减少，最少时只有两三个美军成员留守。1946年3月4日，美国五星上将马歇尔飞抵延安。马歇尔是1945年底作为美国特使来中国和平斡旋的。在逗留延安的十八个小时中，他特意看望了留守的美军观察组成员，并在惠特塞纪念厅前脱帽敬礼。1947年初，调停失败的马歇尔黯然离开中国。

1947年3月11日，美军运输机从延安接走了最后三名美军联络员。至此，历时九百六十三天的美军延安观察组画上了句号。同机飞离延安的还有美国记者安娜·路易斯·斯特朗，她刚刚在延安采访了毛泽东，毛泽东向她提出了“一切反动派都是纸老虎”的著名论断。此时，胡宗南的三十万美式装备部队已经剑拔弩张，准备进攻延安。

美军观察组撤走的当天下午，国民党的飞机就轰炸了延安。正如毛泽东和谢伟思第一次见面时预言的那样，观察组一撤走内战就全面爆发了。