圆明园大火、《天津条约》、《北京条约》等一系列大事后，清政府逐渐认识到了开眼看世界的重要性。1875年即光绪十一年，清政府任命陈兰彬为首任驻美大臣，中国首次在华盛顿开设了大使馆，到伍廷芳上任之前，这个大使馆存续了将近30年。
然而旧时的使馆与今天不同，我们知道今天是两国互相交换土地，大使馆即领土。而当时美国在北京的使馆是通过不平等条约强开的，大清国在华盛顿的使馆却是租赁的民房。然而为了能够随时与美国政府打交道，这个使馆的却非常有存在的必要。
我们都听说过西方大文豪们曾经刻画了“四大吝啬鬼”，其实近代资本主义社会其文化基本符合莎翁等文豪笔下的描述。清朝驻美使馆在美国的经历非常不开心，房东经常勒索，并且以房子里一些小毛病唯有，恶意提高和加收房屋维修费用，房租也年年递增。因为代表了国家形象，使馆也不可能经常性的搬迁，也没办法去跟房东打官司，让人看笑话，清朝使馆诸位只能默默吞下苦果。
到了1901年，伍廷芳担任使臣，他提出要买一块地皮，修建自己的使馆。当时大使馆的房租已经到了1万两白银每年，折合6000美元，而且水电费高得离谱，地理位置也不是很好。
美国当时正处在第二次工业革命的开端，即将奠定它未来世界第一工业大国的地位，土地价格上涨非常快，伍廷芳经过招工评估，连地带着工料，需要消耗8万美元。
当时的情况，即使清廷愿意给伍廷芳拨出这8万美元，然而中间层层盘剥，经费运输的安保也需要很大消耗，令伍廷芳一筹莫展。而且当时的清政府刚刚经历了八国联军的洗劫，虽然过生日仍然满汉全席，然而修建大使馆的钱断然是拿不出来的。
这个时候伍廷芳得知一个消息，那就是1900年八国联军进犯天津，美军在天津劫掠了库银数十万两，美国军官将其兑换成为美元，带回了美国，这笔钱当时没有被美军挥霍，而是存进了华盛顿的金库。
伍廷芳精神一震：要讨回这笔钱。
然而，自1840年以来，丢掉的古董、财宝、金银何止亿亿万，还没听说过哪个国家归还一分一毫。伍廷芳深知此事艰难，然而为了国家，但凡有一线希望，他也要拼搏一次。
伍廷芳多次交涉，利用与美国外交部的关系，获得了美国总统的批准，美国政府绕过议会直接同意将这笔钱归还。其后美国政府部分虽然多有推脱，不过伍廷芳屡次委婉的催促，终于在1902年将这笔钱要了回来。这笔经费高达三十七万六千三百美元，约50万两银子，伍廷芳请示清廷后，留下8万美元用作修建大使馆，其余的全部给了朝廷。
随后1年的时间，这间使馆落成，然而1903年夏天使馆落成仪式，伍廷芳已经回国，没有亲眼看到大使馆的落成。
1903年，清朝武官谭锦镛在美国办公务，被美国警察当街羞辱，警察拽着他的辫子把玩。谭锦镛感到自己受到了巨大的屈辱，连累国格，于是回到住处后自杀。
国家与人的作用，固然多数体现在庇护上，然而国家毕竟是由人组成的，人强则国家。
