由于“十三行”的大部分生意是与另一垄断者即英国的东印度公司做的，东印度公司是大英帝国的全权贸易代表，然而在1834年，东印度公司的贸易垄断权却被英国政府取消了。而当时中国“一口通商”的方式无法满足日渐增长的对外贸易活动，“十三行”与英国自由商人的贸易摩擦日渐升级，已经逐渐变为19世纪中西关系危机的焦点。
伍家的怡和行向来做的是正经生意，茶叶贸易是伍家最主要的业务。但是，一些伍家担保的外国商人为了谋取暴利，往往在货物里夹带鸦片。对于伍家来说，一方面是朝廷官府，一方面是多年来贸易往来的生意伙伴，两边都得罪不起。因此，他们只能尽自己的全力居中化解这些危机。
在林则徐至广州禁烟后，伍家积极配合，将外商上缴的一千余
箱鸦片交给了林则徐，但是，林则徐认定这些鸦片是十三行行商与英商串通一气欺骗官府才交出来的，于是派人锁拿伍秉鉴的儿子伍绍荣到钦差大臣行辕审讯。面对官府的淫威，伍家只能妥协，表示愿以家资报效。尽管伍秉鉴曾向朝廷捐巨款换得了三品顶戴，但这丝毫不能拯救他的事业。由于与英国商人千丝万缕的联系，他曾遭到林则徐多次训斥和惩戒，林则徐甚至还下令将涉案的伍绍荣革去一切职衔，逮捕入狱。伍秉鉴不得不一次次向清政府献出巨额财富以求得短暂的安宁。经过如此几番折腾，伍秉鉴颜面尽失，可以说斯文扫地。
1840年6月，英国远征军封锁珠江口，鸦片战争爆发。伍秉鉴父子争取和平解决鸦片问题的努力彻底失败了。伍秉鉴清楚地知道，英国发动这场战争的根源，正是不满广州“一口通商”和十三行的垄断贸易地位，一旦英军获胜，毫无疑问，广东行商集团的独特贸易地位将完全丧失。
为了打赢这场战争，伍家和其他行商，都为这场战争贡献了巨额的财富。战争甫一开始，伍秉鉴和十三行的行商们就积极募捐，出资修建堡垒炮台、建造新式战船、制作火炮枪械。纵然如此，已经落后于时代的清军仍然全线溃败。1841年5月，英军长驱直入，兵临广州城下时，钦差大臣奕山统领的清军无力抵抗，奕山情急之下，竟然想出了一条计策——命令行商们前往调停。广州城外，奉命行事的伍绍荣和行商们与英军首领义律展开了讨价还价。最终，双方签订《广州和约》，按协议，清军退出广州城外60里，并于一个星期内交出600万元赔款；英军则退至虎门炮台以外。这600万元巨款，有三分之一由十三行商人出资，其中伍秉鉴所出最多，共计110万元。
遗憾的是，这次赎城之举没有给伍秉鉴们带来任何荣誉和感激，而是更多的非议。从战争一开始，跟洋人做生意打交道的行商，就被国人扣上了“汉奸”的帽子。不管他们捐献多少银两，为国家和民众做了多少贡献，也摘不去这个帽子。
1842年，鸦片战争以清廷完败结束。《南京条约》签订后，在随后的赔款中，伍家被勒索缴纳了100万元，行商公所认缴134万元，其他行商摊派66万元。清政府在1843年还下令行商偿还300万银元的外商债务，而伍秉鉴一人就承担了100万银元。
此时的伍秉鉴已经意识到，在这样的环境下，他所积累的财富注定不会长久。在战争中，伍家损失了不下200万两白银。但这笔数字，对于这位号称拥有2600万两白银的世界首富来说，并不至于伤筋动骨。此时，深谋远虑的伍秉鉴已经把生意拓展到了海外，行商生意已经不再是伍家唯一的生命线了。然而，在完成了移资海外计划后的伍秉鉴，此时却已是心灰意冷。1843年9月，风烛残年的一代世界首富伍秉鉴，溘然长逝，终年74岁。
伍秉鉴死后，曾经富甲天下的广东十三行开始逐渐没落。随着“五口通商”的实行，广东丧失了在外贸方面的优势，广东十三行所享有的特权也随之结束。许多行商不堪忍受清政府的没完没了的压榨，也纷纷向伍家学样，移资海外。
如今这些在中国大陆消亡多年的行商们，已经完全的融入了西方主流世界之中。
谁也想不到，现在的伍氏家族可是汇丰银行和皇家英格兰银行的大股东，也是太平洋大铁路、纽约城市银行和摩根财团的重要投资者！
而这位受英国皇室诰封的“巴本伯爵”伍国华本人，其实就是皇家英格兰银行的执行董事之一，而这家银行却掌握着“世界货币”——英镑的发行！
