虎门炮台失陷之后，英国军舰长驱直入，驶入省河，广州形势十分危急。
1841年5月29日早晨，十几名英国侵略军又窜到三元里行凶抢劫，调戏妇女。三元里的菜农韦绍光看到这样的情景，立即组织几个青年，围住这伙英兵，用手中的锄头扁担，当场就打死了八九名。其余英兵见势不妙，纷纷逃跑。这件事很快传遍全村。
大家料到敌人一定会进行报复。为了迎接英军的大举进攻，进一步教训侵略者，三元里人民决心团结起来与敌人血战到底。全村的青年男女都聚集到村北的“三元古庙”前，推举韦绍光为领袖，定古庙前的三星黑旗为令旗，并集体对旗发誓：“旗进人进，旗退人退，宁死不屈，打死无怨。”
为了动员更多的群众对付敌人，当天下午韦绍光便派人与附近乡村联络，不多久一百零三乡的代表全部聚集到三元里的牛栏，四乡八里的农民早就对英军的暴行深恶痛绝。大家聚在一起，很快便制定出战斗部署：决定十五岁以上、五十岁以下的男子一律出动；各乡自成单位，备大旗大锣，“一乡锣响，众乡齐出”；战斗时，采用“诱敌出击，聚而歼之”的策略；将牛栏冈作为决战的地点。一支反侵略的强大武装迅速组成。5月29日这一天，整个三元里都沸腾起来了。
5月30日拂晓，各乡群众约五六千人，高举大旗，手持锄头、铁锹、木棍、石锤、刀矛、鸟枪，浩浩荡荡主动向英军占领的四方炮台攻击。
这时英军正在吃早饭，突然听到杀声震天，抬眼一看，漫山遍野都是手持刀矛、锄把和各式旗帜的人群。英军司令沃乌古留下部分英兵驻守炮台，率领两千多英军便向人群冲杀过去。
农民军看到英军冲来，故意调头后退。英国侵略军不知是计，衔（xián）尾直追，越追越远，为加快速度，便于快捷，他们将大炮等辎重武器纷纷抛弃。英军一直追到牛栏冈，沃乌古一看地形，方觉不妙，正犹豫，忽听一声锣响，四面瞬时冒出一万多伏兵。英军被团团围住。漫山遍野的群众手持刀矛、铁锄等武器，杀向敌人，怒吼声震天动地，英军顿时乱了阵脚，慌乱迎战。短兵相接中，农民军越战越勇，敌人被杀的只有招架之功而无还手之力。沃乌古慌忙下令撤退。沿途又有几万群众从四面八方涌出，追歼敌人。
正午时分，天色突变，浓云密布，雷电交加，大雨倾盆而下。英军穿着大皮鞋走在泥泞中，又重又滑，一个个摔的四脚朝天，其状狼狈不堪。火药又被雨水淋湿，洋枪真正成了摆设。雨越下越大，道路泥泞，英军寸步难行，饥寒交加，一个个如落汤鸡似的，有的伏在棚架下，浑身哆嗦；有的丢下洋枪，叩头求饶。
农民军披着蓑（suō）衣，戴着斗笠，凭借大雨的助阵，越战越勇。妇女们烧饭送饭，支援前线。广州城郊的打石工人和丝织手工业工人闻讯也赶来支援。群雄歼敌，英军死伤无数。农民英雄颜浩长，手持长矛，英勇机智，一个人就杀死好几个侵略军，英军少校军官毕霞就死在他的长矛之下。
直到傍晚，英军始终未能突围出去，侵略者第一次在中国感到“可怕到了极点。”
牛栏冈这场激动人心的战斗共歼灭英军二百多人，活捉十多人，打伤不计其数，还缴获大炮两门、洋枪无数。胜利的喜讯传遍四方。
第二天一早，广州附近的佛山、番禺、增城、花县、从化等四百多乡的群众闻讯赶到三元里会师。十万多群众，密密地围住四方炮台，英军官兵魂飞魄散。赶来救援他们的头子义律，也被围困在里面。
这次围攻四方炮台，三元里等地百姓采取的办法是：长期围困、断绝供应，将侵略军活活饿死。他们将队伍分成几部分，轮流放哨、防守和休息，密切注意敌军行动，稍有动静，便迎头痛击。
英军看到农民军不直接攻打炮台，而是采取围困的手段，知道农民军是要将他们饿死在里面。眼见炮台上的粮食和弹药不多，侵略者连连叫苦，明白自己已面临灭顶之灾。
就在三元里等地百姓大败英国侵略军，把他们围在四方炮台的时候，清朝官吏却装聋作哑，不但没有任何表示，反而依照《穿鼻条约》制定的休战协定，将清军撤离广州，退到离城六十里的金山。这些清军路过四方炮台的时候，农民军邀请他们参加抗英战斗，却遭到拒绝。这一切被英国侵略军看在眼里，知道了清朝政府的态度。
义律和沃乌古立即给广州知府余保纯发出一封求救信，由汉奸混出重围送到广州。余保纯接到信后，赶快送给朝廷派往广州的命官——皇帝的侄子奕山。这奕山深怕三元里等地百姓的抗英斗争坏了他的投降计划，马上派余保纯赶到三元里替英军解围。
余保纯匆匆徒步赶到三元里，一面向英军道歉，宣称：“乡民的敌对行动，当局并不知道，也没有批准，而且乡民中并没有满清官员。”随后，又向村民打躬作揖，为英军讨饶，要求群众宽恕。他欺骗群众说：“现在朝廷已和洋人和好，洋人不会再来了，大家快把英国军队放走吧。”村民可不买账，有人当面揭穿了余保纯的无耻行为。
余保纯看到欺骗不成，马上变脸，威胁群众说：“你们不把英国军队放走，将来出了事，一切由你们负责。”群众不怕威胁，仍然坚持不撤。余保纯一计不成，又生一计，转而去威胁参加斗争的绅士。这些在当地有名有势的地主及退役退职官僚（liáo），天生对官府就有一种从命心态。在余保纯的恐吓下，他们开始动摇，有的害怕起来，偷偷溜走了；有的逢迎官吏，反而劝诱群众解散。这样一来，群众的情绪受到很大的影响，终于也陆陆续续全部散开了。被困的英国侵略军在群众的唾骂声中仓皇逃走。
这场声势浩大的反侵略斗争，由于清朝官吏的破坏而被断送了，但是这场斗争的实际作用和历史意义是不可低估的。
