成为幕僚
通州（今江苏省南通市辖区之一，下同）知州孙云锦非常的赏识张謇的才学和智慧，屡屡有用他之心，因此在帮张謇了结冒籍案之后的第二年，孙云锦被朝廷调往江宁任发审局委员，便邀请张謇和自己一同赴任，作自己的幕僚，遇事可以在一起商讨，也可以在一起切磋学问。对于这件事，张謇和他的家人当然是很高兴的了，跟着一位当官的，强过在农村一边帮家里干活一边读书。他跟着孙云锦大人一边可以帮大人做事，一边可以读书做学问，还熟悉了官场，增长了见识，为日后自己踏上仕途做准备。按传统的观念，由科举进入官场才是读书人最为理想的出路，其次才是充当军政大吏的幕僚。不管怎么样，这给了张謇一个很大的帮助，让张謇感动得无可覆加，此后他把孙云锦当成了自己的恩人。
张謇在孙云锦这里的主要工作就是伴着他的两个儿子读书学习，孙云锦给他的月薪是十金。
张謇跟着孙云锦到了江宁，这可是省城，比起他的家乡通州，那可让他眼界大开。张謇来之后没多长时间，便投考了设在此处的几所很有名的书院。从唐朝便开始的书院，聚集着许多的名士，他们跟学生有时个别钻研，有时互相问答，有时集中讲解，深入探讨儒学经典，对中国学士的发展有着非常大的影响。张謇曾投考李小湖的钟山书院和薛慰农的惜阴书院，皆是以出类拔萃的成绩考取的。孙云锦还介绍他与凤池书院院长张裕钊认识，此三位学院掌院皆为当时国内最有影响力的学者，张謇经过他们的点拨，学问更是月增日进，他在这里学习了《史记》、《汉书》、《后汉书》、《三国志》、《通鉴》、《文选》和唐朝的文辞诗赋等，还研究了《周易》、《诗经》、《尚书》和《礼记》等经典文献的注疏说文。
当然了，张謇在孙云锦这里是幕僚，不可能把全部的时间都用在读书研究学问之上，同时也帮孙云锦做一点行政事务，从而也更加广泛地对社会进行了接触，也了解了民生，逐渐燃起了他的爱国爱民之情。这年的五月份，孙云锦到淮安办理滨河积压诉讼案件，张謇也随同。七月份，孙云锦又带张謇去江阴鹅鼻嘴工程。这两次使张謇感触很深，因为他看到江南无论是如何的繁华也掩盖不了人民的疾苦，这一切都对他内心的影响是颇大的。他有感而发，曾赋诗道：
谁云江南好，
但觉农妇苦。
头蓬胫赪足籍苴，
少者露臂长者乳。
乱后田荒莽且芜，
瘠人腴田田有主。
因为对人民的疾苦有了了解，使他对水利引发了兴趣，于淮安对渔河滨进行勘查和处理诉讼案件的期间，他也对明清两代水利专家的关于治水导淮的著作有所触及，还进行了细致的研究。
做官的平时的交际和一个农民商人家庭自是不同，孙云锦结交的、亲近的，多是达官贵人，张謇和孙云锦在一起，自然也认识了不少这样的人。对他影响最大的是淮军“庆字营”的统领吴长庆。
吴长庆，字筱轩，1833年生于安徽庐江县沙湖山。他的父亲名叫吴廷香，由优贡就选教职。当太平军打到安徽的时候，吴廷香为了应对太平军，便创建了团练。咸丰四年，也就是1854年的时候，与太平军作战，骁勇异常，最终战死沙场。大清朝廷为了奖励忠勇，便封他为云骑尉世职。五年之后，已经长大成人的吴长庆袭了父亲的职位，被封为安徽巡抚福济委其统领舒城和庐江团练。因为他的父亲吴廷香是和太平军作战而死的，是被太平军所杀，因此这吴长庆对太平军也是恨之入骨，誓与太平军不两立。
咸丰七年（1857年）八月份，吴长庆与其他清军汇合将太平军的军事要镇桃溪打下，将来援之军也给打退了，捣毁太平军30多个营垒，因此战功，被朝廷加封为守备。十一月份，吴长庆受安徽巡抚翁同书之命创建合肥东乡团练，来保卫合肥，因为他守城有力，翁同书赏他戴蓝翎。咸丰十年（1860年），在华子岗吴长庆将太平军的英王陈玉成打得大败，又被加封为都司衔，赏换花翎。第二年，两江总督曾国藩命令吴长庆打庐江、攻三河。曾国藩命他把自己统领的500人改为庆字营。为了激励将士，曾国藩还亲自为新建的庆子营书写了：“忠孝坚定，不可挠折。”
没过多长时间，太平军攻占江苏郡县，吴长庆受曾国藩之命跟着福建延建邵道李鸿章前去对上海予以支援。和上海的太平军在虹桥首战，吴长庆锐不可当，取得了振奋清军士气的胜利。接着吴长庆又催动他的庆子营人马一举攻下了柘林、奉贤、南汇、川沙和金山，将极为精锐的宝山太平军打退。战后论功，吴长庆被授予“游击”（清代武官名，从三品，次于参将一级）一职，留在江苏，等候调用。1862年，吴长庆受江苏巡抚李鸿章之命回到家乡招募兵勇3营。这时候，刚好太平军的忠王李秀成打庐江，曾国藩急忙命他留在军营驻守，吴长庆毫不犹豫地接令道：“这本就是我的家乡，也是我父亲殉难的地方，我哪会不誓死用命呢！”
接令之后，吴长庆便挥军和刘秀成打在一起，一鼓作气将刘秀成军队打退。喘息未定，太平军刘秀成又结集大批军队卷土重来。吴长庆坚守伺机猛烈一击，再次将他们打退。
同治二年，也就是1863年，吴长庆率领他的庆子营又回到上海，依旧加入援助上海战。七月份，将枫泾和西塘等镇攻破，又将千窑巢之营垒摧毁。因功被提拔为副将。十月份，又被调到浙江和太平军作战。吴长庆善用出其不意的战术，这次他到达浙江之后，运用偷袭之战术，想把浙江的嘉善给拿下。对张泾的会战中，他把北岸的桥垒也给夺了下来，顺势拿下城池。
同治三年（1864年），吴长庆在对嘉兴府的攻城战中，他的左胳膊被弹丸所击中，然而，他撕开衣服一裹，依旧冲锋陷阵，血战太平军。自己军中若有人害怕不敢向前的，他即刻斩杀，于是都奋勇拼杀，最终将城池给攻破。此次，吴长庆被加封为总兵之职，并赏“力勇巴图鲁”之名号。
同治五年（1866年），朝廷的军队分兵援助浙江和福建，吴长庆率兵先后攻克了湖州、长兴、广德、漳州和漳浦等地，由于战功卓著，功劳报至军机处，如碰上提督和总兵出缺之时，可有优先向朝廷提奏的权力。
待太平军基本被平定之后，捻军又起来了。吴长庆率领着马步队十一营跟着李鸿章前去作战。向河南的内黄、浚县、山东临邑、德州、直隶宁静间的捻军进剿。同治五年四月二十八日，捻军张宗禹部转战到宿迁埠头镇一带，吴长庆跟总兵王占魁、况文榜分别率领自己的人马，趁着夜黑人静，向捻军的营地偷袭，斩杀70多名捻军。五月一日黎明，复由老河堤内侧和外侧分路进行突击，杀死捻军无数。
同治六年（1867年）四月十一日，东捻军转战到应山县境内，对朝廷的军队杨鼎勋率领的人马进行伏击，吴长庆带领着自己的人马前去支援杨鼎部，和敌人誓死相拼，把东捻军打退。
同治七年（1868年）五月四日，西捻军从李鸿章运河和减河的防守当中突破出来，转战阳信和海丰等地，转移向南。吴长庆带领着军队快速地赶到吴桥进行拦截厮杀，杀死很多捻军，让捻军损失很大。将东、西捻军都平定之后，大清朝廷念吴长庆的功勋，赏他穿黄马褂，换瑚敦巴图鲁名号，并正一品封典。当时，曾国藩又一次被派往两江之地任总督，徐海和宿迁所在地理位置非常重要，民风强悍，使当时的驻军常常感觉不安。因此这里也急需得力干练的人来镇守，曾国藩很是器重吴长庆，便对吴长庆说：“你是淮军里有名的善战将军，很少有人不佩服的，你就去那里镇守吧！”
吴长庆对于朝廷和曾国藩的器重，心里很是欣慰。马上接令道：“末将得令，保证万无一失！”
潘鼎新军于同治八年（1869年）因为争粮饷而产生兵变，水军和陆军几千人蔽河向南。吴长庆得曾国藩之令前去处理这个兵变。兵变的士卒想要胁迫吴长庆的军队，来对淮阴进行扰乱。吴长庆获悉情况后，马上派出精锐人马对要隘进行严密防守。这时候河水都快速地上涨，北风呼呼地吹着，兵变的水路军坐着船先到了，河面上塞得满满的，排了好几里地那么长。吴长庆先用好言好语把兵变军的头目招了来，然后把顽固不化的骨干们全部砍了脑袋。再对他们晓以利害，将他们全部慑服，不敢有其他的想法，更不敢乱动。把他们的旗帜、枪炮、刀剑等全部收缴了过来，这时候兵变的陆路军也赶到了。他们看见从水路先来的一部已经被解除了武装，更是不敢轻举妄动了，也就此顺服了吴长庆。吴长庆命令另外建立了营帐，把进行兵变的士卒跟他们自己的庆军分开居住，且命军中兵将不能有一人跟他们讲话，遣得力人员，以家乡籍贯而论，发给他们路费，让他们回家。十天之后，已经完全处理完毕，太平无事了。吴长庆办这件事，真是干净利索，让漕运总督张之洞非常的欣赏和赞佩，便立即写了折子为他向朝廷奏功、请赏。朝廷见奏，马上照准，赏加一级，记录两次。
吴长庆于同治九年（1870年）带领着他的军队驻防扬州，那时候他的亲娘因病去世，他向曾国藩告假，回去为母服丧。曾国藩奏准诏谕，依照军营之惯例，需穿百日孝服，穿着孝衣处理军务。
同治十一年，也就是1872年，吴长庆被调往江浦，命他率领的军队对扬州和仪征沿河进行疏浚。没过多长时间即完工，然后，将军队屯扎于江阴。两江总督沈葆桢向朝廷奏道：
长庆一军，号令严肃，所驻之处，官民有恋恋不舍之意……
朝廷见奏，很是欢喜，对吴长庆也很是赞赏。1874年，日本想要在台湾肇事，朝廷命他组建庆字四营，建造江阴和江宁炮台，对长江的防守予以加强。那时六合乡民，由于漕粮负担沉重，聚集了很多的人闹事，沈葆桢命吴长庆即刻前去处理此事。他单人独骑，奔了一个晚上来到城门之下，把主谋之人用好言好语诱到自己面前，言说可以免他死罪，随后再用好话进行说服，很快把他们都遣散了。吴长庆说：“江宁漕粮之重，同于苏、松二府，而六合与贼（太平军）相抗最久，被害亦最酷，今二府减漕粮五十四万，而江宁如故，富者且为能纳，则贫者流亡日多……宜奏请减之。”
对于吴长庆的这番话，沈葆桢感觉说得非常对，所以向朝廷奏请减江宁五属漕粮。
1875年，也就是光绪元年，吴长庆因功被加封为直隶正定镇的总兵，沈葆桢上奏朝廷要吴长庆留在江南驻守，朝廷照准。
第二年，宁国府天主教徒白会清、杨琴锡和黄之绅等一些人，利用教会的名义在乡里作恶多端，横行霸道，欺男霸女，人们十分的不满，总是敢怒而不敢言，然而，愤怒藏在心里，总有一天会有爆发的时候。愤怒的人们共有一万多人手里拿着家伙，嘴里呐喊着，一齐起来，将几个大恶霸的家团团围住，然后，把杨琴锡和黄之绅揪出来活活打死，然后又赶至教堂，一把火将教堂也给点燃，烧了个净尽。只有白会清侥幸逃得一条性命。他知道在此种情况下，自己也很难幸免，于是就想来个殊死挣扎，最后拼上一拼。他挑动西洋教士构松为已经被打死的那两个大恶霸报仇。这个构松到处抓人，使老百姓们内心深处很是害怕，日子过得心惊胆战，极不安稳。沈葆桢这次还派吴长庆处理此事。吴长庆到后，教士指控建平人何诸是这次暴乱杀人事件的总头目，要求马上把何诸予以斩杀。何诸谒见吴长庆说：那时候，衙门里的人胡乱抓人，根本不问是非。为了平息这件事，我自己来自首，愿意顶罪被诛。吴长庆觉得，如此袒露胸怀的人绝对不会胡为，于是说服同僚，千方百计地查明真相，向上面报请何诸无罪，并对教会的不法行为进行严惩。还建议沈葆桢应亲自出面对这件事情进行审理。沈葆桢觉得吴长庆说得有理，便如此这般地去办，事情得以平息。
江浦有条河，名叫黑水河，每年都会发生水灾，对两岸百姓造成危害。使200里以内的百姓生活很是困难。总是发生完水灾，再承受蝗虫之害。吴长庆在江宁驻防期间，带领部下为人民捕杀蝗虫，也总是在两岸行走，深知老百姓的苦楚，便提出建议对下游的泉河和玉带河进行疏浚，彻底根除黑水河为人民带来的灾害。光绪四年，也就是1879年，沈葆桢听从吴长庆的建议，向朝廷奏请河事，命吴长庆率领他的军队进行治河工程。吴长庆接受任命之后，自勘察至材料的筹集，自兵力上的分配，至劳动工具的配备，每一件事，他都亲自过问，亲自打理，艰苦奋战了整整两年，才完成了工程的一大部分。之后，大学士左宗棠为两江总督，吴长庆接着完成这件事，一直到完全竣工为止，如此之功德，让人民大为感念，深为赞颂。
就这样，吴长庆凭借着他的聪明才智，凭着他为大清朝廷的一腔热血，功劳一天天积累，官职也逐步上升。
吴长庆和孙云锦是世交，关系很是亲密。吴长庆虽任职武官，待人却甚是随和，且他也是读书人出身，举止相当文雅。吴长庆见了张謇之后，一番攀谈，也很是喜欢这个有才华的年轻人，觉得孙云锦真是有慧眼，能收录如此有才华又有见识的年轻人。后来，吴长庆得知张謇有志于科考，就劝他到应顺天乡试，还说愿意对他此行进行资助。刚开始的时候张謇认为这只不过是当官的客气话而已，不必当真的……谁想三天后吴长庆却真的让部下人送来“朱提百两”，感动得张謇什么似的，他也的确是缺少这些东西呀，不由得使他对其刮目相看……
吴长庆心想要是张謇跟了自己那是多好的事呀！可就怕自己的好朋友孙云锦不肯让贤。
吴长庆日夜思慕这件事，放心不下，说什么也要得到张謇不可。终于有一天，他向孙云锦提出了，这是不好开口的事，他也明白自己的好朋友孙云锦也非常地赏识和喜欢张謇，离不开张謇，这是夺人所爱！若不是他吴长庆太喜欢张謇也真不好张这个口。他憋了好长时间才对好朋友孙云锦说：“云锦世兄，我们兄弟关系一向如何？”
孙云锦不知他要说何话，当然也不知道他的心思，就说：“长庆兄，为何今日说这话？我们的关系那还用说？”
吴长庆说：“是呀，我们兄弟一向好得就如一个人似的，有酒大家一起喝，有肉大家共同吃。”
孙云锦也说：“不分彼此！”
吴长庆说：“你的就是我的，我的就是你的。”
孙云锦说：“一向如此！”
吴长庆说：“我也知道，云锦兄非常的喜欢吴起元，很难开口。”
话到这里，孙云锦也明白了吴长庆在想着吴起元，也许他是要吴起元跟着他吧？于是心内一阵紧张。如果他真要，自己将如何？
吴长庆为难了半天，方说：“既然我们兄弟有酒大家一起喝，有肉大家一起吃，就让吴起元也跟着我一段时间吧？”
害怕的事，终于变成了现实，孙云锦不知道说什么才好，微笑着思考了好半天，没说一句话。吴长庆看他这样，便不好意思地说：“难为云锦兄了。”
孙云锦笑着摇了摇头。吴长庆心里像掉了一块肉似的，难受了一下说：“云锦兄要真舍不得，那就让吴起元还跟着你吧，主要是我们两个都太喜欢他了，他确实很有才。”
孙云锦终于下定了决心，为了朋友之情，便说：“是我们都喜欢吴起元，你真想让他跟着你，你可以问问他本人，只要他本人愿意，就让他跟着你吧！”
这下，吴长庆也高兴了，其实，之前他已经跟张謇交流过感情了，说只怕孙大人会不高兴。这下可以完全放心了。
于是当下就把张謇叫了来，很快谈妥。从此后，张謇就跟了吴长庆，做吴长庆的幕僚，张謇又上升了一个层面，眼界自然也更开阔了，从书本上学到的东西也不再是抽象的了，知识也变成活的东西了——这就是人才和无用的书呆子的区别。
初为军幕
张謇刚到军队里做吴长庆的幕僚时，也不能马上适应，后来他曾记述过这段生活，他道：
某于光绪初年，初入吴武壮幕，时已下午，室中仅置铺板一付，粗木桌椅各一。适值大雨如注，未几水流入房中，深至数寸。盘膝坐于板上，一灯如豆，万念皆灰。遥闻中军帐中，拇战仍正豪，武壮宴客席未终。回思此境，实觉难堪。（刘声木《苌楚斋随笔、续笔、三笔、四笔、五笔》）
在军中给吴长庆当幕僚和在孙云锦那里自是不同，使张謇又有了更好的锻炼机会。他在军中帮办文案，让他和各个阶层的人士特别是淮系的中上层人士有了相当多的接触与联系。他仅仅帮吴长庆通信联系的就有李鸿章、李鹤章、唐定奎、周盛传、刘铭传、卫荣光、吴元炳、沈葆桢、刘瑞芬、赵子芳、吴汝纶、李凤苞、潘鼎立、方宗诚、程文炳、吴赞诚、靳方琦、丁汝昌、龚照瑗等许多官场重要人物，在军队里待久了，和军队里那些重要的将领军官们也都很熟悉了，比如曹德庆、叶志超、黄仕林、靳方琦、丁汝昌、龚照瑗等等都和张謇成了好朋友。
朝廷命官都是颠沛流离的，也根本不存在一辈子只在一地做官的官员。1880年，吴长庆奉朝廷之命去督办山东海防，张謇也跟着他去了山东。次年，张謇在山东认识了袁世凯。
再说这袁世凯，别看他个子不高，身材五短，腿短颈粗，走路还是正八字步，然而却甚是有来历。他出生于1859年9月16日，家住河南省项城县王明口镇的袁寨村。他们家是一个世代官宦的大家族，父辈和祖辈大多都是当地的名流。袁家自清朝道光年间开始兴盛起来，他的从叔祖袁甲三曾经督办过安徽的团练，官一直做到漕运总督。他的父亲名叫袁保中，也是当地有名的绅士。不过，袁世凯从小就过继给了叔父袁保庆，叔父袁保庆便成为了他的父亲。袁保庆曾在淮军袁甲三的军中带兵，官至江南盐巡道。袁甲三是袁世凯的叔祖父，也是淮军的主要将领，袁世凯小时候很是崇拜这位叔祖父，因为在当时的袁世凯眼中，他就是最大的官了，袁世凯自小就崇拜和羡慕有权有势的大官。所以，袁甲三对于小时候的袁世凯影响很深。袁世凯少年时代跟着袁保庆先后去济南和南京等一些地方念书学习，袁保庆死后，袁世凯跟着袁甲三的儿子户部侍郎袁保恒来到了北京念书学习。然而，袁世凯在好勇斗狠上还可以，但不是读书的料儿，他的书总是读得一塌糊涂，于是决定书也不读了。
袁保庆和吴长庆是世交，袁保庆在南京的时候，吴长庆带兵驻扎于浦口，两人关系非常地好，不是亲兄弟，却胜似亲兄弟。在袁保庆死的时候，吴长庆渡江视敛，“扶棺痛哭”，帮助他们家的人料理丧事。因此，当袁世凯来到登州的时候，吴长庆不仅“肫然相信”，乐意收留，还倍加照抚。
其实，袁世凯最热衷的是武事。能在军队里用武，才是他人生最大的理想。当年，袁保庆由山东调至江苏。在南京，袁世凯的一位老师曲沼擅长武术，教给了袁世凯一些拳法剑术。袁世凯自小喜爱兵法，立志学“万人敌”。曾经自谓“三军不可夺帅，我手上如果能够掌握十万精兵，便可横行天下。”总是不惜重金搜罗买些各种版本的兵书战策来读，相当用功，被当时他身边的人们讥笑为“袁书呆”。袁世凯13岁时，曾制联“大野龙方蛰，中原鹿正肥”。寥寥十字，可比楚霸王的“彼可取而代之”，颇有豪气。
而吴长庆也知道他不爱读书，吴长庆同时也认为不爱读书的人自然是没出息的，差不多也就算是粗人一个了，因此也没有给他安排什么差事，说：“世凯贤侄在营中无事，就跟着吴先生用功读书学习吧，吴先生可是当今大才子呀，胸中的学识值钱得很呢！”
张謇忙谦虚地说：“哪里哪里，我也是才疏学浅，正在努力攻读，以期为国出力，可以和世凯兄在一起共同努力。”
吴长庆也不管袁世凯愿不愿意，就大笑了说：“如此甚好，有吴先生这样的好老师，世凯贤侄可以抓紧时机好好努力呀，只有把书读好了，才会更有用武之地。”
袁世凯忙说：“是是是，谨遵叔父教诲！以后一定跟着吴先生好好上进！”
吴长庆让袁世凯给吴起元当众行学生之礼，吴起元也赶紧回礼。算是拜了师了。
袁世凯得不到吴长庆的重视，心中自然是郁闷，不开心。也只好跟着吴起元先生读书学习，他虽不爱读书学习，但内心是相当敬重读书人的。在吴起元面前他表现得也总是很恭敬，吴起元也认真地教他。
吴起元刚开始的时候，也认为袁世凯是个粗陋之人，不好好读书，是个什么都不懂的浪荡公子，可是两人在一起时间长了，这样的看法也就改变了，他很快发现袁世凯不是那样的人。这袁世凯虽不爱读书，对于现实社会却有着自己的真知灼见，并且很有见地，令吴起元很是敬佩。
此后，吴起元就开始在吴长庆面前总是为袁世凯说好话，说他是多么多么得有见识，多么多么得有理想有抱负等等。吴长庆当然是不相信的，可他也知道吴起元也不会凭空杜撰，于是就把袁世凯叫来和他谈话，袁世凯对于社会，对于军队，对于清朝的国际关系的见解果然很是独特深刻，令吴长庆惊讶不已。从此，对袁世凯也就改变了原来的看法，开始慢慢地重视他了，有了事情也把他叫来参与意见。
此后，袁世凯和吴起元也就逐渐成为了吴长庆身边的两大幕僚。
朝鲜之行
吴长庆非常信任和器重张謇，把张謇看成是自己的重要副手，让张謇直接参与军队里的决策大事，每月的薪俸是二十金。吴长庆还专门为张謇在军营里建造了茅屋五间，让他读书之用，还要为张謇出钱买官，张謇没有依从。吴长庆对张謇很好，张謇也对吴长庆崇拜和敬重，两人感情很是浓厚。在吴长庆举办50寿宴之时，张謇对吴长庆高度赞扬道：
屏后有侍史记言，帐下客狂生长揖。修文翁之学舍，置范氏之义出。帔怜任昉之孤，粟继公西之母。爱民而萧嶷平税，济人而郑国兴渠。分十道以捕蝗，出五校以逐兽。筹荒邻境，遗丞相之蔓菁；示义富民，解赵州之金带。又公等所得其一，而足以自豪者也。（张謇《张謇全集》）
由于打心眼里对吴长庆钦佩和敬仰，也出于对他的感恩之情，张謇也倾心辅助吴长庆，做什么事情，无不尽力。吴长庆当时名气非常地大，在他的幕内，除了聪明有才学的张謇外，还有朱铭盘和周家禄等，全是当时的大名士。
光绪六年，也就是1880年的春季，朝廷升吴长庆为浙江提督，吴长庆接命进京朝见皇上，吴长庆也让张謇随同进京。是年冬，吴长庆奉朝廷之命帮办山东防务，张謇也跟着吴长庆的军队移居至登州黄县。
光绪八年，也就是1882年六月份，朝鲜国发生了“壬午兵变”，这个“壬午兵变”是朝鲜国内统治集团的闵妃派与丧失势力的大院君派系之间的相互倾轧。日本国见有机可乘，就找借口说：“你们朝鲜国发生的内乱碍我们日本什么事，却让我们日本国的使馆人员遭到了损害！你们必须做出赔偿，付出代价！”日本国的大使馆人员哪遭到什么损失，朝鲜国也明知道他们是故意挑衅，当然是不愿给予赔偿和付出代价了，于是产生口角摩擦。日本就马上发布了命令，让日本国的军舰进抵仁川。他们的想法是进一步侵犯中国的东北地区。当时的清政府驻日使馆接到消息后，也马上做出了反应，电告署理直隶总督的北洋大臣张树声，此时正在中国天津的朝鲜闵妃派官员金允植与鱼允中也请求清朝朝廷出兵朝鲜对兵变进行镇压，以抵日本。如此，朝鲜国内的派系斗争迅速变成了清朝政府和日本国的对峙。
张树声是一个真正的军人，一个爱国将领，他本是北洋大臣李鸿章的副手，此时李鸿章因母丧，丁忧回乡，暂由他来代理李鸿章的职务。他坚决主张抵抗日本军队。他积极和海军提督丁汝昌、淮军将领吴长庆召开秘密军事会议，商量计策。那一年的六月二十四日，丁汝昌奉命来到登州，拿着北洋大臣直隶总督张树声的手信，当面交给淮军首领吴长庆，要吴长庆到天津和他共商军策。
这是军机大事，吴长庆不敢有半点懈怠，马上准备了就带着张謇上路。二十六日，他们乘船抵达大沽口，张树声早已经派员等候在那里了，领着他们来到一个事先准备好的公馆内歇息。没过多长时间，张树声就带着他的得力参谋何嗣焜不声不响地来到了公馆。他们在这里秘密商量派兵东征的事情，并研究如何对付日本人的办法。商议两次，每次都非常机密，在座的除了主将张树声和吴长庆外，就只有何嗣焜和张謇二人。
二十九日，吴长庆和张謇二人返回登州，临行之前的准备工作与极其重要的文件主要是由张謇负责。张謇在这些事中积极为吴长庆筹划，为国家、民族，也为了回报吴长庆的知遇之恩，从而使自己也得到了很好的锻炼。吴长庆许诺张謇说：“待事成之后，本帅赏你三千金，以作奖励。”
张謇说：“我不要什么奖励，为国为家出力是人人应该做的，只求事情能够顺利成功。”
七月三日，吴长庆的军队乘坐威远、镇东和日新三艘战船出发朝鲜，张謇也跟着吴长庆赴朝鲜对日参战。在路上走了四天的时间，来到了烟台，又增加了泰安、拱北两艘战船。就在乘船中间，张謇又用他的才华写下了《谕朝鲜檄》。
此时海风疯狂地刮着，难以行船，更显出战前的紧张气氛，也因为海风太大了，只好命令各船在威海卫停泊下来暂避。兵贵神速，一些将领们心里很着急。此时，袁世凯在“前敌营务处”，负责军需和勘定行军路线等任务。办事干练的袁世凯早就通过朝鲜国的使者金允植将朝鲜国内的政治、军事和地理等情况摸得清清楚楚。
七日清晨时候，大清军队到达朝鲜。
八日，进入到内港马山。袁世凯率领他的前敌营务处几名干将首先上得岸来，勘定了大军登岸的地点与行军路线。
九日，吴长庆命令一个营作为先锋先行登岸，然而，这个营的士兵都犹豫胆怯，营官也说：“大人，我们实在不习惯航海，您看差不多的人都晕船，还是稍缓一下吧！”
吴长庆见状很是生气，说：“这是军事行动，不是在家种庄稼，可以稍缓一下，如此贻误战机如何打仗？这样的指挥官也不适合当指挥官。”
此时的张謇见袁世凯文章虽然写得糟糕，但处理军务却如鱼得水，甚是得法，好像他天生就是做军事的料儿，因此便向吴长庆极力推荐他。
震怒之下的吴长庆当场撤了这个营官的职务，由初露锋芒的袁世凯来担任。袁世凯不由分说便接令马上带领着人马登陆上岸，很快便把任务完成了。
黎明时分上岸，军队在马上驻留。也就在这里，吴长庆、丁汝昌和马建忠等主要将领开了个军事会议，计划采纳金允植的计策，把大院君给诱捕，还政权于国王。
袁世凯由金允植引导着，以前敌营务处第一营代理管带之身份领着他的人马向朝鲜的京都汉城方向进发。而此时的大清兵丁，因为久疏战事，此时显得很是疲惫，行军的速度很是迟缓，纪律也很松散。甚至在行军的路上，还出现了对朝鲜的老百姓奸淫掳掠的现象。袁世凯得知情况后，知道不来硬的震慑一下是不行了，便大开杀戒，一气斩了七个兵士，然后手里掂着这几颗人头来见主帅吴长庆。吴长庆见袁世凯如此果断干练，心里很是赏识，说道：“真是将门之后，这些违纪的士兵不杀不足以安民心，不杀不足以明军纪，杀得好！”
有了主帅吴长庆的支持，那些懈怠的士兵再也不敢放纵了。
张謇见袁世凯有出息，心里也很是兴奋，还给袁世凯的叔叔袁保龄写信称赞袁世凯说：“慰庭任事非不勇，治事非不勤，但他的举动总夹杂着世故客气的做作，不是一个有学问的人应该有的。不过，要说起他的才能，恐怕是您家族中少有的人物。他现在从军驻扎在朝鲜，希望您嘱咐他谨慎从事。”
八月二十五日，他们的军队开进汉城的南门外南檀，第二天，就开始诱捕朝鲜的大院君。先是吴长庆、马建忠和丁汝昌前去对大院君进行拜访，以诱大院君。到了大院君那里，他们表现得十分诚恳，赞扬大院君为朝鲜做出的丰功伟绩，对大院君表示衷心的祝福，总之搜肠刮肚把好话说尽，但又注意滴水不漏，不越分寸，以防大院君有所猜疑。大院君在他们几个人的热情之下，果然上当，毫不怀疑地表示要进行回访。
吴长庆几个人回到自己的营地之后，马上命令部队做好擒拿大院君的准备。
当天下午，大院君笑盈盈地带着他的几十个亲随来回拜，袁世凯把大院君的卫队阻挡在中军之处，对大院君宣读了朝廷的圣旨，顺利地把大院君擒拿了，强逼他入舆，连夜押解到了马山港。然后又上了军队停在那里的船舶，押赴天津。
在朝鲜的吴长庆应朝鲜国王之请，对各地的义军进行镇压。九月十二日，朝鲜国王把闵妃接回宫内，于是闵妃势力集团又重新掌握了朝鲜军政大权。中旬的时候，国王大摆宴席隆重招待吴长庆等人，对他们此行的帮助，表示由衷的感谢，说：“若非天朝大军降临，鄙国时局真是难以收拾呀！感激之情难以述说。”
吴长庆和张謇等人也忙谦虚道：“哪里哪里，我们友好邦交，世代相亲，应当的应当的。”
吴长庆他们向朝鲜出兵，主要是为了维护朝鲜的统治秩序，阻止日本军兵对朝鲜的侵扰，来加强清朝自身的国防，在这次出兵当中，吴长庆军队是立了大功的。当然，作为吴长庆重要幕僚的张謇更是功不可没，他不但参与了一系列的决策，在执行这些决策当中，他也表现得非常出色，显出了他做事的精明和干练。
在此次行动中，表现比较出色优秀的当然还有袁世凯。袁世凯带领一支人马配合行动，杀死了数十名兵变参与者。在战斗的时候，袁世凯一路放枪，带头冲在最前面，他的坚毅勇敢感染了部下，兵变很快得到了平定。吴长庆在给大清朝廷的呈报中把他赞扬了一番，说他是“治军严肃，调度有方，争先攻剿，尤为奋勇”，给他报了第一功。
功成之后，张謇回乡应考。过了年后，心中仍然是志气满怀，充满豪气，便在自己的居室里自己题写了“壮复斋”三个大字，挂在墙上以自勉。乡人也都为他自豪，说他为国出力了，成了大功臣。
到了四月十五日，远在朝鲜的吴长庆便来消息，让他仍回朝鲜效力。于是，张謇又回到了朝鲜汉城的军营里。回到军营后，依旧是刻苦努力，攻读不倦，一有空闲的时间，便习字读经、写札记。
然而，老天却对吴长庆很是不公平，为国家立了大功不但得不到什么奖赏，还遭人猜忌甚至是陷害。
本来正在家丁忧守孝的李鸿章获悉朝鲜的事情之后，便中断了丁忧，回到了任上。他虽然嘴上对吴长庆在朝鲜的功绩表示“佩慰”，然而，却没有一点实际的行动，更没有一星半点的支持行为。
在这整个过程当中，张謇写出了非常重要的《壬午事略》和《善后六策》等政论文章。在这些重要的政论文章中，他以强烈的爱国之情坚决主张反击日本的侵犯，主张对日强硬。在这些文字中，他主张三道出师，趁机规复琉球，对朝鲜应摆出废为郡县，或沿用周朝的例子，设置监国，或者是驻以重兵，对他们的海口进行守卫。或者是让朝鲜自己进行改变，朝廷帮助他们训练新兵，和清朝的东北三省连为一片，互相照应。如此之主张，不一定完全正确，但在当时是完全具有远见和积极意义的。当时对张謇的主张予以支持的差不多都是一些富有爱国心的主战将领和清流名士们，像左宗棠、彭玉麟、张之洞、张树声、夏以善、翁同龢、潘祖荫和宝竹坡等。
实际上，当幕僚也是很累的，特别是军队的幕僚。在张謇当军幕生活里，有很多具体军务杂事需要他处理，非常琐碎和繁忙。尤其是那份受到清朝朝野推崇的关于朝鲜时局的六点条陈，张謇为吴长庆分析得极其细致和周密，很是呕心沥血。在稍有闲暇的时候，他又拿起自己的书苦苦攻读。为了把字写好，张謇总是在蜡烛下一直写到夜很深。他趴在半高不高的小凳子上，说蹲不蹲，说坐不坐地挥毫练习，几帖字写下来，已是腿麻得不能站立。
但是张謇苦心写出来的这些政论佳文，在朝中占主流地位的主和派李鸿章那里却是很不屑，还不耐烦地说：“真是多事！”李鸿章根本不予理会。
对此，张謇也有点无奈，只好寄希望于吴长庆，然而，吴长庆是斗不过朝中的当权派李鸿章的。在朝鲜立了大功的淮军不但没有得到朝廷的嘉奖赏赐，还遭到了蛮横的压制和打击。
光绪八年，也就是1882年的秋天，李鸿章派人到朝鲜对军队别有用心地进行改组，让庆军归属于马建忠，让吴长庆回到天津听候命令。
如此一来，搞得吴长庆及其属下很是愤怒，均大骂李鸿章是个不作为的狗官。因此并没有执行李鸿章的这项命令。张謇也是愤恨不已。
此时的张謇明白李鸿章是要整治吴长庆了，他也明白吴长庆不是李鸿章的对手，因为李鸿章是朝中的实权派。即便是和李鸿章斗下去，也不会有好的结果，力劝吴长庆就此向朝廷提出隐退，要求解职回京。
由于吴长庆在刚开始就违抗李鸿章的这项命令，肯定会导致同李鸿章关系的决裂，明显成对立之势。后来经过袁保龄、周馥等人从中说和，吴长庆才没有告退。
此时的李鸿章也想到自己此举不妥，人心难以平复，就又下令把吴长庆的庆军6营分为正副两个营，副营让吴兆有带领依旧在朝鲜驻守，吴长庆则带领正营回到奉天金州一带进行驻防。同时，让袁世凯留在朝鲜总理营务处，办理朝鲜的防务。
此时再说说袁世凯，自从平息朝鲜的叛乱之后，他很是得意，官场得意路途顺畅，从七品“中书科中书”的虚职，一跃升为五品的同知。此时的袁世凯只有24岁，正是风华正茂的时候。数月过后，朝鲜国王向大清朝提出希望大清朝派人帮助他们组建一个具有现代气息的新型军队。而李鸿章在接到朝鲜的信后，就将这项任务交给了吴长庆。吴长庆此时正器重袁世凯，便把这一重要任务交给了他。袁世凯得到这一任务心中自是高兴。他本来就不喜欢读书喜欢军事，这下可对了他的心事。他对于西方军事科学已经有些接触，在他对朝鲜的军队进行训练的时候，他以自己所熟悉的淮军训练方式为主，同时借鉴了一些英国的操练方法。他在当地招募了一千人，把他们分成左右两个营，给他们配备了新式的火枪和大炮等弹药装备，亲自对他们进行训练。训练了一个月之后，国王李熙便在春塘台进行了检阅，军队在袁世凯口令的指挥下，不管是出操队列，还是进行射击或格斗，都已经很像回事了，要知道，这些都原本是农民和自由职业者，从未受过什么训练，这么快就被袁世凯训练得像正规军了。这让朝鲜国王分外欢喜，对袁世凯也是赞佩不已，大大地夸赞了一番。然后又从自己原来的军队里调拨出五百人交给袁世凯，算是对袁世凯的奖赏。此后，李熙便想着袁世凯。过了些时日，再次检阅袁世凯训练的这支军队，而这支军队的素质很明显地又有了新的提高，这让国王李熙更是对袁世凯刮目相看，心想，这个袁世凯如此有才，若是为我所用该多好？于是便又想着加封袁世凯为整个朝鲜国的陆军大元帅。
对于朝鲜国王的这个想法，袁世凯当然是内心欢喜了，真是好运当头。此事传至北京，震动朝野，众百官都很羡慕和妒忌袁世凯。没想到，这个袁世凯在朝鲜竟会这么走运。于是举行朝议，众大臣议论纷纷。都说，我们大清军队出个军事人才不容易，怎么能轻易就把他送给朝鲜呢？绝对不可以。慈禧太后、皇帝也都是这样的意见，绝对不能让袁世凯当朝鲜的陆军大元帅。此事就交给北洋大臣李鸿章办理。
李鸿章办理这些事情有一套，他先是安抚朝鲜国王，说袁世凯才疏学浅，难堪大任，恐会误了朝鲜一国，有碍两国友好，等日后有合适人选定为贵国推荐。朝鲜国王只好作罢。然后李鸿章又回过头来安慰袁世凯，对袁世凯说：“作为大清臣子，应忠于大清了，为国效力，不能贪图别国的富贵，你若留在大清，我一定会禀明朝廷重用于你。”
袁世凯是个十分聪明的人，他也知道他这个朝鲜陆军大元帅是当不成的，不如顺应朝廷的意思还能博得个好。于是对李鸿章又表了一番爱国之心，说誓死为大清效力，生为大清臣，死为大清鬼等等……
此后，袁世凯和李鸿章便有了心灵感应。其实，在袁世凯当初投奔吴长庆之前，首先是想投奔李鸿章的。早先他在京城读书的时候，李鸿章正当直隶总督，他总是对这位地位显赫的官员钦羡不已。在洋务派“练兵求强”思想的影响下，他喜好上了读兵书，并留心时事。经常与人谈军事，主张加强军事，有安内攘外之想法。当时袁保龄对袁世凯经常发的言论很是赞赏，禁不住说道：“袁家‘嗣武有人，亦可略慰’”。也就是说“袁家后继有人了，我也稍微感到欣慰。”
如此，在袁世凯科场失意之后，就把以往作的诗词文章全部填进火里烧掉了，本来不喜好读书学文的他更是彻底扭转了想法，要学李鸿章的淮军，他粗豪地说：“大丈夫应效命疆场，安内攘外，岂能龌龊久困笔砚间？”
他当时意欲投靠李鸿章，进入李鸿章的幕府成为他的幕僚。然而李鸿章的门第太高，幕府当中一般都是举人或进士，他袁世凯仔细想想便自惭形秽，自己只不过是一名小小的秀才而已。想来想去，只好作罢。最后只好去投奔了父亲的好友吴长庆。
如今和李鸿章有了交往，正遂了袁世凯当初的心愿。
张謇见庆军被割裂，心内甚灰，光绪九年，也就是1883年，回自己国内的老家去了。
不仅如此，朝廷上也有了不同声音。当时恭亲王被贬出军机，醇亲王秉政，因为他是德宗皇帝的亲生父亲，而朝鲜的大院君也是朝鲜国王的亲生父亲，刚好对景，对吴长庆在朝鲜的作为也不满意。他觉得大院君和自己一样身份如太上皇，便公然不忿地对人说：“吴长庆在朝鲜囚禁大院君是对朝鲜的不敬，是对朝鲜太上皇的非礼，真是太过胆大了！”
于是，他还力图为朝鲜的大院君翻案。如此，吴长庆的大功反而变成了有罪。这时候的李鸿章为显示自己的大度和不同凡俗，反而为吴长庆说话：“不管如何，吴长庆还是稳定了朝鲜的时局，防范了外患，是不应加罪的。”于是，便不再追究吴长庆。
南不拜张，北不拜李
张謇呕心沥血写出的一些政论文章虽然不得主和派李鸿章的重视，却受到了南派“清流”领袖潘祖荫和翁同龢的青睐，他们看了张謇的文章后，大为兴奋，翁同龢拿着张謇的那篇《善后六策》文章，连连称赞说：“想不到，这样年轻的一个人，竟有如此见识，人才呀，难得的人才！为什么几次科举都没有考中呢？我们大清吏治实在是太腐败了，真正的人才上不来！”潘祖荫也有同感。
翁同龢是光绪皇帝的老师，于政治上跟慈禧不和，拥护光绪掌权，正需有人充实阵营，此后，他就一心要把张謇这个人才给提拔上来。
光绪十年，也就是1884年，吴长庆被调回国内，在金州进行驻防。而张謇一心想着还要走科举之路，于是就离开了军队，回到他的老家去了。
其实，以张謇当时的名望，根本也不用走科举之路，仍然是能够连连升迁、跻身官场、仕途光明的。不说翁同龢一心想着要把他提拔上来，朝鲜国待他也不薄，想把他作为“宾师”留在朝鲜。即便是李鸿章不赞成张謇的政治主张，视他所跟从的吴长庆为敌，可却也非常的欣赏他的才学和能力，也想着有一天被自己所用，因此也乐意推荐他入朝为官。
然而，有骨气的张謇就是不愿走那样的路。作为当时的读书人，在他心中认为那都不是正经的出身，只有靠自己的能力参加科举考试而当官才是正经的出身。
与张謇关系不错，素来有师生之谊的袁世凯没有跟随吴长庆回来，而是留下来成为了庆军的首领之一。袁世凯本就是投机钻营之辈，有奶就是娘，今见吴长庆倒霉，反倒使自己得了便宜，他知道李鸿章是当今更为厉害的角色，跟着李鸿章胜似跟着吴长庆。于是，袁世凯就转而投靠了李鸿章，此后成了李鸿章的心腹干将。
张謇根本没想到袁世凯是这么一个人，闻讯后大为愤怒，痛斥袁世凯，说袁世凯是无情无义之辈。然而，袁世凯依旧是袁世凯，依旧是跟了李鸿章，背叛了当初扶持他的吴长庆。
张謇也很是后悔，当初不该把袁世凯这样的人推荐给吴长庆，只怪自己没眼力，看错了袁世凯。他在日记中写道：
是儿反侧能作贼，奈何！
此后，张謇和袁世凯便彻底断绝了交往，不再有任何关系。
而吴长庆由于心中郁闷，自身遭排挤，众叛亲离，回国后不久，就去世了。
吴长庆去世后，那些眼光很毒的权势人物就盯上了吴长庆手下的得力有能之士。当时的北洋大臣李鸿章和两广总督大才子张之洞同时都看上了张謇，争相对张謇予以礼聘，重金请张謇当自己的幕僚。当初李鸿章之所以不满张謇多事，主要是因为张树声的儿子张华奎自张謇那里誊抄张謇写的《朝鲜善后六策》后，于北京随意传播，以致让翁同龢、潘祖荫和宝廷等一些朝中重要的大员皆先后看到，宝廷还拿着这篇文章入内廷，慈禧太后也因此看到了这篇文章，于是就向军机处与总理衙门垂问，弄得李鸿章很有点措手不及，也觉得大为丢面子，心里也为了压制张树声与吴长庆这样的肉中刺，才故意说张謇的那篇文章是荒诞不经的。其实，对于张謇本人的才华，他是由衷赞赏的。张之洞刚开始的时候，并不知道李鸿章也想聘请张謇，因此就托李鸿章为自己办理此事。李鸿章也和张謇没有见过面，不是太熟，便又托他和张謇共同的熟人袁保龄（袁世凯的叔叔）去寻张謇。
张謇，本就对李鸿章没有什么好感，根本无意当他的幕僚，何况他还想着科考的事，就对袁保龄说：“吴长庆大人新逝，在下心中悲痛，难以适应，现在也无心再充任别人的幕僚。”
张謇南不拜张，北也不拜李。坚决回到了通州（江苏省南通市辖区之一）自己的家中。
张謇忘不了吴长庆的旧恩，他是个十分重情重义的一个人。即便是他曾跟过的，对他有恩的孙云锦，他也从未忘怀过。
当初他虽然跟了吴长庆，入了军幕，然而并没有就此和孙云锦断了关系，依旧是经常书信来往。孙云锦回到江宁任知府时，张謇虽任吴长庆的军幕，然而，还是像往常一样对孙云锦的文案整理和书信等给予协助。1882年初，孙云锦由于被猫儿山命案所牵，下了大狱，张謇忧心如焚，急忙前去探监，看望孙云锦。两人在狱中相见后，张謇泪水横流，说道：“大人蒙冤，学生愿意生死相从！”
张謇对于这位真心提携自己的恩师是发自内心敬重的，在他的日记里曾记述了他初给孙云锦当幕僚时的情景，日记中写道：
海师来谈，谓为人必从有据做起乃成，此见道语也，敢不服膺。
可见当时张謇对孙云锦的尊敬之情。孙云锦在1887年奉朝廷之命去开封当知府，见张謇在家中，就又邀他也随同前往，以协助自己。此时，正是郑州黄河决口的时候，张謇按照孙云锦的命令，他和他的儿子孟平坐着船从开封来到中牟县看水势，回去之后写了一篇文章《郑州决口记》，一针见血地指出黄河大堤决口的主要原因是官员贪墨中饱，河堤很长时间不做修缮所导致。之后，又以“论河工”向那时的河南巡抚倪文蔚五次置信，阐述自己的看法。信内用词剀切，议论精辟，使巡抚倪文蔚看了大为欢喜，当然也很是重视。巡抚倪文蔚和孙云锦一样都是安徽名士，出身于进士，自然很是有文才。倪文蔚在同治六年，也就是1867年，被李鸿章派至淮军襄办营务，也是淮系的重要官员之一，和孙云锦关系甚好。他看了张謇给他的文章之后，就意欲请张謇给他当幕僚。此事他对好友加同乡的孙云锦说，然而，孙云锦不愿意。孙云锦说：“我们同乡，又是这么好的交情，如果有事，你也可以呼唤张謇去帮忙，不一样嘛！”
于是，倪文蔚便请张謇代写《疏塞大纲章程》。
在这个章程当中，张謇极力主张参考西方国家的办法，乘全河夺流，复禹故道。可是，那时候除了倪文蔚督办河工工程之外，还有其他大臣如李鸿章、李鹤年也在督办此事，如此，意见很难一致。张謇的文章虽好，却没有被采纳。此时的孙云锦，也以年老要求辞官回乡。张謇便和他同时各自返回到了自己的家乡。
张謇在1892年2月，获悉孙云锦死去的消息后，那真是肝肠寸断，哭得像泪人一样，孙云锦往日对自己的好一幕幕展现在眼前……他把这些真实的东西用饱蘸热泪的笔触写在他的祭文里。
……悯其未学召置门下，念其有亲而资分俸余。……不见吐弃于贤豪长者，而人间犹知有謇也其人于泥尘之底，谁之赐歟？呜呼公乎！……
接着，他又为孙云锦写了挽联：
师无疚乎亲民官，所见去思，旧政寻常皆治谱；我何为者报恩子，悲来横集，行年四十上公车。
写完了，又哭……
