在北洋舰队全军覆没后，日军不用担心后方了，于是全心全意向辽东进攻。应战日军的是湘军将领吴大澂，他发了一篇檄文，内容译成白话节选如下：“两个月内本大臣必当与日本兵决一胜负，本大臣的部队以精枪快炮为前队，堂堂之阵、正正之旗，能进不能退，能胜不能败。湘军子弟万众一心，而你们日本人长期作战，疲惫不堪，岂能是我们湘军这些生力军的对手？本大臣以仁义之师，行忠信之德，不喜欢杀人，念尔等日本臣民各有父母妻子，岂会愿意以自己的血肉之躯来抵挡我大军的枪炮？你们无非是迫于将领的命令，远涉重洋而来清国作战，在此冰天雪地之中，饥寒交迫，生死在呼吸之间，听不见父母的悲痛之声，看不见妻子的哭泣面容，仗打胜了都是将领的功劳，仗打败了就是你们自己倒霉。这是拼千万人的性命来博得大岛圭介一个人的喜悦……两军交战之时，尔等日本官兵战败后如果无处逃生的话，只要看见本大臣的免死牌，就交出刀枪，本大臣派人收尔等入我军军营，把你们同中国人民同等看待（看来吴大澂还是人道主义者），等仗打完了就派轮船遣送尔等回国。本大臣发布这个告示，天地鬼神所共鉴，决不食言。如果尔等依然执迷不悟，拼死抵抗，那就来吧，你们挑选精兵利器与本大臣交战三次，胜负不难很快分出。尔等三战三败之时本大臣自有七擒七纵之法，最后一定让尔等心服口服。”
这篇大话檄文发出不久，他与日军交手，共三次，三战三败，最后被革职。
3月初，牛庄、营口相继陷落，辽东半岛全部沦陷。
随着中国的连战连败，议和被提上了日程。伊藤博文说：“我们的谈判对手，一、李鸿章，二、恭亲王，此外任何人我们不接待。”于是李鸿章无奈成了和谈代表。史学家杨国强说：“炮口威逼下委屈求和既是难事，又是污名。但面对日人‘逼我和款’的局面，却没有一个人愿为天下作计，分担难事和污名，诸人相对默默，若以这些人作反衬对象，李鸿章白发远行的零丁身影确乎显出了挺拔和刚毅。”
1895年3月14日，李鸿章作为议和全权代表离开了清国，踏上了日本的土地，途中他赋诗：“万顷波涛离海滩，天风浩荡白鸥闲。舟人那识伤心处，遥指前程是马关。”昔日曾作“丈夫只手把吴钩，意气高于百尺楼。一万年来谁著史，三千里外觅封侯”之诗，说出“酒酣提剑横万骑，下与浊世扫风尘”之言的豪气万丈的李鸿章无奈地作为战败国的代表来到日本。日本给了李鸿章礼遇，然而公理在强权面前显得那么脆弱。一位日本人由此写道：“四亿人中第一翁，败余来仰圣恩隆。卑辞厚礼请和议，不似平生傲慢风。”
李鸿章的谈判对手是伊藤博文，那么伊藤博文是什么样的人呢？看一个故事就知道了。他小时玩打仗游戏，他率领的队伍潜伏在芦苇深处，看到“敌军”来了，伊藤博文下令几个人正面出击，另外几个人跟着他迂回到敌人背后，几个孩子不知他葫芦里卖的什么药，但这位“将军”一向用兵如神，不好多问，就随他在芦苇里匍匐前进，等他们绕到敌人背后，伊藤博文竟然从口袋里掏出打火石，将芦苇点燃，“敌军”和正面的孩子打得正欢，忽觉后边炽热，连忙回头，见火势汹汹，结果几个孩子被烧伤破相，伊藤家支付大量赔款了事。从小看到大，伊藤博文是个什么人想必您已清楚了。
据陆奥宗光回忆，谈判开始前日本财政部提出要10亿两白银赔款，伊藤博文大怒，认为此举可使清国崩溃，于是与他们据理力争，最终将赔款减至3亿两。
3月19日双方见面了。
伊藤博文：“30年前，我就听说了中堂镇压太平军的威名，非常羡慕，于是立下志向，要与中堂较量一番，便从政了。”
李鸿章：“现在你赢了。”
伊藤博文：“十年前在天津时鄙人曾向中堂进言，贵国之现状有改进之必要，但而后贵国依旧不思进取，致有今日，我深感遗憾。”
李鸿章：“我国被旧制度困扰，转瞬十年依然如故，本大臣自惭心有余而力不足，贵国兵将都已西化，装备精良，因此取胜。我来之前也觉得我国必改革方能自立。”
伊藤博文：“的确应该改革。”
李鸿章：“这次的事真是万分遗憾，我们两国是近邻，同文同种，本无冤仇，怎料竟以兵戎相见。”
伊藤博文：“我也感到遗憾。”
李鸿章：“中日两国今虽交战，终不可不恢复双方永久之友谊，此次幸而息止干戈，不仅应恢复从来之友谊，而且应进一步发展成为亲睦之友邻，这对中日两国都有利。试看今日之欧洲，各国军事训练都极严格，军队也极精良，不可能不对亚洲有野心，我们两国都是东亚大帝国，如果能使亚洲大局安定，永结友好，则对抗欧洲列强也非难事。今我国人虽多数怨恨贵国，而我对贵国反而感恩。因为我国有识之士鉴于今日的大败必会觉悟。倘能恢复两国和平，则以唇齿相依的关系促进两国兴盛，永保东亚和平。试看东亚除贵我两国外还有国家吗？我国是老大，若能再完备陆海军，开发无尽的宝藏，并与贵国合作，则与欧洲列强分庭抗礼亦非难事。”
伊藤博文点头称是。
3月20日双方在马关春帆楼举行首次正式会谈。
伊藤博文：“我们的停战条件是大沽、天津、山海关清军缴械，天津至山海关铁路交由日本管理，且停战期间军费由清国承担。”
李鸿章：“太苛刻了！天津、大沽、山海关是北京咽喉，直隶锁钥，倘贵军占领此等要地，我们则反主为客，令我国人有身在异国之感。我是直隶总督，这三处都是直隶地盘，都给你们，我脸往哪搁？中国从来没准备与外国争，所招的都是未经训练的新兵，因此现在到了这个地步，中日两国是邻邦，岂能长久相争，早晚必和好。但如果和好要给中国留体面，不然的话我国人愤怒，即使和好也难持久。”
伊藤博文：“现在两国交战，清国突然要求停战，对日军士气不利，所以要以险要之地作抵押，我们才不会吃亏。”
由于双方价码差距太大，这次谈判不欢而散。
3月23日双方举行第二次会谈，伊藤博文提出了和谈条件：“我们的条件是割让辽东半岛、澎湖列岛、台湾岛，赔偿军费3亿两白银。中堂对此只允、不允两句话而已。”
李鸿章：“难道就不许分辩？”
伊藤博文：“只管辩论，但不能减少。中堂是外交前辈，肯定明白：两国力量相等，外交就是力量；两国力量悬殊，力量就是外交。这才是外交的规矩！”说罢攥紧了拳头。
李鸿章：“老夫老矣，但要在谈判桌上逼老夫就范，你们日本的剑还不够锋利。”
伊藤博文：“可日本的武士剑已遥指贵国东三省，如果咱们谈判破裂，您离开这里，那么我们就会向北京进军，当您回到北京后，北京还是否是清国的我都很难保证。”
李鸿章：“贵国在战局上占主动，什么条件都提得出来，但物有极限，若一意孤行，未必对贵国有利，风物长宜放眼量。”一意逞雄的国家等于是放弃了从容崛起的主动，最后的结局并不美好。联系到后来日本帝国的无条件投降，李鸿章的目光无疑是锐利的。
针对赔款，李鸿章说：“赔款三亿，太多，赔不起。”
伊藤博文：“减到如此，不能再减，再减咱们只能接着打，到时我们的要价会更高。中国之地，十倍于日本，中国之民四亿，财源甚广，所以你们赔得起。”
李鸿章：“中国请你来当首相，怎么样？”
伊藤博文：“当奏明天皇，我很想去。”
李鸿章：“既要割地，又要赔款，我们该怎么办？”
伊藤博文：“没法。”
李鸿章：“如同养孩子，既要他长大，又不给奶，孩子不死等嘛？”
伊藤博文：“中国岂可与孩子并论？”
随后伊藤博文显出了对台湾的野心：“我国之兵已向台湾开进，但尚未知道确切消息，不知台湾之民如何？”
李鸿章突闻“台湾”二字，面带惊愕，很快故作镇定：“就像您所知，台湾百姓之间经常爆发冲突，民风彪悍。几天前您不肯停战，是因为要出兵台湾吧？”
伊藤博文微笑说：“绝非如此。”
李鸿章：“贵国要台湾，英国绝不甘心，到时你们怎么办？”
伊藤博文：“英国守局外中立，没有任何置喙的理由。”
李鸿章：“英国自称局外中立，但此事与他利害相关。”
伊藤博文边笑边说：“利害相关的不是英国，而是贵国呀！”
李鸿章：“不然，台湾距英国占据的香港近。”
伊藤博文：“与香港有什么关系，我不打英国，只打敌对的国家。”
李鸿章：“除我国外，英国不想让他国盘踞台湾。”
伊藤博文微笑，说：“岂止台湾而已，不论贵国版图内何地，我想要就要，哪国能出面阻拦？”（《马关会谈纪要》）
于是谈判又不欢而散，李鸿章出来后坐在轿子里，忧郁地打量着马关这座洁净的小镇，不时有精巧的佛塔和飞檐从眼前掠过，他不会想到，一个阴谋正向他靠近。轿子里闷得慌，李鸿章索性打开窗子，他的脸被早已埋伏好的日本暴徒小山丰太郎看见，小山一枪击中李鸿章脸颊。73岁的老人在和谈时遇刺，国际舆论大哗。日本见状也慌了，明治天皇的皇后甚至亲自给李鸿章做绷带。外务相陆奥宗光在他的回忆录《蹇蹇录》中记载他给天皇的奏折：“我观察内外人心所向，如不乘此时机采取善后措施，有发生不测的可能，内外形势已经不许我们再交战了。如果李鸿章以负伤为借口而回国，对日本加以非难，让欧美各国来调停，至少不难博得欧洲二三强国的同情。而列强一旦干涉，我国对清国的要求就不得不大为让步。”于是明治天皇同意停火，李鸿章挨了一枪换回无条件停火，他在受伤后表现出了爱国情怀，他说：“这些血足以报国，即便牺牲我的性命来报效国家，也在所不辞。”
几天后伊藤博文来看望李鸿章，他说：“这是我家祖传的一把日本军刀，送给先生作纪念。”
李鸿章：“这个我可不敢收。”
伊藤博文：“先生不必推辞，在日本，武士对自己尊重的人送礼物都是送军刀，请先生笑纳。”李鸿章这才接过宝刀。
伊藤博文随后给了李鸿章一盒英国烟，还亲手给他点上，李鸿章说：“这算不算受贿？”大家都乐了。
伊藤博文：“这次与先生谈判，让先生难堪了，我真是十分抱歉。”
李鸿章：“各为其主，有什么抱歉的，下回我把先生打败，先生多赔给我些钱，也就挽回面子了。”
伊藤博文：“先生说笑话了。哎！想起三年前，中堂的北洋水师来日本访问，我登上旗舰，见到北洋海军的实力，我真为日本担心哪！不想黄海之战，北洋竟败落到如此地步，为什么没有添船呢？”
李鸿章吐出一口烟，眯着眼说：“我买的船都被你给抢走了（‘吉野’号）！你还不清楚？”
伊藤博文笑了：“是啊，一听说北洋买战舰我就吃不下，睡不好，为争这些船，我出价过高，为此得罪不少日本要人。因为日本不但小，更是一个岛国，资源太少，不加以扩张，日本迟早要灭亡。成吉思汗马上打天下，日本只能在船上打天下，没有强大的海军，日本就没有希望，还请先生理解大和民族。”
李鸿章把雪茄熄灭，眼睛盯着别处，说：“我老了，不能理解你们日本。”
伊藤博文：“中国有那么大领土，为什么不能分一些给日本呢？”
李鸿章：“中国有句话，叫得寸进尺，得陇望蜀，这就是人的天性。”
伊藤博文大笑：“今天我来真有一件公事，因为与中堂谈话投机，有些不好意思讲。”
李鸿章：“你就直说吧。”
伊藤博文笑了笑：“日本政府决定，如果贵国皇帝不同意我们的条件，将让我带兵再次进攻中国。”
李鸿章哼出一声笑：“北洋水师全军覆没，你要登陆自然不难，不过我要警告你，日本军队一旦登陆，再想撤回来，难！你们会陷入中国的汪洋大海中！”
伊藤博文见话不投机，起身告辞。
几天后，李鸿章基本康复，于4月11日与伊藤博文继续谈判。
李鸿章：“鄙人经常研究贵国名人，得知萨摩、长州之人出名人多。”
伊藤博文：“我萨摩、长州如同贵国湖南、安徽（曾国藩、左宗棠是湖南人，李鸿章是安徽人）。”
李鸿章微笑着说：“湖南如萨摩，安徽如长州，而现在安徽输给了长州。”
伊藤博文也微笑着说：“此说不当，其实是日本战胜中国。”
李鸿章：“若易地而处，你我换位，恐怕我的成就不及阁下一半。”
伊藤博文：“不！若换位你比我做得更好。”
李鸿章：“阁下在贵国的改革也是我想在中国做的，但在我国当前形势下，许多事情极难办理。”
伊藤博文：“树大招风，凡在高位，都有难办之事，我国也不能说没这种情况。”
李鸿章：“但贵国有英明睿智的君主，再加上由您辅佐，野无遗贤，国中有才能的人都能各显神通，现在我看到贵国的进步，真是既钦佩又惭愧。”
伊藤博文：“我天皇陛下天资聪颖，重用贤才，知人善任，事必躬亲，破除旧习，因此才有今日之局面。闲话少叙，现在咱们进入正题吧，我国要求的赔款由三亿两减至两亿两，其余不变。”
李鸿章：“既然我挨了一枪能减少一亿两白银，那我再挨两枪好了。”
伊藤博文：“这是我们的底价，没有余地。”
李鸿章：“日本还没打到台湾，为何要我们割让？”
伊藤博文：“不论我们是否打到，这是一定要割让的。”
李鸿章：“我要不肯给呢？”
伊藤博文：“如果割让的地方必是我们打到的地方，我们打到山东了，难道山东我们也要吗？”
李鸿章：“赔款再减五千万，台湾不能割让。”
伊藤博文：“你要这么说，我马上派兵到台湾。”
李鸿章：“你们太狠了，我告诉你，台湾不好打，上次法国就没打下，台湾海峡风急浪高，台民也很强悍。”
伊藤博文：“我军不论什么苦都能承受，去年东北冷，人们都说我们吃不了苦，结果我们非但没吃亏，反而处处得手。”
李鸿章：“台湾瘴气大，琅峤之役日军伤亡很多，所以台民抽鸦片来避瘴气，你们到那也得抽鸦片。”
伊藤博文：“日后我们拿下台湾，必严禁鸦片。”
李鸿章：“台民抽鸦片由来已久。”
伊藤博文：“先有台湾人，后有鸦片，我们大日本帝国就禁烟有术，所以没有抽鸦片的人。”
李鸿章：“佩服佩服。”
李鸿章：“请你们再减点赔款吧。”
伊藤博文：“万万不能再减。”
李鸿章：“既要赔款，又要割地，双管齐下，出手太狠，使我太过不去，你们办事太狠了。”
伊藤博文：“这跟办事没关系，仗打到这份上，我不得不提如此条件，不然我们岂不白打了。”
李鸿章：“台湾已是贵国囊中之物，能否暂缓交割？”
伊藤博文：“还没吃到口，还饿得厉害。当初俄国从你们东北、西北攫取150万平方公里你们也没这么讨价还价过。”
李鸿章：“因为那是不毛之地，而台湾是宝岛！”
国家间的谈判靠实力，没有实力就只能就范。最终李鸿章被迫于1895年4月17日用颤抖的老手在《马关条约》上签下自己的名字。翁同龢在这天的日记中写下六个字“不敢记，不忍记”。连日后当汉奸的郑孝胥都说：“听到和议的消息后，我心胆俱裂，满朝都是亡国之臣，天下事岂可复问？惨哪！”由于此日是农历甲午日，战争爆发的1894年是甲午年，故此战称“甲午战争”，由此“甲午”二字成为国人心中永远挥不去的伤痛。
《马关条约》内容如下：一、朝鲜完全自主。二、割让辽东半岛（在俄、德、法三国干涉下，辽东半岛未割让）。三、割让台湾。四、割让澎湖列岛。五、赔偿军费2亿两（人民币1200亿元）。六、日本人在中国各通商口岸随意从事任何制造。七、所有与日本有关之清国人（汉奸）不得逮捕。八、开沙市、重庆、苏州、杭州为商埠。
李鸿章签字后说：“这次战争也有两个好的结果：一、日本利用欧式海陆军组织取得显著成功，足以证明黄种人绝不亚于白种人；二、中国人从长期的沉睡中觉醒，此实为日本促进中国发奋图强，帮助其将来进步的良机，可以说得益非常大。”
尽管李鸿章为清国据理力争，但他回国后光绪还是对他发了火，把战败的责任都推到他身上，光绪说：“你身为重臣，办的什么外交？签的什么条约？可知四万万巨款从何处筹措？台湾一省竟然送给外国，失民心，伤国体，难道不是你的罪过吗？”
李鸿章忙承认错误，但他心里不服，私下里说：“我办了一辈子事，练兵，海军，都是纸糊的老虎。朝廷何尝让我放手去干？不过勉强涂饰，虚有其表，不被捅破就可敷衍一时。清国如同一间破屋，由裱糊匠补好了，有小风小雨打出几个窟窿，还能应付，当被大风扯破时又未尝预备材料去补，以至不可收拾。这不能把罪责都推到裱糊匠身上吧？”李鸿章就是这个裱糊匠。
不止光绪把责任推到裱糊匠身上，国人也都骂他是汉奸，只有恭亲王说：“中国之败全由不西化之故，非李鸿章之过。”李鸿章说：“七十老翁，蒙汉奸之恶名，几有求生不得、求死不能之势。”
在当时乃至今日，中国人眼里前线放弃国土望风而逃的将领不是卖国，衙门里碌碌无为花天酒地的大臣不是卖国，朝廷为了一己私欲不惜让国民付出血的代价不是卖国，一年生活费相当于7万平民一年生活费的慈禧不是卖国，而只有在国家面临灭亡之时出来收拾残局的那个人才是卖国者。
唐德刚的话很公允，他说：“甲午开战之初，那位72岁的李老头便被23岁的小上司不断辱骂，骂得狗血喷头。翁同龢、李鸿藻等主战派乘势鼓噪，要小皇帝撤换老李，甚至要向太庙请出专杀宰相的青龙刀，把老李正法。翁、李等人无非要手握兵权的李老头赤膊上阵，率领他那过气的淮军和炮慢船缓的落后舰船去和东洋小鬼厮杀一番，胜则大清之福，败则老李砍头。所以梁启超说李鸿章以一人敌一国。”
《马关条约》的签订，标志着李鸿章的人生由权倾一时变成了谤满天下，标志着清国的地位由老大帝国变成了亚洲二等国。通过洋务运动使中国刚刚好起来的伤疤就这样被日本人又狠狠地捅了一刀，使得伤口再次发作。此后，李鸿章被罢免了北洋大臣、直隶总督、海军衙门副总管等职务，仅剩一个文华殿大学士的虚衔。他就像一头受伤的老虎一样，舔着自己的伤口，隐忍等待，梦想着有朝一日能够报仇雪恨，可惜李鸿章没等到出击那天，以后，无论是他的人生，还是大清的国运，都会更加艰难。
清国因为战败赔给了日本2亿两白银（合3.4725亿日元），那么日本都用来干什么了？据记载，5700万日元用于陆军，1.39亿日元用于海军，7900万日元用于临时军费，3000万日元用于造军舰鱼雷艇，可见85%的赔款用于军费，另外有57.9万日元用于钢铁业，1000万日元用于教育，1000万日元送给天皇，其余他用。
《马关条约》造成的危害是非常大的。《马关条约》的签订对中国的打击是史无前例的，是惨痛无比的。它让大部分中国人深感愤恨，既痛恨日本人的狂妄暴虐，又痛恨朝廷的腐败无能，当然，恨日本人也不能真去日本跟人家决斗，恨朝廷也不敢造反，于是，只能把无限的怨气都撒在李鸿章身上。甲午战争后民间舆论对李鸿章进行暴风骤雨似的谴责，李鸿章的轿子多次被人写上“汉奸”二字。
除了痛恨外，《马关条约》带给中国人的还有失望，我们历来都是老大帝国，日本人总是比我们矮一头，可现在我们却要向人家低头，学生把先生打得满地找牙，这是为什么？于是有一批人开始以日本为师，探求日本的强国之路，想用日本成功的经验让中国强大。
当然，还有一部分人因为《马关条约》而觉醒，他们明白了，中国衰弱不止是因为枪炮不行，不止是制度问题，祸根在于这个政府。他们认为都是这些关外来的满人将中国弄得一塌糊涂，使本来灿烂的中华文明蒙羞含垢，自1644年起中国人已经做了200年亡国奴，只有驱逐胡虏才有中国复兴。这些人的老大就是孙中山。
