李秉少年丧父，孤苦自立，他立志向学，在劳作之余刻苦攻读经史，领山东乡荐第一。李秉考中进士，被授为福建延平推官，掌管刑狱，他初任延平时，有一个恶霸诬告良民为盗而霸占其妻，李秉依法予以严惩。而他也被这恶霸诬陷下狱。副使侯軏为之昭雪，李秉也因此而知名。不久后，他被征入都察院理刑，即将获授御史时，都御史王文举荐他为都察院经历，旋即又改授户部主事，赴宣府清核屯田，在宣府，他不顾豪右反对，将军户霸占的民地全部清理还民。

代宗即位后，李秉升任户部郎中，奉命协助户部侍郎刘琏督理宣府军饷，李秉揭发了刘琏克扣军士饷银的事实，朝廷罢刘琏而命他以右佥都御史代理其职，兼参赞军务。李秉首先抚恤了遭受战火蹂躏的军民，购买了一万五千头耕牛发放给他们，组织他们迅速恢复生产，同时罢除了屯田兵士的劳役，令他们专事耕作，又行召商中盐之法，鼓励内地商贾来前线贸易，通利边民，短时间内，使宣府的经济出现了复苏之象。

李秉兼理宣府巡抚事宜，旋即提督军务，李秉尽心边事，不计仇怨。在任内，弹劾了贪酷不法的都指挥杨文、杨鉴，都督江福等的贪纵不法之罪，并请求将田猎扰民的内官征还，还弹劾过总兵纪广等人，反对“开边邀功”的行为。针对边区地广人稀的情况，李秉广行招徕流民复业开荒，数年间清除弊政所条奏百十章，皆有关边计民生，在他的努力下，宣府由一个残破的边镇成为西北雄关。

宪宗即位后，李秉进官都察院右副都御史，再次巡抚宣府。当时，给事中萧斌、御史吕洪等共同举荐李秉及都督漕运的王竑才堪大用，此事下交廷议，吏部尚书王翱、大学士李贤也表示赞同，宪宗于是召李秉为都察院左都御史、王竑为兵部尚书，诏命下达之日，朝野欢庆。

旧例，每次大计天下官吏，贪、残、罢、软罢官者有定数。李秉负责考察升黜百官后，将此数增加一倍，处置了一大批庸劣酷贪官员，因此颇遭人非议，最终被排挤去辽东、大同整饬兵备。在大同，他罢免了镇守太监李良、总兵郑宏，起用被关押的将领崔胜等人，取得了凤皇山大捷，宪宗亲降玺书嘉奖。

宪宗命李秉以左都御史衔提督军务，与武靖伯赵辅率军兵征讨建州女真部。明军分左右哨五道各万骑从抚顺关出塞，明军攻至建州，大获全胜，共擒九十九人，斩五百三十六人。朝鲜也遣中枢府知事康纯率万人协助明军作战，擒二十余人，斩三百余人，战后，宪宗赐以麒麟服，加衔太子太保。

吏部尚书出缺，宪宗亲自提名李秉继任，李秉早就痛感天下变乱，实出于仕途不清，贪官横行，因此锐意澄清吏治。慈懿太后钱氏去世，宪宗生母周太后不愿钱太后与英宗合葬裕陵，阁臣彭时、商辂等力劝宪宗允许合葬一事。随后，李秉与礼部尚书姚夔等九十九位廷臣也表示同意，宪宗仍担心违背周太后的意志，此后更发出为钱太后另择葬地的谕旨，姚夔等两百余名朝臣一起伏在文华门哭请，宪宗下令群臣止哭退去，群臣叩头拒命，声言：“不得钱太后合葬旨意，绝不敢退下。”自巳时跪至申时，宪宗与周太后无可奈何，这才同意合葬一事。

朝廷原有八千余名监生等候选任，李秉分别对他们进行了严格考核，罢黜庸劣不肖者数百人，适逢朝觐考察官吏时，李秉又打破情面，降罢多人。这些人中多有执政要员的乡党门生。李秉因此得罪了不少人，朝中出现一股倒李的暗潮，吏部侍郎崔恭年资较深，升任吏部尚书的呼声很高，李秉越过他做了尚书，他因此对李秉心怀不满。吏部右侍郎尹旻原来很受李秉信任，后来李秉发现此人心术不正，逐渐疏远了他，尹旻对李秉也有怨恨。他们二人与反李势力结合起来，上疏弹劾李秉，说他专擅不法，揽权结党，列了十二大罪状，宪宗召集廷臣会议，崔、尹等人皆攻击李秉徇私变法，宪宗于是削去李秉太子太保之衔，令他以吏部尚书之职致仕。

当李秉被劾时，朝内风言风语，说李秉要下狱了，李秉深知此次凶险莫测，但他并不为自己辩解，只是听候宪宗发落。当时，天下举人正于京师会试，听说李秉被奸人弹劾，都十分气愤，他们说：“李公天下正人，谁人不知？如果朝廷逮捕李公，我们愿罢试以赎李公之罪！”宪宗在这种情况下，只是薄责了李秉，李秉乘柴车出都门，朝士相率往送，十余里不绝。

李秉为官三十余年，廉洁自持，风节自励，秉忠为国，赤胆忠心，与当时名臣王竑并孚天下重望，罢官家居二十年，朝野连疏累荐，皆不被起用。李秉逝世，享年八十二岁，朝廷闻讯后，追赠太子太保，按例赐祭葬，并录其孙李邦彦为中书舍人、习字出身，后追赐谥号为“襄敏”。