附和，唯独贺铸不肯阿谀奉承。一次，贺铸偶然听说，此人居然将公家财物挪作私用，顿时怒火中烧。他将事情的来龙去脉调查清楚后，召来权贵公子，把财物扔到面前，用手杖指着他，呵斥道：“小子，过来，看个明白，这不是你某天偷窃某家的财物吗？”
权贵公子惊惶极了，汗流夹背，诺诺应声：“是的，是的！”
“呸，你这混蛋小子！”贺铸骂了一声，大手一挥，道：“听着，你若听从我的管制，从此不再犯，我可以不上报。”言罢，搓搓手，扒去权贵公子的衣衫，轮起手杖就打。
权贵公子吓得魂飞魄散，哭爹喊娘，叩头哀求。但贺铸还是狠狠地打了他一顿，才大笑数声，扬长而去。此后，众同事都对他刮目相看，贺铸的名声也远传江湖，“诸挟气力颉颃者，皆侧目不敢仰视”。
当然，他也尝到了仕途的苦果：因这“不阿权贵、行事近侠”的做派，他一直得不到提拔。
到40岁时，贺铸仍在军队中曲居下僚，倒是他的小词，广为传唱，使得他的文采受到众人的瞩目。因此，元佑后期，李清臣执政，奏请朝廷改贺铸为文职，换“通直郎、通判泗州”。据说，当时，江淮地区，有画家米芾以“魁岸奇谲”知名，而贺铸也以“气侠雄爽”适其先后。这二人一相遇，必定“瞋目抵掌，论辩锋起”，较量终日，各不能屈，传为趣谈。
但是，贺铸在文职上，仍“尚气使酒，不得美官”。贺铸悒悒不得志，遂有“对酒当歌，人生几何”之叹。他索性像刘伶一样，放浪形骸，恣情纵酒，还写了一首《将进酒》，有“今人犁田古人墓”的沧海桑田之感，嘲弄那些追名逐利的假清高者，而自己宁愿“深入醉乡”；享受酒中乐趣，达到“生忘形，死忘名”的超脱境界：
“城下路，凄风露，今人犁田古人墓。
岸头沙，带蒹葭，漫漫昔时流水今人家。
黄埃赤日长安道，倦客无浆马无草。
开函关，掩函关，千古如何不见一人闲？
六国扰，三秦扫，初谓商山遗四老。
驰单车，致缄书，裂荷焚芰接武曳长裾。
高流端得酒中趣，深入醉乡安稳处。
生忘形，死忘名，谁论二豪初不数刘伶？”
虽说决定放浪形骸，再不求功名了，但贺铸回忆起青年豪侠时期、“指点江山，激扬文字”的风华岁月，还是心有戚戚焉。这首《踏莎行》以荷花自喻，抒发怀才不遇的苦闷，而“当年不肯嫁春风，无端却被秋风误”之句，隐然有悔恨、遗憾的矛盾意味：
“杨柳回塘，鸳鸯别浦，
绿萍涨断莲舟路。
断无蜂蝶慕幽香，红衣脱尽芳心苦。
返照迎潮，行云带雨。
依依似与骚人语：
当年不肯嫁春风，无端却被秋风误。”
由于仕途不顺，到大观三年（1109），贺铸申请致仕，退居苏州、常州。在退居苏州时，贺铸填了一首著名的《青玉案》，乍看是怀念路过的美人，主旨却无关爱情，实则抒发郁闷、愁苦和迷惘的心境：
“凌波不过横塘路，但目送、芳尘去。
锦瑟华年谁与度？
月桥花院，琐窗朱户，只有春知处。
碧云冉冉蘅皋暮，彩笔新题断肠句。
若问闲情都几许？
一川烟草，满城风絮，梅子黄时雨！”
黄庭坚对这首词极为赏识，赞曰：“解道当年断肠句，如今唯有贺方回。”因结尾的一句“梅子黄时雨”，贺铸得了个“贺梅子”的雅号。
贺铸晚年取了个“庆湖遗老”的名号，还特地解释：自己本是唐朝诗人贺知章之后，但推本溯源，贺姓却来自战国时期的王子“