外，寒鸦万点，流水绕孤村。
销魂，当此际，香囊暗解，罗带轻分。
谩赢得青楼，薄幸名存。
此去何时见也，襟袖上，空惹啼痕。
伤情处，？高城望断，灯火已黄昏。”
隋帝杨广的两句名不见经传的小诗“寒鸦千万点，流水绕孤村”，被少游稍加修改，变成“斜阳外，寒鸦万点，流水绕孤村”，顿时蓬荜生辉。师兄晁补之极力称赞这两句，道：“虽不识字之人，亦知是天生好言语也”。
此词盛行一时，《铁围山丛谈》载，秦观女婿范温某次赴宴，因默默无闻，坐在角落里无人理睬。直到有侍儿吟唱少游的长短句，有人无意中问他：“阁下是什么来历呀？”范温这才缓缓起身，咳嗽一声，略带得意地答道：“某正是‘山抹微云’的女婿！”满座皆惊，顿时对他刮目相看。
这首词的开头“山抹微云，天连衰草”，也得到苏轼的赞赏，甚至戏封少游为“山抹微云君”。但，一番表扬后，苏轼又嫌这首词格律不高，道：“少游，没想到几天不见，你竟学柳七作词。”柳永因终日流连妓院、与妓女打情骂俏，词多俚俗，世人都认为他“多游狎邪”，不屑为伍的。
少游当然不认可，急得面红脖子粗，一个劲地辩白：“某虽无学，还不至于如此！”东坡呵呵笑道：“‘销魂，当此际’，难道不是柳七郎的常用词语吗？”少游张口结舌，无言以对。见他窘迫，苏轼更起劲了，哈哈大笑，写了一副对联来取乐：“山抹微云秦学士；露花倒影柳屯田。”“山抹微云”是少游《满庭芳》的名句，“露花倒影”则出自柳永的《破阵子》。
可是，少游因苏轼而成名，也因苏轼而倒霉：可谓成也苏轼，败也苏轼！
在“洛”、“蜀”、“朔”党的争斗中，少游被视为苏轼的“铁杆”而频频受到政敌的攻击。他创作的艳情词，也成为罪状之一，元祐五年五月，右谏议大夫朱光庭奏言：“新除太常博士秦观，素号薄徒，恶行非一”，苏轼被贬杭州，少游也被贬出京。绍圣元年（1094），苏轼再次受到排挤，被贬到惠州，少游也被贬为监处州茶盐酒税。
在处州，少游为了消愁解闷，经常与僧人谈禅论道，写了一首《题法海平阇黎》诗。岂料恰因诗中的“因循移病依香火，写得弥陀七万言”的两句，被政敌们罗织了“谒告写佛书”的罪名，于绍圣三年（1096），受到“削秩徙郴州”的严惩。“削秩”，是删除所有的官职封号，是对当时士大夫最严重的惩罚。
关于秦观的性格，《宋史 秦观传》这样说：“少豪隽慷慨，溢於文词，……，强志盛气，好大而见奇，读兵家书与己意合”。还有宋人说他十五岁丧父，侍母家居，研习经史兵书，二十四岁作《郭子仪单骑见虏赋》，“事方急则宜有异谋，军既孤则难拘常法。……所以彻卫四环，去兵两夹。虽锋无镆邪之锐，而势有泰山之压。”似乎，秦观少时豪隽狂放，胸怀“驰骋沙场”之大志，颇似文武双全的岳飞或者辛弃疾。
对此，我是很怀疑的。因为，从秦观的词风上，看不到一丝英武豪迈之气，呈现的是一个敏感、纤细、脆弱、温情、忧郁的书生形象；从他作词的题材看，绝大多数是男女情愁，极少谈论兵书战事、国计民生之类。而纵观少游的人生经历，他步入仕途后的表现，亦无英雄气概。他在“党争”中屡屡受气，逐渐变得抑郁寡欢，再至彻底绝望，对前景完全失去信心，陷入哀伤、悲凄之中而不能自拔。
性情的改变，使得他后期作词，凸现出凄凉的“身世之感”，忧伤悲苦的情调成为主旋律，词风也由早先的“闲愁凄婉”而变成“悲楚凄厉”。
在处州任监洒税官时，少游曾到城外的溪水边散心。春花黄莺的美景不仅没有带给他宽慰，反而引发了春光易逝