到了黄药师祖父这一辈，在高宗绍兴年间做御史。
这一年，奸臣秦桧冤害大忠臣岳飞将军，黄药师的祖父一再上表为岳飞申冤。
高宗皇帝和秦桧大怒，不但不准，还将他贬官——所谓是赐金放还。
可黄药师的祖父也是个执拗不屈的性子，忠心耿耿，便在皇宫大门外大声疾呼，不依不饶地呼吁百官与众百姓一起来保岳飞将军，救国救民！
秦桧恼羞成怒，就将他直接下狱杀了，所有的家属都流放去云南。
所以黄药师其实是在云南丽江出生的……他从小就读了很多书，又练成了极高的武功，从小就诅骂皇帝，说是要推倒宋朝，立志要杀了皇帝与昏庸的当朝大臣为岳飞将军和祖父报仇！
可那个时候，秦桧早就已经死了，高宗皇帝也日渐年老昏庸。
黄药师的父亲还是一直教他忠君事亲的圣贤之道，黄药师听了很不服气，不断跟自己父亲争论，家里人都说他不孝。
后来，黄药师的父亲更是一怒之下，将他赶出了家门。
于是，黄药师从云南回到浙江祖宅。他非但不去考科举，还以武功击毁了庆元府的明伦堂，把当地学官都给揪了出来，狼狈不堪……
还跑到皇宫里和宰相、兵部尚书等衙门外以及衢州南迁孔府门外张贴大告示，指斥朝廷的恶政。说该当图谋北伐，恢复故土，否则愧对祖宗云云。
朝廷大怒，派了几百人马昼夜捕捉黄药师。
可以黄药师的武功，又不正面与禁军应战，打游击的话区区几百人马怎么可能捕捉得到他？
就这样，黄药师的名头在江湖上非常响亮。因为他谤骂朝廷，肆无忌惮，说的都是老百姓心里想说却不敢说的话！就在江湖上得了个“邪怪大侠”的名号。
后来，黄药师的父亲在云南去世，虽然和他关系不和睦，但终究是把所有家财留给了他……再加上浙江祖宅这边的一些产业，黄药师能卖的卖，不能卖的就打包带走。
最后，他离开了陆地，来到东海上寻了一处无人知晓的小岛安顿下来——也就是现在的桃花岛了！
不得不说，黄药师的家族也算是传奇了……
“实际上，在下家族的这一段历史，也算不得什么真正的大秘密。朝堂之上和江湖武林中，有心人只要去打听和探寻一番，总是能知道的。只不过，我桃花岛孤悬海外，和朝堂江湖都已经没有太多瓜葛，一般也没什么人去打听。”
黄药师的声音淡淡的，似乎讲述的是别人家事一般。只是吴云还是从其中听出了一些不甘和怨念。
来自对宋国朝廷的失望，对当年祖父被奸臣所害的不甘，对父子关系不和睦的遗憾……
洪七公沉默了片刻，又道：“不过黄老邪，这些似乎和你说的十三秘丹药方没关系吧？”