苏轼《论书》云：“人貌有好丑，而君子小人之态不可掩也;言有辩讷，而君子小人之气不可欺也;书有工拙，而君子小人之心不可乱也。”朱长文《续书断》云：“呜呼!鲁公可谓忠烈之臣也，……其发于笔翰，则刚毅雄特，体严法备，如忠臣义士，正色立朝，临大节而不可夺也。扬子云以书为心画，于鲁公信矣。”郑杓《衍极》云：“或问蔡京、卞之书。曰：其悍诞奸傀见于颜眉，吾知千载之下，使人掩鼻过之也。”刘有定注云：“蔡京、卞”皆宋之奸臣，书字如其为人。”
钱泳能发现人品与书品感应论的矛盾，他说：“张丑云，‘子昂书法温润闲雅……殊乏大节不夺之气’，非正论也。褚中令书，昔人比之美女婵娟，不胜罗绮，而其忠言谠论，直为有唐一代名臣，岂在区区笔墨间以定其人品乎!”褚、赵同样是妍媚的书风，而政治品质却完全两样，所以钱泳认为区区书法作品不足以定其人品。吴德旋说：“张果亭，王觉斯人品颓丧，而作字居然有北宋大家之风，岂得以其人而废之!”(《初月楼随笔》)他不仅认为人品与书品不能相互感应，而且认为即使“人品颓丧”，只要书品高，仍然不可废，也根本用不着顾虑赏书者的人格被污染。这与郑杓“掩鼻过之”的态度相比，就客观多了。
傅山最执于“人品高书品自高”，因而痛诋赵孟頫、董其昌之书。他“一生重气节，以圣贤自许”(郭铉语)，人格为世所敬重。然而，以这样的人品去学书，我们从他自己所说的学书实践来看，却不能实现“人品高书品自高”。傅山刚刚在《作字示儿孙》诗中说了“作字先作人，人奇字自古，纲常叛周、礼，笔墨不可补”的话，却立刻又在自注此诗中说了这样的话：“贫道二十岁左右，于先世所传晋、唐法书无所不临，而不能略肖。偶得赵子昂、董香光诗墨迹，爱其圆转流丽，遂临之，不数过而遂欲乱真。此无他，即如学正人君子，只觉孤棱难近;降而与匪人游，神情不觉日亲日密，而无尔我者也。”圣人的品格难到，晋、唐之书的品格难学──两者都难，这是对的，但并不能说明“人奇字自古”。学人不足称的赵、董之书，“不数过而遂欲乱真”，如果“书为心画”是真理，岂不是证明傅山之心最容易与赵、董同流合污?学“正人君子”的晋、唐法书却“不能略肖”，如果“书如其人”没问题，岂不是又证明傅山并非“正人君子”?其实并不是傅山人品有问题，而是人书感应论不符合科学道理。学晋、唐之书难于学赵、董之书，并不是因为在人格方面晋、唐作者高于赵、董，也不是因为学书者人格有所不及，而是由于在书法品格上晋、唐之书高于赵、董，因而难度有不同，学习效果当然也就不一样。
观颜真卿之书“则刚毅雄特，体严法备，如忠臣义士，正式立朝，临大节不可夺也”，观蔡京、卞之书，则“使人掩鼻过之”、“宋之奸臣，书字如其为人”，这是观者事先了解作者的生平为人之后才对他们的书法作品产生这样的联想。观者要这样联想也是必然的，但不能信以为真。譬如：在一尊表情木然的塑像前面放着苹果，观者就会联想到塑像正想吃苹果;在塑像前面放着一张女人照片，观者就会联想到塑像正在思念他的爱人;在塑像前面放着一张军事地图，观者就会联想到塑像正在考虑作战计划。其实，塑像本身与苹果、女人照片、军事地图之间并无任何联系，他什么也没有想──是观者自己在联想。见到书法作品就联想到作者，想起作者就联想其为人，于是，观者就将自己对作者的好恶强加于书法作品之上，于是就产生了或敬仰、或“掩鼻”的联想效果。
如果书迹的书面语言内容有变化，观者就其书法形象而产生的联想也随之变化。若颜真卿议论朝纲之书，那么，“刚毅雄特”的颜体在观者心目中就“如忠臣义士，正式立朝”，有“临大节不夺”之气;若是颜真卿给子女的一封书信，那么，同样“刚毅雄特”的颜体在观者心目中就不是“正式立朝”，而是在自己家里正对子女作严格要求。此时的“刚毅雄特”在观者心目中就不是在帝王面前的“忠臣义士”，而是在子女面前的严父了。
如果作者的经历起变化，观赏效果也随之变化。某作者因贪污罪而入狱，于是：其书若柔，观者就说他软骨头，所以屈服于金钱;其书若刚，观者就说他狗胆包天，所以敢于伸出这双黑手。不久听说这是冤假错案，作者已平反出狱，于是：其书若柔，观者就说他是个本份人;其书若刚，观者就说他自有正气凛然。所以，以人论书，最好是等作者盖棺定论，以免自打嘴吧。然而，盖棺而不能定论的情况又不少，若是历史学家为作者翻了案，这种人书感应论又不灵了。况且人品的某些内容在不同的历史时期有不同标准：就政治品质来说，阻挡改朝换代的忠臣，对于比前朝贤明的帝王来说却是顽固不化;就道德品质来说，从前贞节牌坊比比皆是，现在却无处寻觅了。由于人品标准在变化，因此人书感应论也随之不灵了。
书法形象正如人的容貌仪表：一表堂堂，看起来是正面形象，然而却是流氓、扒手，劳改好几次了;貌不惊人，甚至很有些象舞台上的反面角色，然而却是当过好几届人民代表。将书法艺术形象的品格等同于作者真实的人格是要出问题的，现实生活中有许多可敬可爱的人，仅仅因为他们不善书，就根据“书如其人”的原理来怀疑他们的人品，惹得他们发怒了，他们是要找书论家算账的!书圣王羲之写了“天下第一行书”《兰亭序》，他的人品固然也高，但是谁也不会相信他就是“天下第一”的好人品。