用事实说话,坦然面对争议
就在《中国商界精英名望报告》问世、同时也是《名牌》10刊的出刊前夕,朱磊依然在紧锣密鼓地和课题组人员,就此份报告的细节进行反复修订。即使小到“分布图”一个坐标轴原点的调整,也要多次推敲。用朱磊的话说,还报告以最大的真实,是学术派的最高理想。
这显然是一次比以往经验难度更高、跨越更大的合作,统计结果的反常和反弹,甚至让朱磊一度困惑,学术探索在现实面前该何去何从。不过,朱磊和他的团队有自己的坚持:多元是社会的本来面目,学者的作用就是寻找最适合语言去阐释。
朱磊和他的团队,对后续系列报告的合作充满了期待:共识已达成,技术会愈发成熟。即使公众会对有合理争议,用事实说话,“我们已经做好足够的准备。”
完完全全“从数据到结论”
记者:做商界精英名望报告时,项目组遇到的最大的挑战是什么?
朱磊:商界精英名望报告本身具有填补空白的意义,研究范本缺失,这对于我们团队而言具有一定挑战。做第一版报告时,我们努力不事先了解研究对象,保持“一无所知”的状态,不干预任何执行过程,完完全全“从数据到结论”。当时的权重是名望1:1分配,但结果和业界感受差别显著。不过,我们没有一味服从业界要求,而是坚持只能“从数据到结论”,不对数据做人为调整,但详细解释数据是怎么来的,在定义上不断修正。我们来回开了大概有十次会,很高兴在沟通过程中,我们的想法被聆听和尊重,《名牌》也接受了我们放弃“调研”而专注网络文本样本分析的建议。从一开始“望”指数结果完全出乎意料,到把望从单纯的情感判断等比例到作为基于名基础上的一个判断,最终,达成双方的共识。
记者:“名望报告”的概念是第一次提出,是否担心问世后出现争议?
朱磊:此次学术和业界“联姻”在一定程度上实现了双赢,一方面,学术界能够将科学的研究方法和严谨的研究思路运用于名望研究之中。另一方面,业界在项目策划和运营上具有丰富的经验,能够将研究成果推而广之形成广泛的社会影响。我们和《名牌》达成了共识后,报告问世,即将面临与公众的磨合。公众肯定会有质疑,没关系,我们本着开放的态度请他过来聊,聊透了,自然就会彼此理解。未来,我们还将把其中的部分资料开放,邀请公众自由评价我们的系统。作为“以认知情感二维指标作为重要判断依据”的大型报告,商界精英名望报告确确实实是国内第一个。
“褒贬判定准确率为79%”
记者:名望系统的褒贬义词库是谁开发的,在行业里处于何种水平?
朱磊:名望系统,是暨南大学舆情研究中心和万舆科技共同开发的文本分析系统。该系统在国内现有分词系统的基础上,利用多种公认的权威词库对词的褒贬义进行重新定义。
记者:此套词库的判断程序如何执行,误差严重吗?
朱磊:系统将文本进行结构化分析,将分析结果放入比较词库进行比对,形成相对应的正负面评价,从而实现对全文本的综合判定。误差肯定存在,例如,李开复指责过《职来职往》、《非你莫属》等节目,他本身并不是主角,但总会被卷入负面新闻,导致综合评价偏低。但经初步测试,名望系统对新闻文本的褒贬判定准确率为79%,错误判定率为11%,从使用经验看,准确率要高于我们所有了解的国内几款主流的褒贬判定系统。
记者:如何规避这类语意判断的误差呢?
朱磊:百分百规避不现实,但在执行过程中,我们会复查“负面”文章,对文本的分析方式进行不断优化。其中有个有趣的现象,就是新闻编辑倾向“标题党”,读者又喜欢“浅阅读”,造成只看标题不看内容,评论骂声一片的结果。依据于此,我们将系统设计为更接近于模拟人类阅读和情感判别的习惯的方式进行文本分析。但总体而言,褒贬义词库只能无限接近人工情感判断,无法完全等同。
“真正的名望俱佳太理想化了”
记者:在统计结果中,最让您意外的现象是什么?
朱磊:最大的困惑,是研究对象的名望得分呈负相关关系,和我们认为的常理相悖。但中国社会生态,小到单位和家庭,大到社会国家,不都是这样吗?印证了一句古话:枪打出头鸟,真正的名望俱佳太理想化了。名人往往容易引发“围观效应”,好事不出门坏事传千里,而网络“负面”新闻数量和比例,又是评价望指数得分的重要指标,所以,“名望不可兼得”的结果自然产生。如狄更斯所言,“这是最好的也是最坏的时代”,对人的评价只要换个角度轻易就能颠覆。“聪明”可以说成“狡猾”,“名望高”可以说成“笼络人心”,褒贬仅是一瞬间的事。
记者:针对这个现象,研究组做了哪些统计学上的修正,使结果更接近客观和平衡?
朱磊:我们主要通过系数修正进行调整。系数修正,不是修改数据,而是修改观念和定义。原先,我们定义名和望是成正比的,现在,我们定义名是“绝对认知程度”,望是名之上的“提升”。因此,名是望的基础,首先要达到一定的名才谈望。这种修正调整是微调,而不是颠覆。其次,望里面包含“非争议性”,我们定义理想的望是“众望所归无异议”。因此,我们提出“非争议性系数”作参考指标,使综合分析结果尽可能地接近客观。
“要保证我们有自己的说法和判断力”
记者:《名牌》下期要做“学界精英名望报告”,在技术层面上,研究组有没有现阶段未成形,但下次报告试图呈现的新构想?
朱磊:别看学界、商界只差一字,但使用的方法区别很大。首先要界定什么是学问、知识分子和学界本身。学者分为两类,一种是“一”字型样样都通,一种是“I”字型专注一处,后者的曝光率肯定很低。因为曝光量悬殊,我们考虑把“望”指标相对减弱,把论文引用率等纳入新指标。同时还须留意,名望报告不是单纯的学术报告,“知识的深度”和“知识在一定范围内的传播程度”要同时进行综合考量。因此,虽然这次商界报告是完全独立的,但学界,我们考虑把全球经济学人排名等指标都能拿来作借鉴。
记者:对于接下来各类品牌名望报告,研究组又有哪些构想?
朱磊:品牌和人物区别就更大了,不管做什么报告,想要客观公正,指标就要越细、越多。做品牌,对指标的定义和关注的点都要做很大调整,并且针对这次的不足,在技术上也要做出改进。总之,要将争议性降到最低。我们也考虑把别的同类报告作为参考指标融进去,使结果更中庸。归根到底,我们要保证我们有自己的说法和判断力,力求学术严谨。
朱磊,暨南大学舆情研究中心主任、中国名望指数研究中心执行主任,传播学博士,研究方向为品牌传播和舆情研究;多年来深度介入社会调查行业,拥有丰富的咨询调查实战经验;专著《中国的广告传统》等。