智能家居

火眼金睛!MIT推出新闻鉴别AI系统:既可识别假新闻 偏见识别度也超过65%

18年10月10日     前瞻网

[导读]近日,麻省理工学院计算机科学与人工智能实验室(CSAIL)和卡塔尔计算研究所的研究人员推出了一套鉴别假新闻的全新AI解决方案。

该方案在本月的2018年自然语言处理经验方法(EMNLP)会议上提交的一项研究中进行展示,他们描述了一种人工智能AI)系统,可以确定新闻报道来源是准确的还是带有政治偏见的。

研究人员用它来创建一个包含1000多个新闻来源的开源数据集,其中注释了“事实性”和“偏见”的分数。他们声称这是同类中最大的数据库。

虚假消息继续令人头疼。今年3月,有一半的美国人称在新闻网站上浏览了故意误导性的文章。最近爱德曼(Edelman)调查的大多数受访者表示,他们无法判断媒体报道的真实性。鉴于假新闻的传播速度比真实新闻快,因此十分之七的人担心它可能会被用作“武器”,这并不奇怪。

2

人工智能系统的新颖之处在于对其评估的媒介的广泛语境理解,没有单独从新闻文章中提取特征值(机器学习模型所训练的变量),而是在确定可信度时考虑维基百科、社交媒体,甚至URL和网络流量数据的结构。

它建立在支持向量机(SVM)上,后者是一种常用于分类和回归分析的监督系统,经过培训就可以进行评估。真实性分为:低、中、高;政治倾向分为:极左、左、中偏左、中偏右、右、极右。

根据团队的说法,系统只需要150篇文章来确定是否可以可靠地信任某一来源。它在检测新闻来源是否具有高、低或中等水平的“事实性”时准确率可达到65%,并且在检测新闻来源是左倾,右倾还是中等时准确率为70%。

3

上图:显示研究人员数据库中新闻来源的实际情况VS偏见的图表

在上图显示的文章中,AI系统对文章的文案和标题进行了六个维度的测试,不仅分析了结构、情绪、参与度(在本例中,分析了股票数量、反应和Facebook上的评论),还有主题、复杂性、偏见和道德观念(基于道德基础理论,一种旨在解释人类道德推理的起源和变异的社会心理学理论)。它计算每个要素的得分,然后在一组文章中计算出平均得分。

维基百科和Twitter也加入了系统的预测模型。正如研究人员指出的那样,缺少维基百科页面可能表明网站不可信,或者页面可能会提到有问题的来源是讽刺性的或明确的左倾。此外,他们指出,没有经过验证的Twitter帐户的出版物,或者使用新创建的没有明确标注的账户发布的消息,不太可能是公正的。

模型考虑的最后两个向量是URL结构和Web流量。它会检测试图模仿可靠新闻来源(例如“foxnews.co.cc”而不是“foxnews.com”)的网址,并考虑网站的Alexa排名,即根据收到的整体综合浏览量计算得出的指标。

该团队对来自Media Bias/Fact Check(MBFC)的1,066个新闻来源进行了系统培训,这是一个人工事实检查员的网站,他们手动注释具有准确性和偏见数据的网站。为了生成上述数据库,研究人员在每个网站上发布了10-100篇文章(总计94,814篇)。

正如研究人员在其报告中详细详述的那样,并非每个特征都是事实性和/或偏见的有用预测指标。例如,一些没有维基百科页面或已建立的Twitter个人资料的网站是公正的,而Alexa中排名很高的新闻来源并不总是“一边倒”地比那些流量较少的新闻源更具偏见或更实际。

然后就出现了一个有趣的模式:来自虚假新闻网站的文章更可能使用双曲和情感语言,而左倾网点更可能提到公平和互惠。同时,具有较长维基百科页面的出版物通常更可靠,具有包含最少数量的特殊字符和复杂子目录的URL的出版物也是如此。

在未来,该团队打算探索该系统是否可以适应其他语言(它是专门针对英语进行培训),以及是否可以训练它来检测特定区域的偏差。他们计划推出一款应用程序,该应用程序将通过“跨越政治范畴”的文章自动回应新闻。

“如果一个网站之前发布了假新闻,他们很有可能会再次发布,”该报的第一作者,博士后助理拉米·巴利(Ramy Baly)说。 “通过自动搜索有关这些网站的数据,我们希望我们的系统可以帮助确定哪些网站可能首先做到这一点。”

当然,他们并不是唯一试图用AI来对抗假新闻传播的机构。

总部位于德里的创业公司MetaFact利用自然语言处理算法(NLP)来标记新闻报道和社交媒体帖子中的错误信息和偏见。 AdVerify.ai是去年推出测试版的软件即服务平台,可以分析错误信息、恶意软件和其他有问题的内容,并可以交叉引用一个定期更新的数据库,其中包含数千条虚假或合法的新闻。

就其本身而言,Facebook已尝试部署“识别账户和虚假新闻”的人工智能工具,并最近收购了总部位于伦敦的创业公司Bloomsbury AI,以帮助其打击误导性报道。

假新闻会被消除吗?一些专家不相信AI能胜任这项任务。负责组织假冒新闻挑战赛的卡内基梅隆大学机器人研究所科学家迪恩·波默洛(Dean Pomerleau)在接受采访时表示,人工智能缺乏对不正当和虚假陈述所必需的语言的细致理解。

“我们实际上是从一个更雄心勃勃的目标开始,创建一个可以回答这个问题的系统来解决‘这是假新闻,是或否?’的问题”他说。 “但我们很快意识到机器学习不能胜任这项任务。”

人类的事实检查者不一定更好。今年,谷歌暂停了事实检查,这是一个标签,会出现在谷歌新闻的文章报道旁边,“包括由新闻出版商和事实检查机构检查的信息”,此前,保守派出版商们曾纷纷指责这一设置对他们表现出偏见。

无论最终解决方案是什么——无论是人工智能还是人工管理,或是两者兼而有之——都无法提供足够快的速度。Gartner预测,到2022年,如果目前的趋势持续下去,发达国家的大多数人会看到更多的错误而不是真实的信息。

 

声明:凡注明为其它来源的信息均转自其它平台,目的在于传递更多信息,并不代表本站观点及立场和对其真实性负责。若有侵权或异议请联系我们删除。

千家智客微信公众号

扫描下方二维码,关注千家智客微信公众号(qianjiacom),随时随地知晓智能行业天下事!

编辑:J

相关推荐

100/100字符

全部评论(0)

集成商优选APP

集成商优选

千家智客客户端 集成商优选

帮助你选择更加靠谱的集成商!

相关资讯