旷视科技提出ExFuse——优化解决语义分割特征融合问题

Submitted by huzhenda on Sat, 09/08/2018 - 11:38

导语

计算机视觉领域有着三项最为基本的任务——分类,检测和分割,其中分割是指从像素层面识别出一张图像上所有物体的位置和分类,使得机器之眼对一张图像达到精确和充分的感知,这也是后续图像认知技术的重要一环。分割分为语义分割、实例分割和全景分割,其中语义分割最为基础,它为图像之中的每个像素做分类,而不涉及实例或背景的区分。

本文发现,当前语义分割方法直接融合高、低特征并不奏效,继而提出新架构 ExFuse,转而在低级特征引入语义信息,在高级特征嵌入空间信息,其性能超越 DeepLabv3,在 PASCAL VOC 2012 分割任务中夺得当前最优。

这一底层突破将在分割技术的适用领域带来新进展,比如自动驾驶,无人机,仓储机器人,医疗影像,无人超市、地理信息系统等。比如,旷视科技基于这一自身原创技术,进一步提升和完善了手机影像产品线,在人体扣像、手机打光、背景虚化等具体应用中不断提升用户体验,这也恰恰是旷视科技一直践行人工智能驱动的行业物联网构建者(AI+IoT)战略定位的证明。

FAIR提出用聚类方法结合卷积网络,实现无监督端到端图像分类

Submitted by huzhenda on Sun, 08/26/2018 - 16:30

聚类是一种在计算机视觉被广泛应用和研究的无监督学习方法,但几乎未在大规模数据集上的视觉特征端到端训练中被采用过。在本文中,Facebook AI 研究院提出了深度聚类(DeepCluster),一种联合学习神经网络参数和获取特征的聚类分配的聚类方法。在 ImageNet 和 YFCC100M 等典型规模数据集上的卷积神经网络的无监督训练的实验结果表明,该方法在所有基准性能中都远远优于目前的技术。

推荐系统特征构建新进展:极深因子分解机模型 | KDD 2018

Submitted by huzhenda on Sun, 08/26/2018 - 15:02

特征(features)的构建对推荐系统来说至关重要,直接关系到推荐系统的精准性。在传统的推荐系统中,高阶交叉特征通常由工程师手工提取,不仅人力成本高昂、维度空间极大,而且不可泛化。因此自动学习特征的交互是十分有必要的 ,但目前已有的相关工作学习的是隐式的交互特征,且特征交互发生在元素级(bit-wise)而非向量级。为此,微软亚洲研究院社会计算组在KDD 2018上提出一个新的模型——极深因子分解机(xDeepFM)。

近年来,随着深度学习技术在语音识别、计算机视觉和自然语言理解等领域取得巨大成功,越来越多的学者们也在着手研究基于深度学习技术的推荐系统对于搭建精准的推荐系统而言,特征(features)是至关重要的。从特征构建的层面而言,现阶段深度学习技术在推荐系统中的应用可以大致分为两类:

(1)从原始数据中自动学习出蕴含语义的隐特征,例如从本文、图像或者知识网络中提取出有效的隐特征;

(2)自动学习多个相关特征之间的交互关系。

Senta:基于语义和大数据的百度情感分类

Submitted by huzhenda on Sun, 08/26/2018 - 11:04

文本情感分析(简称情感分析)旨在识别和提取文本中的倾向、立场、评价、观点等主观信息。具体的说,情感分析主要包括两类任务:情感倾向分类(简称情感分类)和观点抽取。情感分析是人工智能的重要研究方向,具有很高的学术价值。同时,情感分析在消费决策、舆情分析、个性化推荐等领域均有重要的应用,具有很高的商业价值。

百度在情感分析领域开展了深入的技术研发和应用实践。此前,我们已经在百度AI开放平台开放了观点抽取和情感分类服务。近期,我们还通过Github开放了情感分类开源项目Senta。Senta项目包含了基于语义的情感分类模型,还包含了基于大数据训练好的模型。为此,本文将对百度的情感分类进行介绍。

一文读懂如何用深度学习实现网络安全

Submitted by huzhenda on Sun, 08/19/2018 - 16:25

本文简要介绍深度学习以及它支持的一些现有信息安全应用,并提出一个基于深度学习的TOR流量检测方案。

简介

我们看到的大多数深度学习应用程序通常面向市场、销售、金融等领域,但在使用深度学习来保护这些领域的产品和业务、避免恶意软件和黑客攻击方面,则鲜有文章或资源。

像谷歌、脸谱、微软和SalesForce这样的大型科技公司已经将深度学习嵌入他们的产品之中,但网络安全行业仍在迎头赶上。这是一个具有挑战性的领域,需要我们全力关注。

21.1

本文中,我们简要介绍深度学习(Deep Learning,DL)以及它支持的一些现有信息安全(此处称为InfoSec)应用。然后,我们深入研究匿名TOR流量检测这个有趣的问题,并提出一个基于深度学习的TOR流量检测方案。

如何匹配两段文本的语义?

Submitted by huzhenda on Sun, 08/19/2018 - 14:13

本文基于理论分析与前人的实验结果来简要叙述了paraphrase任务和QA匹配任务的模型设计的相同与差异之处。

本文由来

笔者一年前在知乎上关注过这么一个问题:
如何判断两段文本说的是「同一件事情」? - 知乎 https://www.zhihu.com/question/56751077

如果是document level的判断,那么信息检索中的shingling算法是一个简单有效的解决方案。不过看了一下问题描述,应该是特指sentence level,所以这个问题应该是属于sentence level paraphrase任务。

近期小夕的研究中也顺带研究了一下相关任务,发现这个问题并不是如最高票所言的将QA匹配模型直接搬到这个问题里就万事大吉了。其实在理论层面上这种做法已经很不合适了,里面有很多坑要填,所以本文就试图纠正一下这个问题的导向吧。

基于目标依赖财经文档表示学习的累积超额收益预测

Submitted by huzhenda on Sun, 08/19/2018 - 10:15

本文介绍哈尔滨工业大学社会计算与信息检索研究中( SCIR)录于COLING 2018的论文《 Learning Target-Specific Representations of Financial News Documents For Cumulative Abnormal Return Prediction》中的工作。本文提出了一种新的目标依赖的新闻文档表示模型。该模型使用目标敏感新闻摘要的表示来衡量新闻中句子的重要性,从而选择和组合最有意义的句子来进行建模。在累积超额收益上的预测结果表明,相比于摘要和标题,基于文档表示的方法更有效。同时,相对于句子级的方法,我们的模型能更好地组合来自多个文档源的信息。

论文作者:段俊文,张岳,丁效,Ching-Yun Chang,刘挺

如何使用嵌套交叉验证方法处理时序数据

Submitted by huzhenda on Fri, 08/10/2018 - 22:29

本文讨论了对时序数据使用传统交叉验证的一些缺陷。具体来说,我们解决了以下问题:

1)在不造成数据泄露的情况下,对时序数据进行分割;2)在独立测试集上使用嵌套交叉验证得到误差的无偏估计;3)对包含多个时序的数据集进行交叉验证。

本文主要针对缺乏如何对包含多个时间序列的数据使用交叉验证的在线信息。

本文有助于任何拥有时间序列数据,尤其是多个独立的时间序列数据的人。这些方法是在医疗研究中被设计用于处理来自多个参与人员的医疗时序数据的。

交叉验证

交叉验证(CV)是一项很流行的技术,用于调节超参数,是一种具备鲁棒性的模型性能评价技术。两种最常见的交叉验证方式分别是 k 折交叉验证和 hold-out 交叉验证。

由于文献中术语的不同,本文中我们将明确定义交叉验证步骤。首先,将数据集分割为两个子集:训练集和测试集。如果有需要被调整的参数,我们将训练集分为训练子集和验证集。模型在训练子集上进行训练,在验证集上将误差最小化的参数将最终被选择。最后,模型使用所选的参数在整个训练集上进行训练,并且记录测试集上的误差。

理解随机森林

Submitted by huzhenda on Fri, 08/10/2018 - 20:46

今天的文章中我们将为大家介绍另外一种集成学习算法-随机森林。随机森林由多棵决策树组成,采用多棵决策树联合进行预测可以有效提高模型的精度。这些决策树用对训练样本集随机抽样构造出的样本集训练得到。由于训练样本集由随机抽样构造,因此称为随机森林。随机森林不仅对训练样本进行抽样,还对特征向量的分量随机抽样,在训练决策树时,每次寻找最佳分裂时只使用一部分抽样的特征分量作为候选特征进行分裂。

集成学习

集成学习(ensemble learning)是机器学习中的一种思想,而不是指某一具体算法,它通过多个模型的组合形成一个精度更高的模型,参与组合的模型称为弱学习器(weak learner)。在预测时使用这些弱学习器模型联合进行预测;训练时需要用训练样本集依次训练出这些弱学习器。这种集体决策的例子在我们的日常生活中经常会见到,如医生集体会诊,如果对某一病人的情况拿不定主意,可以让多位医生一起来诊断,用他们各自的诊断结果进行投票,得到最终的诊断结果。因此,集成学习是一种非常符合人类思维习惯的方法。

基于强化学习的中文零指代消解模型

Submitted by huzhenda on Fri, 08/10/2018 - 19:39

1 前言

中文的零指代,作为指代现象中的一种,能够更好地帮助机器理解自然语言。随着计算机技术和互联网的迅速发展,社会的信息化程度已经发展到一个全新的阶段,信息的传递与交流已成为现代社会生活运作的重要基础,各种信息呈爆炸式增长。人们在享受海量信息提供便利的同时,也面临着如何从浩如烟海的信息中找到自己所需内容的困境。一些集成了自然语言处理成果的技术,如信息检索(Information Retrieval)、信息抽取(Information Extraction)、问答(Question Answering)、自动文摘(Automatic Summarization)和机器翻译(Machine Translation)等系统,能够帮助用户更为方便快捷准确地获得自己所需的内容。在这些系统中,自然语言都扮演着很重要的角色。比如在问答系统中,用户的问题都是通过自然语言的形式提出的,而如何能够让机器正确有效地理解这些问题就成了重中之重。