基于交互感知注意力机制神经网络的行为分类技术

Submitted by huzhenda on Sat, 08/04/2018 - 16:19

以往注意机制模型通过加权所有局部特征计算和提取关键特征,忽略了各局部特征间的强相关性,特征间存在较强的信息冗余。为解决此问题,来自美图云视觉技术部门和中科院自动化所的研发人员借鉴 PCA(主成分分析)思想,提出了一种引入局部特征交互感知的自注意机制模型,并将模型嵌入到 CNN 网络中,提出一个端到端的网络结构。该算法在多个学术数据集和美图公司内部工业界视频数据集上的行为分类表现都非常出色。基于该算法思想的相关论文「Interaction-aware Spatio-temporal Pyramid Attention Networks for Action Classification」已被 ECCV2018 收录,下文将从背景、核心思想、效果和应用前景几个方面进行介绍。

一、背景

深度卷积神经网络中,特征图里相邻空间位置的局部通道特征,往往由于它们的感受野重叠而具有很高的相关性。自注意机制模型通常利用每个局部特征内部元素的加权和(或其他函数)来获得其权重得分,此权重用于加权所有局部特征获取关键特征。尽管局部特征之间具有很高的相关性,但此权重计算并没有考虑到它们之间的相互作用。

从几篇顶会论文看「知识图谱」领域最新研究进展 | 解读 & 代码

Submitted by huzhenda on Sat, 08/04/2018 - 15:07

ISWC 2018

14.1

■ 链接 | http://www.paperweekly.site/papers/1912

■ 源码 | https://github.com/quyingqi/kbqa-ar-smcnn

■ 解读 | 吴桐桐,东南大学博士生,研究方向为自然语言问答

概述

随着近年来知识库的快速发展,基于知识库的问答系统(KBQA )吸引了业界的广泛关注。该类问答系统秉承先编码再比较的设计思路,即先将问题和知识库中的三元组联合编码至统一的向量空间,然后在该向量空间内做问题和候选答案间的相似度计算。该类方法简单有效,可操作性比较强,然而忽视了很多自然语言词面的原始信息。

理解过拟合

Submitted by huzhenda on Sat, 08/04/2018 - 11:07

导言

在进行有监督的机器学习建模时,一般假设数据独立同分布(i.i.d,independently and identically distributed)。即样本数据根据通过一个概率分布采样得到,而且这些样本相互之间独立。我们使用历史数据集去训练模型,使得损失函数最小化,然后用训练得到的模型去预测未知数据。如果一味追求让损失函数达到最小,模型就会面临过拟合问题,导致预测未知数据的效果变差。如何判断自己的模型是否训练正常?怎么解决过拟合问题?

小明的故事

小明是个机器学习爱好者,他很喜欢吃蛋糕。有一天他突然想到:能不能用蛋糕的直径来预测蛋糕的价格。于是他定了各种不同尺寸的蛋糕,然后把尺寸和价格的数据记录起来,接着使用回归函数来拟合这些训练数据。小明决定使用四次多项式:

13.1

和均方差损失函数:

图神经网络+池化模块,斯坦福等提出层级图表征学习

Submitted by huzhenda on Sat, 07/28/2018 - 16:23

图网络(GN)在深度学习短板即因果推理上拥有巨大潜力,很有可能成为机器学习领域的下一个增长点,而图神经网络(GNN)正属于图网络的子集。GNN 近期在图形分类任务上得到了当前最佳的结果,但其存在平面化的局限,因而不能将图形分层表征。现实应用中,很多图形信息都是层级表征的,例如地图、概念图、流程图等,捕获层级信息将能更加完整高效地表征图形,应用价值很高。在本文中,来自斯坦福等大学的研究者通过在 GNN 中结合一种类似 CNN 中空间池化的操作——可微池化,实现了图形的分层表征。该方法在大部分图形分类基准上都取得了当前最佳的表现,并在较简单的约束下就能自动捕获层级结构。

近年来人们开发图形神经网络的兴趣持续激增。图形神经网络即可以在如社交网络数据 [16,21,36] 或基于图形的分子表征 [7,11,15] 的图形结构数据上运行的一般的深度学习架构。GNN 一般是将底层图形作为计算图,通过在图上传递、转换和聚合节点特征信息学习神经网络基元以生成单个节点嵌入。生成的节点嵌入可以作为输入,用于如节点分类或连接预测的任何可微预测层,完整的模型可以通过端到端的方式训练。

为什么机器学习在投资领域不好使

Submitted by huzhenda on Sat, 07/28/2018 - 14:23

题记

最近,一条新闻引爆了投资圈:世界上最大的投资管理公司贝莱德(BlackRock)宣布将使用机器(确切的说是人工智能 artificial intelligence 或机器学习算法 machine learning algorithm)来取代一些基金经理进行选股。近年来,随着其在人脸识别,信用反欺诈乃至国际象棋和围棋领域的应用和杰出表现,人工智能被越来越多的人所熟悉。很多人开始看好在不久的将来机器学习算法在二级市场投资上将会比人取得更加优异的成绩。而贝莱德的这一宣布无疑将人工智能又一次推上了风口浪尖。这其中最根本的观点是:

机器学习通过可以使用复杂的各种非线性算法(比如神经网络、决策树、遗传算法)来从大量的历史交易数据中挖掘出人类无法看到的投资模式。根据这些模式来选股就可以取得丰厚收益。

Python数据分析之pandas

Submitted by huzhenda on Sat, 07/28/2018 - 11:09

Pandas

WHAT?

Pandas是基于Numpy构建的库,在数据处理方面可以把它理解为numpy加强版,同时Pandas也是一项开源项目:Github 。不同于numpy的是,pandas拥有种数据结构:SeriesDataFrame: 

10.1

下面我们就来生成一个简单的series对象来方便理解: 

Tags

提高NLP语义解析准确度:融合SQL语法的生成式语义解析模型

Submitted by huzhenda on Sat, 07/21/2018 - 15:25

无论是在日常生活还是工作中,人们都越来越多地使用自然语言来与计算机进行交互。例如,使用自然语音交互方式让虚拟语音助手(如Cortana、Siri、Google Assistant、Amazon Alexa等)查询天气、预定日程、拨打电话等;用户在搜索引擎中用自然语言输入查询内容,得到精准的答案;员工使用自然语言与结构化的企业数据库交互,完成查询操作。

在上述的应用场景中,输入的是用户的自然语言(natural language),而输出的是机器可以理解并执行的规范语义表示(formal meaning representation),该表示可以在某个环境中被执行并返回结果。

如何将知识图谱特征学习应用到推荐系统?

Submitted by huzhenda on Sat, 07/21/2018 - 13:59

将知识图谱作为辅助信息引入到推荐系统中可以有效地解决传统推荐系统存在的稀疏性和冷启动问题,近几年有很多研究人员在做相关的工作。目前,将知识图谱特征学习应用到推荐系统中主要通过三种方式——依次学习、联合学习、以及交替学习

AI与理性投资——基于金融知识图谱的智能问答

Submitted by huzhenda on Sat, 07/21/2018 - 10:49

国内的股票市场,一般认为是更加倾向于主题投资而不是基本面、价值投资的市场,原因之一是散户贡献了大部分成交量。与此同时,监管机构一再教育广大投资者要理性投资、价值投资,在2017年全国证券期货监管工作会议上,证监会主席刘士余也批判了题材炒作,鼓励理性投资、价值投资。

理性一直是人类探讨的一个永恒话题。本文并不打算就这一话题展开讨论,这里只描述下相关假设。本文所描述理性是按诺贝尔经济学奖,图灵奖获得者郝伯特·西蒙的不确定性环境下决策理论中的定义:理性应当是有限的理性,而不是完全理性;应当是过程合理性,而不是本质合理性。过程理性决策步骤可以参考文章[1][3]中描述。其实不论价值投资还是主题投资其实都可以理性投资。

在这个信息爆炸的时代,如《信号与噪声》[2]书中描述在大数据时代信息量呈指数增长。大多数数据都只是噪声,人们很难从干扰他们的噪声中分辨出有用的信号。数据展示给我们的通常都是我们想要的结果,而且我们通常也默认这种皆大欢喜的结果。作者纳特•西尔弗还引用莎士比亚剧作中的话“人们照着自己的意思解释一切事物的原因,实际上却和这些事物本身的目的完全相反”。在国内证券市场也是如此,更有甚者,有些专业的市场参与者还利用这点进行炒作。

简述脉冲神经网络SNN:下一代神经网络

Submitted by huzhenda on Sun, 07/15/2018 - 15:19

脉冲神经网络(SNN)属于第三代神经网络模型,实现了更高级的生物神经模拟水平。除了神经元和突触状态之外,SNN 还将时间概念纳入了其操作之中。本文将简要介绍这种神秘的神经网络形式。

所有对目前机器学习有所了解的人都听说过这样一个事实:目前的人工神经网络是第二代神经网络。它们通常是全连接的,接收连续的值,输出连续的值。尽管当代神经网络已经让我们在很多领域中实现了突破,但它们在生物学上是不精确的,其实并不能模仿生物大脑神经元的运作机制。