Research Focus

  深度学习是机器学习的重要范式之一,其核心在于通过多个处理层组成的计算模型,学习具有多层次抽象的数据表示。这一思想可追溯至1943年McCulloch与Pitts提出的人工神经元模型,但真正推动深度学习走向实践的是反向传播(backpropagation)算法的广泛应用,以及2006年后Hinton等人对“深度”概念的重新定义。

  宽度学习的核心思想是横向扩展网络结构而非纵向加深:通过将输入数据映射为特征节点(feature nodes),再经非线性变换生成增强节点(enhancement nodes),然后将所有节点并联作为隐藏层,直接计算输出权重。这一设计源于随机向量函数链接神经网络(RVFLNN),但在此基础上引入了增量学习机制——当网络结构需要扩展时,仅需更新伪逆运算即可快速调整权重,无需重新训练整个网络

  深度/宽度学习系统的应用非常广泛,涵盖了计算机视觉、自然语言处理、语音识别、推荐系统和医疗保健等领域。在这些领域中,深度/宽度学习系统可以帮助人们更好地处理和分析大规模数据集,提高预测和决策的准确性和效率。

  研究方向包括:1、研究如何在宽度学习框架中引入层次化抽象能力,同时保持其解析求解与增量学习的优势。探索两种融合路径:一是将深度网络提取的高层特征作为宽度学习的输入节点;二是在宽度学习的增强节点生成过程中引入深度变换,构建“宽深并行”的双流结构。重点解决融合后的理论性质(如逼近能力、泛化界)与增量学习机制的适配问题。2、针对结构参数依赖人工设定的问题,研究基于贝叶斯优化、强化学习的自适应宽度学习方法,使网络能够根据数据复杂度自动确定特征节点与增强节点的数量与配置。探索将宽度学习与神经架构搜索相结合的可能性。


+

苏晓航
@Guangdong University of Technology
MOBILE Version