Bottleneck

关于 bottleneck 的几种含义

January 7, 2021
Bottleneck

机器学习的语境中，经常可以看到 Bottleneck 这个词，其含义差别较大，为了解决自己的困惑，本文整理了几种常见的含义。

  1. information bottleneck theory 由 Naftali Tishby 2000 年的论文 The information bottleneck method 中提出，后来试图解释深度学习的泛化性能。当然关于这个理论本身也有不少反驳意见。

  2. ResNet 中的结构名称，bottleneck design 2015 年底最新给出的，也是当年的 imagenet 比赛冠军。可以说是进一步将 conv 进行到底，其特殊之处在于设计了“bottleneck”形式的 block（有跨越几层的直连）

  3. bottleneck 是我们经常用于描述网络最后一层之前的那些实际完成分类任务的网络层的一种非正式称谓 http://shartoo.github.io/tensorflow-retainmodel/

  4. MLP 中一类隐层 源于1994年的《CONNECTIONIST SPEECH RECOGNITION A Hybrid Approach》，里面首先提出到 BN 层应该要同时比input&output结点数都要少的概念。参考 https://www.zhihu.com/question/51793452