随着深度学习的最近发展，手写文字识别任务对一些主要语言来说已经不是难事。 但是，对于训练样本少的非主流语言来说，这仍然是一个挑战性的问题。 为此，本文提出了一种新的模型TextCaps，各类仅200个训练样本就能达到与目前最佳水平相媲美的结果。 随着深度学习模型的近期发展，对于许多主要语言来说，手写字符识别已经是一个解决的问题。 但是，在其他语言中，由于缺乏足够大小的注释数据集来训练深度学习模型，这仍然是一个非常困难的问题。
CNN可以很好地理解图像中的低级和高级特征，但这将在池化层失去有价值的信息。 在CNN的训练中，为了成功地对图像进行分类，需要大量的训练样本。 一般来说，每个类需要几千或几万个样本。 因此，我对用少量训练样本成功训练的CNN感兴趣。
本文提出了利用胶囊网络Capsule Networks，capsnets][4]解决注释数据集过小问题的技术。 我们只需要操作实例化参数[5]，就利用了CapsNet增强数据的能力。 在本论文的例子中，CapsNet不仅学习了文字图像，还学习了其属性。 这样，CapsNet就可以活跃在标记数据少的文字识别问题上了。
本文的结构以Sabour等人提出的CapsNet结构[4]为基础，该结构由封装网络和全连接解码器网络构成。 研究人员使用解卷积网络(deconvolutional network )代替解码器网络，并对封装网络进行了一些改变。
通过在表示实体属性的实例化参数中加入可控的噪声，研究者将实体转换以表现现实中发生的实际变化。 这样就产生了一种新的数据生成技术，能够生成比基于仿射变换生成的扩展数据更真实的数据。
由于重建精度在很多情况下很重要，研究者根据经验提出了合适的策略，并将该策略与明显提高重建性能的损失函数相结合。 这个系统在每个样本只有200个据点的情况下，得到了和现在最好的结果相同的结果。 使用更多的训练数据会得到更好的结果。
本文的主要贡献如下
在所有可用的培训样本中对该系统进行培训后，在EMNIST-letters、EMNIST-balanced和EMNIST-digits字符数据集上获得的结果优于当前最佳结果； 研究人员还用非字符数据集Fashion-MNIST对该体系结构进行了评估，以确保模型的灵活性和鲁棒性。 他们用200个训练样本取得了非常好的结果，用完整的数据集得到了目前最好的结果； 研究人员提出了用少量训练样本(每种200个数据)训练胶囊网络的新技术，用相同数量的测试样本实现了目前的最佳性能。 与目前最好的系统相比，我们的模型用10%的数据可以得到同样的结果； 研究人员还提出并评价了解码器网络的几种变体，利用不同的损耗函数分析了解码器网络的性能，提供了将损耗函数进行组合的合适策略。
论文：文本大写字母： handwrittencharacterrecognitionwithverysmalldatasets
论文地址： https://arxiv.org/pdf/1904.08095.pdf
摘要：虽然文字识别系统进步很快，但由于缺乏有标记的培训数据，许多本地化语言无法从中受益。 这是因为，用这样的语言很难得到大量的标记数据，用深度学习无法用少量的训练样本正确学习。
为了解决这个问题，我们引入了从现有样本生成新训练样本的技术。 通过在适当的实例化参数中添加随机可控的噪声，这项新技术可以生成逼真的强调数据，这些强调数据反映了人类实际手写文字时出现的变化。
只对各级200个培训样本的数据进行了培训，结果超过了基于EMNIST-letter数据集得到的现有字符识别的结果，包括EMNIST-balanced、EMNIST-digits、MN
还开发了通过损失函数组合有效改善重构能力的战略。 我们的系统在没有大量标记培训数据的本地化语言的文字识别任务中很有用，包括其他相关的常用内容(
目标识别）上也是如此。用胶囊网络进行字符识别
我们提出了一种由胶囊网络和解码器网络组成且针对字符识别任务的架构，如图 1 和图 2 所示。
图 1：TextCap 模型：用于字符分类的 CapsNet 模型。
图 2：TextCap 解码器
图 2：TextCap 解码器：用于字符重建的解码器网络。通过屏蔽 TextCap 分类器的 DigitCaps 层来获得网络的输入。
基于实例化参数扰动的图像数据生成技术
用预训练的解码器网络，我们可以只用实例化参数向量成功重建原始图像。该扰动算法背后的原理是，通过在实例化向量值中添加可控的随机噪声，我们可以创建和原始图像迥然不同的新图像，从而有效扩大训练数据集。
图 3 展示了改变一个特定实例化参数后产生的图像变体。
图 3：扰动实例化参数后产生的字符变体。
类似地，每一个实例化参数都分别或共同负责图像的某个特定属性。因此，我们提出了一种新技术，它可以根据训练样本有限的数据集产生新数据集，如图 4 所示。
图 4：提升解码器性能的整体方法。
实验和结果
我们从表 1 中每个数据集的训练集中选取了 200 个训练样本来训练 TextCaps，并用每个数据集的完整测试集进行测试。为了测试 TextCaps 架构的性能，我们还用完整的训练集训练了模型，并用完整的测试集进行测试。
表 1：用于评估 TextCaps 的五个数据集。
表 2：TextCaps 和当前最佳结果的比较，表中展示了 3 次试验的平均值和标准差。
表 3：使用不同的损失函数组合时产生的每个重建结果的 PSNR 值。
我们在这里用了两个解码器网络模型，每个解码器都有一个损失函数。对每一个损失函数组合来说，第一行的 PSNR 值对应第一个重建损失函数（用在第一个解码器中），第二行对应的是第二个损失函数（用在第二个解码器中）。
原文链接：https://arxiv.org/abs/1904.08095