摘要: 论文基于实验验证,为数据需求预测这一问题提供了比较有用的建议,详情可以直接看看Conclusion部分。 来源:晓飞的算法工程笔记 公众号 论文: How Much More Data Do I Need? Estimating Requirements for Downstream Tasks 论 阅读全文
posted @ 2024-07-12 13:27 晓飞的算法工程笔记 阅读(177) 评论(0) 推荐(0) 编辑
摘要: CvT将Transformer与CNN在图像识别任务中的优势相结合,从CNN中借鉴了多阶段的层级结构设计,同时引入了Convolutional Token Embedding和Convolutional Projection操作增强局部建模能力,在保持计算效率的同时实现了卓越的性能。此外,由于卷积的 阅读全文
posted @ 2024-07-10 12:24 晓飞的算法工程笔记 阅读(145) 评论(0) 推荐(0) 编辑
摘要: 作者发现深层ViT出现的注意力崩溃问题,提出了新颖的Re-attention机制来解决,计算量和内存开销都很少,在增加ViT深度时能够保持性能不断提高 来源:晓飞的算法工程笔记 公众号 论文: DeepViT: Towards Deeper Vision Transformer 论文地址:https 阅读全文
posted @ 2024-07-09 13:33 晓飞的算法工程笔记 阅读(68) 评论(0) 推荐(0) 编辑
摘要: DPP能够对目标检测proposal进行非统一处理,根据proposal选择不同复杂度的算子,加速整体推理过程。从实验结果来看,效果非常不错 来源:晓飞的算法工程笔记 公众号 论文: Should All Proposals be Treated Equally in Object Detectio 阅读全文
posted @ 2024-07-08 13:46 晓飞的算法工程笔记 阅读(157) 评论(0) 推荐(0) 编辑
摘要: 论文主要处理Vision Transformer中的性能问题,采用推理速度不同的级联模型进行速度优化,搭配层级间的特征复用和自注意力关系复用来提升准确率。从实验结果来看,性能提升不错 来源:晓飞的算法工程笔记 公众号 论文: Not All Images are Worth 16x16 Words: 阅读全文
posted @ 2024-07-03 12:23 晓飞的算法工程笔记 阅读(188) 评论(0) 推荐(1) 编辑
摘要: 论文提出了经典的Vision Transormer模型Swin Transformer,能够构建层级特征提高任务准确率,而且其计算复杂度经过各种加速设计,能够与输入图片大小成线性关系。从实验结果来看,Swin Transormer在各视觉任务上都有很不错的准确率,而且性能也很高 来源:晓飞的算法工程 阅读全文
posted @ 2024-07-02 13:16 晓飞的算法工程笔记 阅读(198) 评论(0) 推荐(1) 编辑
摘要: 论文提出CeiT混合网络,结合了CNN在提取低维特征方面的局部性优势以及Transformer在建立长距离依赖关系方面的优势。CeiT在ImageNet和各种下游任务中达到了SOTA,收敛速度更快,而且不需要大量的预训练数据和额外的CNN蒸馏监督,值得借鉴 来源:晓飞的算法工程笔记 公众号 论文: 阅读全文
posted @ 2024-05-23 13:17 晓飞的算法工程笔记 阅读(206) 评论(0) 推荐(0) 编辑
摘要: 论文设计了用于密集预测任务的纯Transformer主干网络PVT,包含渐进收缩的特征金字塔结构和spatial-reduction attention层,能够在有限的计算资源和内存资源下获得高分辨率和多尺度的特征图。从物体检测和语义分割的实验可以看到,PVT在相同的参数数量下比CNN主干网络更强大 阅读全文
posted @ 2024-05-22 13:31 晓飞的算法工程笔记 阅读(126) 评论(0) 推荐(1) 编辑
摘要: 论文提出了T2T-ViT模型,引入tokens-to-token(T2T)模块有效地融合图像的结构信息,同时借鉴CNN结果设计了deep-narrow的ViT主干网络,增强特征的丰富性。在ImageNet上从零训练时,T2T-ViT取得了优于ResNets的性能MobileNets性能相当 来源:晓 阅读全文
posted @ 2024-05-20 12:30 晓飞的算法工程笔记 阅读(113) 评论(0) 推荐(0) 编辑
摘要: 最近,有一些大型内核卷积网络的研究,但考虑到卷积的平方复杂度,扩大内核会带来大量的参数,继而引发严重的优化问题。受人类视觉的启发,论文提出了外围卷积,通过参数共享将卷积的复杂性从 \(O(K^{2})\) 降低到 \(O(\mathrm{log} K)\),有效减少 90% 以上的参数数量并设法将内 阅读全文
posted @ 2024-04-24 13:30 晓飞的算法工程笔记 阅读(265) 评论(0) 推荐(0) 编辑