一种基于复合视觉编码的遥感大模型性能提升方法和装置

本申请提供了一种基于复合视觉编码的遥感大模型性能提升方法和装置，涉及遥感图像大语言模型技术领域。该方法基于开源的视觉通用语言模型重新改写网络结构，加入用于提取局部细节和捕捉全局语义的复合视觉编码ConvToMe层，ConvToMe层通过ConvNeXt层提取局部细节，结合ToMe ViT层捕捉全局语义，得到性能提升的遥感大模型，通过复合的视觉编码达到同时保留全局语境和局部细节，提升鲁棒性的同时，提升模型精度的效果。