基于多模态特征的海豚行为分析方法、装置、设备及介质

本发明公开了一种基于多模态特征的海豚行为分析方法、装置、设备及介质，该方法包括：对海豚的声学波形信号进行分帧，以构建三维声学张量；对海豚的原始视频切片进行特征编码，得到全局行为特征向量，以通过预设的聚类算法，对所述全局行为特征向量进行行为聚类，得到行为中心向量；通过预设的时序建模网络，得到预设维度的音频嵌入向量，并通过预设的多层感知机，得到与所述音频嵌入向量同一维度的视频嵌入向量；根据时间对齐索引表和预设的动态时间规整算法，生成若干组声‑行嵌入对；通过预设的图卷积网络，对根据所述若干组声‑行嵌入对构建的声行图结构进行传播和聚合，得到海豚行为分析结果。本申请能够提高海豚行为分析结果的准确性。