如何使用数据集在视觉问题回答

4次浏览(过去30天)
Suheer Al-Hadhrami
Suheer Al-Hadhrami 2021年8月25日
回答: Kumar王子 2021年11月19日
我的工作是视觉问题回答问题,即接受图像和关于图像的问题。然后生成问题的答案。我建立了一个网络,有两个部分:第一个是CNN模型,处理图像作为输入。第二个是处理文本的enseble模型LSTM+BiLSTM。我的数据集有图像路径、问题和答案的列。我为数据集做了所有的预处理步骤。我现在的问题是如何告诉模型取图像和文本,分别执行它们,然后在它们之间进行融合。
以上是我建立的网络。在层必须接受文本这是一个问题。Im_in必须接受图像。我不知道如何处理数据集。
能否提出一种具体的matlab可视化问答模型的建立方法?
问候,