Till startsida
Webbkarta
Till innehåll Läs mer om hur kakor används på gu.se

CLASP/CLT seminar: Desmond Elliott "Compositional Generalization in Image Captioning"

Seminarium

CLASP/CLT seminar: Desmond Elliott "Compositional Generalization in Image Captioning"

Image captioning models are usually evaluated on their ability to describe a held-out set of images, not on their ability to generalize to unseen concepts. We study the problem of compositional generalization, which measures how well a model composes unseen combinations of concepts when describing images. State-of-the-art image captioning models show poor generalization performance on this task. We propose a multi-task model to address the poor performance, that combines caption generation and image--sentence ranking, and uses a decoding mechanism that re-ranks the captions according their similarity to the image. This model is substantially better at generalizing to unseen combinations of concepts compared to state-of-the-art captioning models.

Föreläsare: Desmond Elliott

Datum: 2020-02-20

Tid: 10:00 - 12:00

Kategorier: Lingvistik

Arrangör: CLASP/CLT

Plats: Institutionen för filosofi, lingvistik och vetenskapsteori (FLoV)
C562, Renströmsgatan 6

Kontaktperson: Simon Dobnik

Sidansvarig: |Sidan uppdaterades: 2018-10-03
Dela:

På Göteborgs universitet använder vi kakor (cookies) för att webbplatsen ska fungera på ett bra sätt för dig. Genom att surfa vidare godkänner du att vi använder kakor.  Vad är kakor?