Julespesial 4: Lyd, bilde og tekst i en algoritme

9:16
 
Del
 

Manage episode 316034425 series 2497947
Av Universitetet i Agder oppdaget av Player FM og vårt samfunn — opphavsrett er eid av utgiveren, ikke Plaer FM, og lyd streames direkte fra deres servere. Trykk på Abonner knappen for å spore oppdateringer i Player FM, eller lim inn feed URLen til andre podcast apper.

Vi mennesker tar inn mye informasjon samtidig. Når vi for eksempel ser på en film, titter vi på bildene, hører på lyden og kanskje leser teksten, og sammen får vi et mer helhetlig bilde enn hvis vi bare hadde hørt lyden. Kunstig intelligens trenes derimot somoftest opp med bare en type data. I denne episoden tar vi for oss en algoritme som, mot normalt, kombinerer lyd, bilde, og tekst for anda bedre resultater.

Podcasten er en del av en serie hvor vi tar for oss artikler fra konferansen NeurIPS 2021, og denne episoden handler om «VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text» av Hassan Akbari, Liangzhe Yuan, Rui Qian, Wei-Hong Chuang, Shih-Fu Chang, Yin Cui, og Boqing Gong.

93 episoder