BLISS freut sich, Timothée Darcet, Doktorand bei Meta AI und Inria, vorstellen zu können, der einen 45-minütigen Vortrag mit dem Titel „CAPI: Cluster and Predict Latent Patches for Improved Masked Image Modeling“. Nach dem Vortrag sind die Teilnehmer eingeladen, mit anderen KI-Enthusiasten in Kontakt zu treten, Ideen und Fragen auszutauschen und kostenlose Getränke zu genießen. Bitte beachten Sie, dass die Türen pünktlich um 19:15 Uhr geschlossen werden, daher wird frühes Erscheinen dringend empfohlen.
Eine RSVP auf Meetup ist unbedingt erforderlich, um den Eintritt zu garantieren. Obwohl Meetup in letzter Zeit aktiv für sein Plus-Programm geworben hat, ist es nicht notwendig, es zu erwerben - sowohl die Plattform als auch alle BLISS-Veranstaltungen sind weiterhin völlig kostenlos.
Abstract:
Masked Image Modeling (MIM) bietet einen vielversprechenden Ansatz für selbstüberwachtes Repräsentationslernen, doch die bestehenden MIM-Modelle bleiben weiterhin hinter den modernsten Methoden zurück. In diesem Vortrag stellt Timothée Darcet CAPI vor, ein neuartiges reines MIM-Rahmenwerk, das Zielrepräsentationen, Verlustfunktionen und Architekturen systematisch neu überdenkt. CAPI basiert auf der Vorhersage latenter Clusterungen unter Verwendung eines clusterbasierten Verlusts, der stabil zu trainieren ist und ein vielversprechendes Skalierungsverhalten aufweist. Unter Verwendung eines ViT-L-Backbones erreicht CAPI eine Genauigkeit von 83,8 % auf ImageNet und 32,1 % mIoU auf ADE20K mit einfachen linearen Sonden. Damit übertrifft CAPI bisherige MIM-Ansätze erheblich und nähert sich der Leistung des aktuellen Stands der Technik, DINOv2.
TU Berlin
Straße des 17. Juni 135, 10623 Berlin