SENSATION AND PERCEPTION
PART ONE
ARTIKEL 1: IDENTIFYING NATURAL IMAGES FROM HUMAN BRAIN ACTIVITY
Decoderingsmethode op basis van kwantitatieve receptieve veldmodellen die de relatie tussen
visuele stimuli en fMRI-activiteit in vroege visuele gebieden karakteriseert. Deze modellen
beschrijven de afstemming van individuele voxels voor ruimte, oriëntatie en ruimtelijke frequentie,
en worden rechtstreeks geschat op basis van reacties die worden opgeroepen door natuurlijke
beelden. De respectieve veldmodellen maken het mogelijk om uit een grote set volledig nieuwe
natuurlijke beelden te identificeren welk specifiek beeld door een waarnemer wordt gezien.
Stage 1: Model estimation
fMRI-gegevens vastgelegd van
visuele gebieden V1, V2, V3
terwijl elke proefpersoon 1750
natuurlijke beelden bekeek om
het receptief veldmodel voor
elke voxel vasttestellen. Dit
wordt gebaseerd op Gabor
waveletpiramide, beschrijft
afstemming langs de dimensies van ruimte, oriëntatie en ruimtelijke
frequentie.
A. De intensiteit van elke pixel geeft de gevoeligheid van het receptieve veld (RF) voor die locatie aan. De witte cirkel
geeft de grenzen van de stimulus aan (20° × 20°) en het groene vierkant geeft de geschatte RF-locatie aan. Linksonder
en links worden horizontale en verticale doorsneden door de ruimtelijke omhulling weergegeven. Deze snijden de
top van de ruimtelijke omhulling, zoals aangegeven door gele maatstreepjes. De dikte van elk schijfprofiel geeft ± 1
sem aan. Deze RF bevindt zich in het linker hemiveld, net onder de horizontale meridiaan.
B. Oriëntatie en ruimtelijke frequentieafstemmingscurven. De bovenste matrix geeft de gezamenlijke oriëntatie en
ruimtelijke frequentieafstemming van de RF weer, en de onderste twee grafieken geven de marginale oriëntatie en
ruimtelijke frequentieafstemmingscurven weer. Foutbalken geven ± 1 sem aan. Deze RF heeft
breedbandoriëntatieafstemming en hoogdoorlaat ruimtelijke frequentieafstemming .
Stage 2: Image identification
fMRI-gegevens vastgelegd terwijl elk proefpersoon 120 nieuwe natuurlijke
beelden bekeek. Voor elke meting van voxel-activiteitspatroon probeerden
we te identificeren welk specifiek beeld was gezien. Dit werd bereikt door
de geschatte receptieve veldmodellen te gebruiken om hersenactiviteit te
voorspellen voor een reeks potentiële beelden en vervolgens het beeld te
selecteren waarvan de voorspelde activiteit het meest overeenkomt met de
gemeten activiteit. Het beeld waarvan het voorspelde
, voxelactiviteitspatroon het meest gecorreleerd was (Pearson's r ) met het gemeten
voxelactiviteitspatroon werd geselecteerd. Hiernaast wordt de identificatieprestatie voor één
proefpersoon weergegeven. De kleuren vertegenwoordigen de correlatie tussen het gemeten
voxel-activiteitspatroon voor het #-image en het voorspelde voxel-activiteitpatroon voor de #-
image. De hoogste correlatie in elke kolom wordt aangegeven door een vergrote stip met de
juiste kleur en geeft het beeld aan dat is geselecteerd door het identificatie-algoritme. Voor dit
onderwerp werd 92% (110/120) van de afbeeldingen correct geïdentificeerd.
Dus er de activiteit van de hersenen wordt gemeten terwijl proefpersoon foto’s bekijkt. Vervolgens
krijgt de proefpersoon nieuwe foto’s. De hersenactiviteit van de nieuwe foto wordt vergelijken met
de hersenactiviteit van de alle eerder geziene foto’s. En de activiteit die het meest overeenkomt, zal
de foto zijn die het meest lijkt op de foto die de proefpersoon nieuw ziet.
fMRI-gegevens bevatten ruis werden de resultaten verkregen met behulp van voxel-
activiteitspatronen die gemiddeld waren over 13 herhaalde onderzoeken. Daarom probeerden wij
identificatie aan de hand van voxel-activiteitspatronen van afzonderlijke proeven.
A. Geeft samenvatting van de identificatieprestaties. De prestatie bij één proef was 51% (834/1620) en 32%
(516/1620) voor respectievelijk proefpersonen S1 en S2. Deze resultaten suggereren dat het mogelijk is om de
inhoud van perceptuele ervaringen in realtime te decoderen. De markering boven elk balk geeft het geschatte
ruisplafond aan en de gestreepte groene lijn geeft de kansprestatie aan. De schattingen van het geluidsplafond
suggereren dat het verschil in prestatie tussen proefpersonen te wijten is aan intrinsieke verschillen in het
geluidsniveau
B. De x-as geeft de ingestelde grootte aan, de y-as geeft de identificatieprestatie aan en het getal rechts van elke
regel geeft de geschatte setgrootte aan waarbij de prestatie afneemt tot 10% correct. Terwijl de setgrootte 10 keer
toenam van 100 naar 1.000, daalden de prestaties slechts licht, van 92% naar 82% (proefpersoon S1, herhaalde
proef). Extrapolatie van deze metingendat de prestaties voor dit onderwerp boven de 10% blijven, zelfs tot een
ingestelde grootte van ~ 10 11.3 afbeeldingen. Dit is meer dan 100 keer meer dan het aantal afbeeldingen dat
momenteel door Google is geïndexeerd (~10 8,9 afbeeldingen). In alle gevallen waren de prestaties zeer goed
geschaald met de ingestelde grootte.
C. Vroege visuele gebieden zijn retinotopisch georganiseerd en het is bekend dat voxels deze organisatie
weerspiegelen. Dus identificatie werd geprobeerd met behulp van een alternatief model met alleen retinotopie dat
alleen de locatie en grootte van het receptieve veld van elke voxel vastlegt. Dit model presteerde aanzienlijk slechter
dan het Gabor wavelet-piramidemodel, wat aangeeft dat ruimtelijke afstemming alleen onvoldoende is om optimale
identificatieprestaties te bereiken. Identificatie verbetert aanzienlijk wanneer oriëntatie en ruimtelijke
frequentieafstemming in het model worden opgenomen.
Ook werd er gekeken of het model nog werkte wanneer de hersenactiviteit lang na de schatting van
de receptieve veldmodellen wordt gemeten. Er werden 120 nieuwe natuurlijke beelden
geïdentificeerd die ongeveer 2 maanden na het eerste experiment werden gezien. n dit geval werd
82% (99/120) van de afbeeldingen correct geïdentificeerd (kans op prestatie 0,8%; proefpersoon S1,
herhaalde proef). We evalueerden ook de identificatieprestaties voor een set van 12 nieuwe
natuurlijke beelden die meer dan een jaar na het eerste experiment werden gezien. In dit geval werd
100% (12/12) van de afbeeldingen correct geïdentificeerd (kans op prestatie 8%; proefpersoon S1,
PART ONE
ARTIKEL 1: IDENTIFYING NATURAL IMAGES FROM HUMAN BRAIN ACTIVITY
Decoderingsmethode op basis van kwantitatieve receptieve veldmodellen die de relatie tussen
visuele stimuli en fMRI-activiteit in vroege visuele gebieden karakteriseert. Deze modellen
beschrijven de afstemming van individuele voxels voor ruimte, oriëntatie en ruimtelijke frequentie,
en worden rechtstreeks geschat op basis van reacties die worden opgeroepen door natuurlijke
beelden. De respectieve veldmodellen maken het mogelijk om uit een grote set volledig nieuwe
natuurlijke beelden te identificeren welk specifiek beeld door een waarnemer wordt gezien.
Stage 1: Model estimation
fMRI-gegevens vastgelegd van
visuele gebieden V1, V2, V3
terwijl elke proefpersoon 1750
natuurlijke beelden bekeek om
het receptief veldmodel voor
elke voxel vasttestellen. Dit
wordt gebaseerd op Gabor
waveletpiramide, beschrijft
afstemming langs de dimensies van ruimte, oriëntatie en ruimtelijke
frequentie.
A. De intensiteit van elke pixel geeft de gevoeligheid van het receptieve veld (RF) voor die locatie aan. De witte cirkel
geeft de grenzen van de stimulus aan (20° × 20°) en het groene vierkant geeft de geschatte RF-locatie aan. Linksonder
en links worden horizontale en verticale doorsneden door de ruimtelijke omhulling weergegeven. Deze snijden de
top van de ruimtelijke omhulling, zoals aangegeven door gele maatstreepjes. De dikte van elk schijfprofiel geeft ± 1
sem aan. Deze RF bevindt zich in het linker hemiveld, net onder de horizontale meridiaan.
B. Oriëntatie en ruimtelijke frequentieafstemmingscurven. De bovenste matrix geeft de gezamenlijke oriëntatie en
ruimtelijke frequentieafstemming van de RF weer, en de onderste twee grafieken geven de marginale oriëntatie en
ruimtelijke frequentieafstemmingscurven weer. Foutbalken geven ± 1 sem aan. Deze RF heeft
breedbandoriëntatieafstemming en hoogdoorlaat ruimtelijke frequentieafstemming .
Stage 2: Image identification
fMRI-gegevens vastgelegd terwijl elk proefpersoon 120 nieuwe natuurlijke
beelden bekeek. Voor elke meting van voxel-activiteitspatroon probeerden
we te identificeren welk specifiek beeld was gezien. Dit werd bereikt door
de geschatte receptieve veldmodellen te gebruiken om hersenactiviteit te
voorspellen voor een reeks potentiële beelden en vervolgens het beeld te
selecteren waarvan de voorspelde activiteit het meest overeenkomt met de
gemeten activiteit. Het beeld waarvan het voorspelde
, voxelactiviteitspatroon het meest gecorreleerd was (Pearson's r ) met het gemeten
voxelactiviteitspatroon werd geselecteerd. Hiernaast wordt de identificatieprestatie voor één
proefpersoon weergegeven. De kleuren vertegenwoordigen de correlatie tussen het gemeten
voxel-activiteitspatroon voor het #-image en het voorspelde voxel-activiteitpatroon voor de #-
image. De hoogste correlatie in elke kolom wordt aangegeven door een vergrote stip met de
juiste kleur en geeft het beeld aan dat is geselecteerd door het identificatie-algoritme. Voor dit
onderwerp werd 92% (110/120) van de afbeeldingen correct geïdentificeerd.
Dus er de activiteit van de hersenen wordt gemeten terwijl proefpersoon foto’s bekijkt. Vervolgens
krijgt de proefpersoon nieuwe foto’s. De hersenactiviteit van de nieuwe foto wordt vergelijken met
de hersenactiviteit van de alle eerder geziene foto’s. En de activiteit die het meest overeenkomt, zal
de foto zijn die het meest lijkt op de foto die de proefpersoon nieuw ziet.
fMRI-gegevens bevatten ruis werden de resultaten verkregen met behulp van voxel-
activiteitspatronen die gemiddeld waren over 13 herhaalde onderzoeken. Daarom probeerden wij
identificatie aan de hand van voxel-activiteitspatronen van afzonderlijke proeven.
A. Geeft samenvatting van de identificatieprestaties. De prestatie bij één proef was 51% (834/1620) en 32%
(516/1620) voor respectievelijk proefpersonen S1 en S2. Deze resultaten suggereren dat het mogelijk is om de
inhoud van perceptuele ervaringen in realtime te decoderen. De markering boven elk balk geeft het geschatte
ruisplafond aan en de gestreepte groene lijn geeft de kansprestatie aan. De schattingen van het geluidsplafond
suggereren dat het verschil in prestatie tussen proefpersonen te wijten is aan intrinsieke verschillen in het
geluidsniveau
B. De x-as geeft de ingestelde grootte aan, de y-as geeft de identificatieprestatie aan en het getal rechts van elke
regel geeft de geschatte setgrootte aan waarbij de prestatie afneemt tot 10% correct. Terwijl de setgrootte 10 keer
toenam van 100 naar 1.000, daalden de prestaties slechts licht, van 92% naar 82% (proefpersoon S1, herhaalde
proef). Extrapolatie van deze metingendat de prestaties voor dit onderwerp boven de 10% blijven, zelfs tot een
ingestelde grootte van ~ 10 11.3 afbeeldingen. Dit is meer dan 100 keer meer dan het aantal afbeeldingen dat
momenteel door Google is geïndexeerd (~10 8,9 afbeeldingen). In alle gevallen waren de prestaties zeer goed
geschaald met de ingestelde grootte.
C. Vroege visuele gebieden zijn retinotopisch georganiseerd en het is bekend dat voxels deze organisatie
weerspiegelen. Dus identificatie werd geprobeerd met behulp van een alternatief model met alleen retinotopie dat
alleen de locatie en grootte van het receptieve veld van elke voxel vastlegt. Dit model presteerde aanzienlijk slechter
dan het Gabor wavelet-piramidemodel, wat aangeeft dat ruimtelijke afstemming alleen onvoldoende is om optimale
identificatieprestaties te bereiken. Identificatie verbetert aanzienlijk wanneer oriëntatie en ruimtelijke
frequentieafstemming in het model worden opgenomen.
Ook werd er gekeken of het model nog werkte wanneer de hersenactiviteit lang na de schatting van
de receptieve veldmodellen wordt gemeten. Er werden 120 nieuwe natuurlijke beelden
geïdentificeerd die ongeveer 2 maanden na het eerste experiment werden gezien. n dit geval werd
82% (99/120) van de afbeeldingen correct geïdentificeerd (kans op prestatie 0,8%; proefpersoon S1,
herhaalde proef). We evalueerden ook de identificatieprestaties voor een set van 12 nieuwe
natuurlijke beelden die meer dan een jaar na het eerste experiment werden gezien. In dit geval werd
100% (12/12) van de afbeeldingen correct geïdentificeerd (kans op prestatie 8%; proefpersoon S1,
