top of page

Semantic See-through Goggles (2023-) 

Semantic See-through Goggles are a kind of glasses through which the view is once fully verbalized and re-visualized.

Participants wear original goggles with a camera and HMD. First, a single image from the camera is converted by the AI into a single line of text. Next, an image is generated from that line of text, also by the AI. Finally, this image is presented on the display in both eyes. Both input and output are concrete images, but only the information contained in one line of text is stored, all the rest is creative. The view, in which much of the spatial positioning and material has been reworked, however, does indeed convey the meaning of the scene in front of it. These processes take place in real-time, allowing the user to perceive and act on the real physical world through this redrawn view.

Every view in the goggles is a 'stereotype' of some kind, which is constructed on the basis of the specific cultural knowledge learned by the model. (For example, the view of a person looking at a 'long-haired Asian man', or me, oscillates between a standard Anglo-Saxon, standard-bodied man and an equally Anglo-Saxon, standard-bodied woman.) This experience provides a subjective understanding of what it is like to divide the task of perceiving the world with an AI, while at the same time incorporating back into that problem the basic and inescapable fact of human perception that 'we see the world under meaning'.

Semantic See-through Goggles は、一種のメガネであり、それを通して景色は一度完全に言語化され、再度視覚化される。

参加者は、カメラとHMDを備えたオリジナルのゴーグルを装着する。まず、AIによってカメラからの1枚の画像が1行のテキストに変換される。次に、同じくAIによってその1行のテキストから1枚の画像が生成される。最後に、この画像を両目のディスプレイに表示する。入力も出力もともに具象的な画像であるが、1行のテキストに収められた情報のみしか保存されず、残りのすべては創作である。空間的な位置関係やマテリアルの多くが作り変えられたその景色はしかし確かに目の前の景色の意味を伝える。これらの処理はリアルタイムで行われるため、ユーザーはこの描き直された景色を通して、現実の物理世界を知覚し、行動することができる。

ゴーグルの中の景色はすべて、それはモデルが学習した特定の文化知識をもとに構成されたある種の「ステレオタイプ」である。(例えば、「髪の長いアジア系の男」である私を見る人の視界は、標準的なアングロサクソン系で標準体型の男性と同じくアングロサクソン系で標準体型の女性の間で揺れ動く。)この経験は、世界を知覚するという仕事をAIと分業することがどのような事態であるかについての主観的な理解をもたらしつつ、同時に「私たちは意味の下に世界を見る」という人間の知覚の基本的で逃れられない事実をその問題に組み入れ直す。
 

Video

Documents

-

Credit


Concept, Direction: Goki Muramoto
Engineering: Yuri Yasui, Hirosuke Asahi, Goki Muramoto

bottom of page