기억과 기록

• 크리스 크로포드 (2005, 게임디자이너), 컴퓨터의 상호작용성을 이용한 서사의 한 형태. 
• 뉴미디어 기술을 활용하여 사용자에게 소통 및 통제의 권한을 부여하는 내러티브 엔터테인먼트. 내러티브를 기반으로 한 문학, 게임, 영화, 공연 예술 등의 영역을 대상. 오늘날에는 비디오게임. 다중접속 온라인 게임, 인터넷, 인터랙티브 텔레비전, 크로스 미디어 프로덕션, 스마트 토이, 모바일 어플리케이션, 인터랙시트 시네마, 가상 및 증강 현실에서의 내러티브 실험, DVD, 키오스크에서의 인포테인 먼트 등의 다양한 영역

• 닫힌 상호작용성 (Closed Interactivity) : 고정된 요소들을 고정된 연결구조에서 사용
• 열린 상호작용성 (Open Interactivity) : 전체 대상의 요소들과 구조들이 모두 사용자의 인터랙션에 반응하는데에 적용되는 것

• 1인칭 경험 : 몰입을 일으키는 강력한 참여 정도
• 3인칭 경험 : 전통 미디어의 심리적 상호작용의 경험
• HCI에서, 2인칭 경험은 컴퓨터가 사용자 명령에 따라 반응하여 결과 출력, 1인칭 경험은 가상 현실 속으로 들어가 다른 주체 혹은 가상 환경과 접촉하여 실제처럼 미디어를 경험

• 스크린 기반이 아닌 보다 실제적 참여 경험을 통해 성취 (Binder et el, 2009, p176)
• 인터랙티브 드라마 구조 “인식 - 재현 - 액션”의 반복. 이 반복의 하ㅗㄹ동에서 관람자의 선택에 따라 가변적인 것으로, 사용자의 역할을 넘어 생산자로 전환됨. (Branda Laurel, 2008, p.65)

• 참여자의 자유로운 행위와 개입에 따라 개인적 경험으로써 내러티브를 구축하되 극적(dramatic) 몰입 경험도 동시에 가능한 ‘체화형’으로 발전해야
• 공간성, 동시성, 이동성, 사회성, 참여성을 추구 (김영용, 2007)
• 숫자적 재현, 모듈화, 자동화, 다양성, 트랜스코딩 (뉴미디어의 5가지 원리, 컴퓨터라이제이션 되고 있는 문화의 일반적 경향, 마노비치, 2007)

• 김영용, 인터랙티브 미디어와 놀이, 커뮤니케이션북스, 2007.
• Brenda Laurel, 컴퓨터는 극장이다, 커뮤니케이션북스, 2008.
• F.Sparacino ․ G.Davenport ․ A.Pentland, Media in performance : Interactive Spaces for Dance, Theater, Circus, and Museum Exhibits, MIT Media Lab, 2007.

정승효, 2012

석사학위논문

[링크] 

타일드 디스플레이(Tiled-display)

여러 대의 디스플레이를 통합하여 하나의 큰 디스플레이로 사용하는 방법으로 단일 디스플레이에서 표현할 수 없는 초 고해상도 이미지를 표현할 수 있는 플랫폼

초 고해상도 이미지를 만들어내는 대용량 데이터들을 유기적으로 동기화하는 미들웨어가 필요함

연구 목적

스마트 디바이스를 가진 사용자가 타일드 디스플레이가 어떻게 상호작용하는지 방법 제안

1. 기존 타일드 디스플레이 시스템의 발전, 제안된 상호작용 방법들과 기존 공공 디스플레이와 인간의 상호작용 연구들의 장단점을 분석하여 시스템 설계 위한 기본적인 조건 도출

2. 적용 예상 분야 전문가와 인터뷰

3. 인터뷰 기반으로 사용시나리오아 인터랙션 디자인 도출

4. 시스템 구현과 사용자 테스트를 통해 시스템의 유효성 검증

연구 문제 정의

1. 공공 상황 활용 시나리오 : 인터뷰 통한 페르소나 및 시나리오

2. 사용자와 디스플레이 거리 상관없이 상호작용가능하도록

3. 단점인 베젤을 상호작용하는 정보 구분 단위로 사용

4. 다수의 사용자 상황에서 전체 상황(Context)를 볼 수 있으면서 개개인이 좀더 집중하고 있는 곳 (Focus)를  함께 다룸

전문가 인터뷰

1. 의료환경 : 여러가지 데이터를 다수의 참여자가 각각 컨트롤 할수있는 환경

2. 스마트 교육 환경 : 협동, 태블릿 PC 매칭

3. 전시 환경 : 작가와 관객이 동시에 참여, 드로잉 및 꼴라쥬

타일드 디스플레이에 필요한 상호작용 방식

1. Upload : 특정 타일에 특정 콘텐츠를 업로드 할 수 있다

2. Delete : 지울 수 있다

3. Move : 타일 단위로 컨텐츠 이

4. Pick & Switching : 타일 선택, 선택한 타일의 컨텐츠를 다른 타일로 옮길 수 잇다

5. Sizing up & Down : 한 타일에 있는 이미지를 전체 타일 크기로 바꾸거나 전체 타일 크기의 이미지를 하나의 타일 크기로 줄일 수 있다

6. Drawing : 특정 타일 또는 전체 디스플레이를 하나의 캔버스로 그림 그리기 

시스템 구현

1. 컴퓨터 : 서버 컴퓨터는 스마트폰에서 들어오는 상호작용 정보를 해당 클라이언트에게 전달하는 역할을 한다. 클라이언트 컴퓨터들은 각각에 해당하는 정보가 들어왔을 때 해당 디스플레이에 상호작용 결과를 출력한다.
2. 무선 네트워크 : IEEE 802.11n 규격은 이론적으로 최대 300Mbps 를 지원한다. 무선통신 속도를 최대한으로 사용하기 위해 무선공유기(ipTIME N608)를 직접 서버 컴퓨터에 연결하여 스마트폰과 서버의 원활한 통신환경을 구축하였다.
3. 시스템 소프트웨어 : 서버와 클라이언트는 프로세싱으로 개발
4. 서버 프로그램 : SAGE처럼 클라이언트들로부터 리소스를 제공받은 상태에서 서버에서 모든 계산이 이루어지고 픽셀 단위로 이미지를 분배시키는 방식과 CGLX나 MPE와 같이 시간과 공간적인 위치만 동기화 시켜주는 두 가지 방식 중 후자. 서버에서는 두 가지 통신 라이브러리를 사용하는데 하나는 프로세싱에서 기본적으로 제공해주는 net 라이브러리로 서버와 클라이언트간 통신을 지원한다. 다른 하나는 oscP5 라이브러리로 서버와 스마트폰간 통신을 지원한다. 서버는 매 프래임마다 정보를 모니터링하고 스마트폰으로부터 정보가 들어왔을 때 그것을 클라이언트에게 전달해주는 역할을 한다
5. 클라이언트 프로그램 : 클라이언트 프로그램은 서버로부터 전달받은 정보를 처리해 디스플레이에 표시하는 역할을 한다. 6 대의 클라이언트 컴퓨터에서 실행되는 프로그램은 동일하며 위치좌표 영역을 처리하는 부분만 다르다. 각 클라이언트들은 해당되는 영역에 대한 위치좌표를 가지고 있으며 입력 받은 위치정보가 그 좌표범위 내로 인식되었을 때만 작업을 처리하여 디스플레이 상에 결과를 표시해주고 해당 범위를 넘어가는 위치정보는 처리하지 않고 무시한다.
6. 스마트폰 어플리케이션 

실험 및 분석

1. 과업 1 이미지 퍼즐 맞추기 : 시각적인 가이드 라인을 주는 것이 Pick & Switching 상호작용을 하는데 도움이 되는지를 알아보기 위한 것이다. NASA-TLX 이외에도 수행시간과 과업을 완료하기 위한 시도 횟수 등의 데이터를 추가로 수집해 정량적 평가에 사용

2. 과업 2  그림 그리기 : Focus+Context 시각화 방법을 사용해 그것이 Drawing 상호작용을 하는데 도움이 되는지를 알아보기 위한 것이다. 인터페이스와 스크린의 해상도 차이에서 올 수 있는 문제점을 해결할 수 있는지 알아보는 것이 목적이고 수행시간과 정확도 데이터를 수집하여 정량적 평가에 사용

앞으로의 연구 과제 및 방향

원격 상황에서의 제어

NUI 등 다양한 인터페이스 설계

3차원 그래픽 표현

다양한 활용 시나리오 제시 

기존 연구 현황

(1) 타일드 디스플레이 시스템 

다수의 디스플레이를 하나의 시스템으로 연동. 이미지 생성, 인터랙티브 그래픽 및 영상 랜더링 이슈 : 

일리노이 대학 EVL (electronic visualization laboratory) : SAGE,Lambda vision, Lambda table, Geo Well

L. Renambot, A. Rao, R. Singh, B. Jeong, N. Krishnaprasad, V. Vishwanath, et al., "Sage: the scalable adaptive graphics environment," in Proceedings of WACE, 2004, pp. 2004-09.

L. Renambot, A. Johnson, and J. Leigh, "Lambdavision: Building a 100 megapixel display," in NSF CISE/CNS Infrastructure Experience Workshop, Champaign, IL, 2005.

C. Krumbholz, J. Leigh, A. Johnson, L. Renambot, and R. Kooima, "Lambda table: high resolution tiled display table for interacting with large visualizations," in Proceedings of 5th Workshop on Advanced Collaborative Environments, Redmond, Washington, 2005

A. Johnson, J. Leigh, P. Morin, and P. Van Keken, "Geowall: Stereoscopic visualization for geoscience research and education," Computer Graphics and Applications, IEEE, vol. 26, pp. 10-14, 2006.

상호작용 이슈 : Ball North  사람의 물리적인 움직임으로 디스플레이 위의 다수의 컨텐츠와 상호작용, 

R. Ball and C. North, "Effects of tiled high-resolution display on basic visualization and navigation tasks," in CHI'05 extended abstracts on Human factors in computing systems, 2005, pp. 1196-1199.

R. Ball, C. North, and D. A. Bowman, "Move to improve: promoting physical navigation to increase user performance with large displays," in Proceedings of the SIGCHI conference on Human factors in computing systems, 2007, pp. 191-200.

D. Lee, S. A. Munson, B. Congleton, M. W. Newman, M. S. Ackerman, E. C. Hofer, et al., “Montage: a platform for physically navigating multiple pages of web content," in Proceedings of the 27th international conference extended abstracts on Human factors in computing systems, 2009, pp. 4477- 4482.

스마트폰 인터페이스 사용 : 다수의 사용자와 상호작용 장치. 유기적인 협업 

M. Beaudouin-Lafon, S. Huot, M. Nancel, W. Mackay, E. Pietriga, R. Primet, et al., “Multisurface Interaction in the WILD Room," Computer, vol. 45, pp. 48-56, 2012.

K. Ponto, K. Doerr, T. Wypych, J. Kooker, and F. Kuester, "CGLXTouch: A multi-user multi-touch approach for ultra-high-resolution collaborative workspaces," Future Generation Computer Systems, vol. 27, pp. 649-656, 2011.

(2) 퍼블릭 디스플레이 시스템

분류

Public Information Display (공공장소에서 대중 상대로 정보 제공 / Collaborative Display (공공장소에서 아이디어 발표 분석 및 교환) 

시스템과 사용자간 상호작용

사용자와 디스플레이 사이의 거리에 따른 상호작용 : Hallo Wall  (RFID 기술, Ambient Zone, Notification Zone, Cell Interaction Zone) -> 이후 Proximity라는 개념 사용

모바일 인터페이스를 활용한 디스플레이 제어 : 내장된 카메라 위치 추적하여 변화값으로 제어하는 방식, 가속도 센서 변화로 특정행위 인식하는 방식. 다수의 포인터가 혼재됨, 

        실시간 비디오를 이용하는 상호작용 방식

S. Boring, S. Gehring, A. Wiethoff, A. M. Blöckner, J. Schöning, and A. Butz, "Multi-user interaction on media facades through live video on mobile devices," in Proceedings of the 2011 annual conference on Human factors in computing systems, 2011, pp. 2721-2724.

>   주변의 대형 디스플레이를 하나의 마커로 사용하고 스마트폰 카메라로 실시간 인식후 그 디스플레이 안에 그림을 그림

S. Boring, D. Baur, A. Butz, S. Gustafson, and P. Baudisch, "Touch projector: mobile interaction through video," in Proceedings of the 28th international conference on Human factors in computing systems, 2010, pp. 2287-2296.

> 콘텐츠 선택 및 이동