스터디/연구 2016. 1. 12. 22:38

[논문요약] 공공디스플레이에서 공간적 상관관계를 고려한 인간과 디지털 아트의 상호작용 (2009)

공공디스플레이에서 공간적 상관관계를 고려한 인간과 디지털 아트의 상호작용

From Ambient to Interactive: Human-Digital Art Interaction on Public Display Based on the Spatial Relationship

안미혜, 원광연

HCI학회 2009, 2009.2, 1069-1074 
키워드 : Public display, Human-digital art interaction, multilevel interaction model, aura
[목차]

공공디스플레이를 이용한 디지털 아트
공공디스플레이에서 다단계 인터랙션 모델
HCI에서의 아우라 모델
공공디스플레이에서 디지털 아트와의 상호작용을 위한 인터랙션 모델
실험 작품 제작 및 토의

[요약]

공공디스플레이에서 인간과 디지털 아트의 상호작용을 위한 인터랙션 모델 제안
(1) 상황 분석적 접근 Context Analytic Approach : 거리에 의존한 다단계 인터랙션 모델에 기반
(2) 사용자 분석적 접근 User Analytic Approach : 아우라 (Aura) 개념 도입하여 보는 주체의 방향에 의존한 상호작용 도입
이 둘을 합하여 인터랙션 모델 제시하고 작품 제작

[문제정의]

상황에 따른 다단계의 접근성을 제공하면서, 비돌출적인 정보 시각화를 하는 인터랙션으로 대매체의 주변성(Peripherality)을 유지하고자 함

[주요 내용]

2 공공디스플레이를 이용한 디지털 아트 경향
(1) 인터랙션 없음 : 비디오 설치물. 적정 관람거리. 관객의 익명성
(2) 인터랙션 있음. 돌출적인 Obtrusive 시각화 
(3) 인터랙션 있음. 비돌출적인 정보시각화  앰비언트 디스플레이 속성을 가지다가도 정보 시각화 측면도 가지게됨

3 C.Wisneski의 3단계 인터랙션 모델
무작위적인 접근성을 가진 관객 대상
디스플레이로부텉의 물리적인 근접도 (Proximity) 에 따른 3단계 인터랙션 모델
Ambient Zone, Notification Zone, Interactive Zone

C. Wisneski et al., "Ambient Displays: Turning architectural space into an interface between people and digital information", LNCS, Vol. 1370, pp. 22~32, 1998.

4 Steve Benford의 아우라 Aura의 공간 모델

S. Benford and L. Fahlen, "A Spatial Model of Interaction in Large Virtual Environments", ECSCW, pp. 109~124, 1993.

가상 환경에서의 인터랙션을 위한 공간 모델. 3D아바타나 가상 에이전트들 간의 인터랙션에서 충돌 아우라 계산 등에 멀티 유저 가상현실 프로토타이핑에 이용되었으나, 위치와 방향을 측정할 수 있는 공간적인 척도 Metric가 존재하는 시스템이라면 어떤 상황에도 적용 가능
포커스 : 청자의 아우라
님버스 : 화자의 아우라

5 제안하는 인터랙션 모델

- Ambient Interaction Zone, Focal Interaction Zone, Personal Interaction Zone
- 세 단계의 공간이 전환 Transition이 될 때, 경계없는 인터랙션이 일어나는 것을 목표로 (컨텐츠와 인터랙션이 점진적으로 변화해야 이상적) 
- 관객의 포커스, 즉 방향성을 가진 집중도에 따라 같은 공간에 있어도 인터랙션이 다르게 일어나는 것이 기존 모델과의 가장 큰 특징
- Ambient Interaction Zone : 센서에 의해 사람이 감지되지 않는 부분부터 무한대까지
- Focal Interaction Zone : 암시적인 인터랙션 Implicit Interaction이 일어남. 다음 단계의 인터랙션에 대한 단서 제공. 다른 사람이 보아도 되는 공적인 내용 표현
- Personal Interaction Zone : 직설적이고 개인적인 인터랙션 가능. 포커스와 님버스의 영역이 일치.
- 미디어 아트에의 적용 : 단순 관람 Viewer이 아니라 적극적인 참여자의 입장 Participant으로 개인적이거나 직접적인 인터랙션 가능. 보는 주체의 적극적인 집중도에 따른 공공디스플레이의 경험 가능.

[향후 연구과제]
공간 간의 경계 없는 인터랙션을 위한 센서링등의 기술이 연구되어야 함
멀티 유저 인터랙션
미디어 아트 뿐만 아니라 광고 및 도시 계획 분야 등에도 적용




[생각]
여기에서는 님버스의 아우라의 크기와 포커스 아우라의 방향 변화만 있는데 포커스 아우라의 영향력의 크기 변할 수 있지 않을까 (멀리서 동작할때와 가까이서 동작할떄의 컨텍스트 차이, 가까이서 소곤소곤 멀리서 외침?)

[추가 읽을거리] 
Steve Benford, Lennart Fahlen, "A Spatial Model of Interaction in Large Virtual Environments", ECSCW Conference, 1993.
John Zimmerman, Jodi Forlizzi, Shelley Evanson, "The Design of Implicit Interactions", Design Issues, Special Issue on Design Research for Interaction Design, Winter, 2006.
공공디스플레이에서 공간적 상관관계를 고려한 인간과 디지털 아트의 상호작용, 안미혜, 카이스트 석사학위논문, 2008


스터디/연구 2016. 1. 12. 00:19

[논문요약] 인터랙티브 전시물 프로토타이핑 프로세스에 관한 연구 (2012)

인터랙티브 전시물 프로토타이핑 프로세스에 관한 연구 - 디자인, 소프트웨어, 하드웨어 분야의 프로세스 분석을 방법으로

A Study of Interactive Exhibits Prototyping Process - focused on analysis the parts of desing, hardware, software
박주용, 문형욱, 조청원

한국과학예술포럼 Vol.11, 2012.12, 73-87 (15 pages)
+ 서울과학기술대학교 석사 학위 논문 (인터랙티브 전시물 프로토타이핑 기법 )
키워드 : 인터랙션, 전시물, 전시개발체계, 프로토타이핑




[목차]
인터랙티브 전시물 개발 방법론의 이론적인 고찰
- 인터랙션 디자인 개발 방법론
- 소프트웨어 개발 방법론
- 하드웨어 개발 방법론

프로토타이핑의 개념, 프로세스, 유형

프로토타이핑 기법의 인터랙티브 전시물 개발에 대한 적용


[연구 문제]
인터랙션 전시물에 대한 반복적이고 점진적인 프로토타이핑을 위한 방법론과 모델 제시.

[주요 내용] 
2.1. 인터랙션 디자인 개발 방법론
- Dan Saffer (Interaction Design, 2012) 의 네 가지 접근 방법
     (1) 사용자 중심 디자인
     (2) 활동 중심 디자인    
     (3) 시스템 중심 디자인
     (4) 직관적 디자인 
- 기능중심 디자인, 목표 지향 디자인
- 위 방법들은 GUI와 화면 내 인터랙션 위주

2.2. 소프트웨어 개발 방법론
- 폭포수 모델 : 프로젝트 단계 중심 (단순 핸즈온이나 인터랙션 없는 전시에는 효율적)

- 점진적 개발 모델 : Iteration, prototyping 방식, 애자일 등으로 불림. 익스플로러토리움 전시 개발 방법과 유사. 

- 나선형 모델 : 위험 분석 추가 모델, 대형 프로젝트에 적합


2.3. 하드웨어 개발 방법론
(1) 기존 임베디드 개발 방법론

(4) 실물 프로토타이핑 기법을 적용한 임베디드 실시간 시스템 소프트웨어 개발 방법론
- 가상 프로토타이핑과 실물 프로토타입 두 단계로 나누어 점진적으로 개발 모델

(5) 임베디드 시스템 개발 방법론 및 재사용 체계
- 소프트웨어의 객체 지향 개발법과 유사



3.1. 프로토타이핑의 개념 및 프로세스

- 2,3,4 단계의 반복.
- 타드 자키 워플

- Bill Buxton (2010)


3.2. 프로토타이핑의 유형의 장단점

(1) Low-fidelity Prototyping
(2) Hight-fidelity Prototyping
(3) Horizontal Prototyping : 세부적이지는 않지만 다양한 기능 고려하려 전반적으로 예상 가능하도록 제작
(4) Vertical Prototyping : 제공해야할 많은 기능들 중에서 주요 기능만을 선별하여 세부적인 기능까지 디테일하게 구현
(5) Scenarios Prototyping : 몇몇 중요한 작업을 지정된 기능과 경로를 통해 완전히 실행되도록 만든 방법

- 제이콥 닐슨  (1989)



4.1. 전시프로세스에서의 점진적 개발 모델 검증
- Screven의 전시물 개발 방식 : 이상적 과제 제시. 오류제거 방식


4.2. 인터랙티브 전시물 프로토타이핑 프로세스 모델 제시


[한계] 
지속적 전시를 전제하고 연구하여 컨벤션 등의 이벤트 성향이나 짧은 기간의 상업적 전시에 대한 고려가 추가적으로 필요함



[의견]
각 단계와 개발 주체별로 어떻게 커뮤니이션하고 판단하고 결정하면서 나아가야하는지에 대한 힌트를 얻을 수가 없음. 
인터랙티브한 전시물의 성격 - 예술, 디자인, 과학, 상업 공간에 따라 다를 것


[추가 읽을거리]
권효순. (2007). 과학기술교육 교수매체로서의 체험형 전시물 설계준거 개발 – 박사학위청구 논문
김은숙 / (2009) 몰입을 부르는 체험형전시 콘텐츠 기획 / 글누림
구도형. (2010). 체험형 전시물 기획 및 제작 프로세스 연구 – 한국과학예술포럼 vol.6


스터디/연구 2016. 1. 10. 23:32

[논문요약] 인터랙티브 아트에서의 관객 참여 유형에 따른 어포던스 연구 <공생공존>을 중심으로 (2015)

인터랙티브 아트에서의 관객 참여 유형에 따른 어포던스 연구 [공생공존]을 중심으로
The Affordance-based Approach of the Patterns of Participation in Interactive Art

김주연
한국과학기술원 문화기술대학원 석사학위논문
키워드 : 인터랙티브 아트, 어포던스, HCI, 사용자평가, 관객참여





[목차]

인터랙티브 아트의 개념과 관객 참여에 대한 이론적 고찰

인터랙티브 아트의 HCI적 접근
  • 어포던스 이론
  • 인터랙션 프로세스
  • 관객 참여 유형

사례 분석 : 인터랙티브 아트 [공생공존]
  • 설계 및 구현
  • 인터랙션 프로세스 분석
  • 사용자 평가


[문제]  

기존에는 인터랙티브 아트 인터페이스의 사용성 향상과 기능적 목적에 그 초점을 두고 있다는 한계가 있다. 
인터랙티브 아트에 관한 새로운 시각과 작품에 참여하는 관객 분석 방법에 인터랙션 행위별 접근이 필요하다.

[목적]

1. 인터랙티브 아트를 HCI 사용성 관점과 어포던스 방법론으로 분석을 진행하여 관객 참여를 이끄는 요소와 함께 인터랙티브 아트의 인터랙션 프로세스를 제시한다.

2. 인터랙션 프로세스와 관객 참여 요소를 바탕으로 실제 작품으로 구현된 인터랙티브 아트 [공생공존] 에 대한 분석을 실시한다.


3. 분석된 결과를 바탕으로 인터랙티브 아트에 대한 적용이 가능한지 판단하고 이를 기반으로 새로운 관객 참여 가이드라인을 구축하여 제안한다.





[주요 내용]

2.1. 인터랙티브 아트 개념 및 특성

견재기 (2007). 인터랙티브 아트의 상호작용성 분석을 위한 유형 분류 모델 연구. 국민대학교 석사학위논문

  • 디지털 기술을 활용하여 상호작용적 관객 참여로 완성되는 예술 작품
  • 기존 예술 매체들과 구분되는 특수성
    • 1) 참여 기반
    • 2) 비물질적이고 비규정적인 매체의 형태(개념 예술, 공연예술, 홀로그래피 아트 등)
    • 3) 첨단 기술을 기반으로 한 매체의 활용 (컴퓨터 비전과 같은 물성 단위 뿐만 아니라 가상현실, 인공지능, 증강현실, 네트워크 등의 비물성적 기술)
    • 4) 학제 간의 활발한 교류

2.2 인터랙티브 아트에서의 관객 참여

  • 관객의 상호작용 유도 : 전시 공간의 특수성, 작품의 배치 방법, 구동을 위해 관객에게 요구하는 인터페이스의 종류와 방법, 시청각적 자극 요소, 지속성
  • 과정의 개방성 : 관객의 참여로 완성이 되는 과정 상의 미학적 탐구, 열린 구조의 예술
  • 체험을 통한 메시지 전달 : 개입과 참여를 통해 작가가 의도한 매체의 의의와 메시지에 접근 가능

3.1. 어포던스 이론


   <인터랙티브 아트가 고려해야하는 어포던스 요소 및 특성>


3.1.3 인터랙티브 아트에서의 어포던스 요소 분석

물리적 어포던스 Physical Affordance
1. 전시 공간
- 작품의 크기와 각 사물들 간의 거리
- 작품을 구성하는 요소들의 관련성 유무에 따른 집합과 배치
- 작품의 형태와 디자인

2. 인터랙션 장치 및 조작
- 인터랙션 기술 및 스타일
- 인터랙션을 위한 물리적 행동 및 조작의 효율성
- 인터랙션 과정에서 발발하는 유저의 돌발 행동의 정도 및 성격
- 사용자의 조작에 관련된 물리적 제약
- 사용자의 조작에 필요한 난이도
- 사용자의 조작에 필요한 활동의 양

3. 피드백
- 피드백의 유효성 여부
- 피드백의 정도, 형태 즉각성 및 특성

인지적 어포던스 Cognitive Affordance
1. 전시 공간
- 전시 공간 내 동선
- 건축 공간, 오브제 등 전시 공간 내 물리적 요소
- 조명, 음향과 같은 전시 공간 내 비물리적 요소

2. 인터랙션 장치 및 조작
- 인터랙션 장치의 친근감 및 호감의 정도
- 조작 방법의 적절한 메타포 활용
- 조작 방법의 의미적, 문화적, 논리적 바탕의 여부
- 조작 방법의 즉각적 인지 여부
- 조작 방법에 대한 유저의 인지 능력, 경험 및 지적 수준 고려 여부
- 조작 방법의 통제 가능성, 사용 편의성, 학습 용이성, 반응성, 만족도
- 일관성 있는 컨셉의 피드백 제시

3. 피드백
- 작품에서 제공하고자 하는 의미의 명확도
- 작품 의미를 전달하는 설명문의 난이도와 명확도
- 개념 모형 제시

감각적 어포던스 Sensory Affordance
1. 전시 공간
- 작품에 대한 관객의 주의 유도
- 작품의 형태와 크기, 색상 등의 비일상성을 통한 호기심 유발

2. 인터랙션 장치
- 참여를 유도하는 적절한 매체의 선정
- 선정된 매체의 특수성

3. 피드백
- 작품이 제공하는 반응의 즉각성 여부
- 제공되는 반응의 형태 및 상태
- 제공되는 반응의 시각 및 청각적 형태
- 제공되는 반응의 흥미도 정도

4. 작품이 제공하는 미적 만족도
- 제공되는 미적 만족도 및 쾌감의 정도
- 제공되는 미적 만족도의 예술적 영향
- 제공되는 미적 만족도의 예술의 영향
- 제공되는 미적 만족도의 지속시간


3.2.1 HCI에서의 인터랙션 프로세스

Norman의 Action Model

 
(1) 목표 설정 : 사용자가 자신의 의도를 수행하기 위해 설정하는 목표. 내가 무엇을 원하는지, 이를 통해서 획득 가능한 최종 결과를 알고 있어야 한다
(2) 행위의 의도 형성 : 자신이 원하는 바를 취하려면 어떤 특정 조작이 가능한지 예상하는 단계
(3) 조작 가능을 위해 어떤 노력 필요한지 가늠 : 사용자의 의도와 신체 동작 사이의 대응 관계 파악. 
(4) 실제 행위 수행 가능 여부 판단 : 전 단계까지 머릿속의 내용들을 물리적으로 진행이 가능한지
(5) The World 에 실제 조작 진행
(6) 자신의 행위에 대한 지각
(7) 지각에 대한 해석 : 자신의 행위가 적절하였는지
(8) 평가하고 판단

Hartson의 Interaction Model



  • Action Model 사용성 문제 분류, 관찰 돕기위해 정립. 인지적, 물리적, 감각적인 사용자의 행동의 순서에 따라 사용자가 어떤 상호작용을 이루는지에 대한 단계. 순환적.
  • 계획 - 변형 - 행동 - 결과물 - 평가
  • Outcom은 물리적 행동과 평가 사이에 일어나는 단계로 시스템과 관련이 있으며 사용자 행위와는 분리 됨.


3.2.2. 인터랙티브 아트에서의 인터랙션 프로세스

  • 기존의 두 모델이 아트에 직접 적용하기는 무리, 실용적 사용성은 물론 미적 쾌감, 개인적 성향, 동기, 기대, 감정 등의 변수 존재
  • Zafer Bilda, Ernest Edmonds (2007) Model of engagement: interaction modes and phases


  • 의도와 기대감으로 관객 참여 형태를 이해.
  • 앞선 모델들과 달리 관객이 아트를 접하는 최초 단계가 Unintended, 의도 없이 조우 하게 됨. 각각 과정 마다 기대감을 부여하고 단계마다 새로운 기대가 생기며 이를 만족시켜야함


3.2.3 인터랙션 프로세스 모델 제안
 


(1) 적응 Adaptation 
- 관객이 전시 환경에 유도되고 관심을 가지며 적응하는 프로세스
- 최초 참여가 이루어지며 작품을 인지하고, 시청각 감각 행위가 진행
- 어떻게 행동할 것인지에 대한 불분명한 기대를 포함
- 본 연구에서는 관객이 적응 프로세스에 들어오는 순간부터 작품의 (부분적) 참여자라 정의

(2) 예측 Anticipation
- 관객이 의도하는 방향과 피드백을 예측, 예상하는 프로세스
- 관객은 작품이 무엇일까 하는 인지적 심성 모형을 형성, 작품과의 상호작용 방법을 예측
- 작품에 대한 관객의 기대와 감정이 표현

(3) 참여 결정 Participation decision
- 관객이 참여 행위를 결정, 실행하는 프로세스
- 실제 행위의 수행. 관객이 인터랙션 존 안으로 들어옴
- 작품의 물리적인 요소를 파악하고, 시청각적 감각 행위가 진행

(4) 조작 및 피드백 Manipulating & Feedback
- 작품과의 직접적인 관계를 맺는 프로세스
- 작품의 물리적인 인터랙션 장치를 이해하고 조작
- 행위와 함께 적절한 피드백이 발현되면서 작품에 대한 흥미도가 상승

(5) 감상과 평가 Appreciation & Evaluation
- 작품의 의도와 의미를 발견, 이해를 완성하는 프로세스
- 관객은 작품을 감상하고 평가


  • 인터랙션 프로세스와 어포던스 요소를 더해 관객의 유형을 정리
 


3.3 관객 참여 유형


(1) Passer-by : 해당 인터랙티브 아트의 존재를 인지 못하고 지나쳐 가는 관객
(2) Potential Participant : 작품에 적응하고 예측 단계까지 접근하였으나 참여 행위에 대한 결정과 실행을 하지 못한 관객.
(3) Passive Participant : 작품의 적응을 하고 참여 결정지 도하였으나 작품 조작을 이해하지 해 드백을 지 한 관객.
(4) Active Participant :  작품의 전 과정을 거치는 관객작품의 의도를 이해하고, 작품 조작이 가능하며 피드백을 받고 작품을 완성 시키는 관객.





4장 사례 분석 


구현 및 전시


사용자 평가


(1) 관객 유형에 대한 분석 : 관객의 상태, 작품 참여 횟수, 작품에 참여하는 평균 시간, 흥미도, 참여 동기, 참여 방법 인지 과정과 참여 방법에 대한 인지 실패 원인 등에 대해 기본적인 성향과 함께 전시 공간에서의 관객 동선, 머문 시간과 분포를 분석하여 관객 참여 유형을 확인





(2) (1)에서 분류된 사용자들간의 관계와 세부 조건들 분석 : 분류된 참여자 유형별로 보다 세부적인 분석을 진행하였는데 해당 관객층이 왜 그러한 반응을 하였는지에 대한 단계별 심층적인 질문으로 구성되었다. 또한 시스템과 제품 평가에 활용되는 사용성 평가 설문을 인터랙티브 아트에 적용시켜 설계, 진행하였다.


결론

(1) 소셜 어포던스 


  • Social Affordance : 관객과 관객 사이에서 발생하는 인터랙션 요소
  • Harry Brignull 과 Yvonne Rogers 는 Enticing People to Interact with Large Public Displays in Public Spaces
  • Threshold공공 디스레이를 활용하는 사용자의 인터랙션 계가 세가지로 각각의 계 사이에는 일의 경계 지점이 존재. 사람들이 공공 인터랙션 디스플레이를 꺼리는 이유를 사람들이 느끼는 Social embarrassment, 즉 타인의 시선에 큰 영향을 받는다고 한다. 즉 주변 사람들의 시선을 의식하여 해당 단계의 threshold 를 극복하지 못하면 다음 인터랙션 단계로 넘어가지 못함 

 (2) 잠재적 참여자를 대상으로 한 지속적 참여 유도 가이드라인 


 

연구 한계 및 향후 과제

  • 다수의 적용 사례 분석 및 검증 필요
  • 다수의 작품이 전시되는 공동 공간 대상
  • 분류된 관객 별로의 특수성을 지닌 어포던스 , 특히 어린이 및 청소년 층 

질문 + 관객 참여 유형에서 공공디스플레이가 아닌 개인몰입형 혼합현실이라면 ? 

 Stapleton & Hughes (2007, p330) 

(1) Swimmers : 평면화면만을 보는 관람객

(2) Divers : HMD를 착용하면서 적극적으로 뛰어드는

(3) Waders : 다른 사람들이 경험하고 있는 상황을 보는 것에 만족 


브렌다 로렐

1인칭 경험 : 몰입을 일으키는 강력한 참여 정도  

3인칭 경험 : 전통 미디어의 심리적 상호작용의 경험 

HCI에서, 2인칭 경험은 컴퓨터가 사용자 명령에 따라 반응하여 결과 출력, 1인칭 경험은 가상 현실 속으로 들어가 다른 주체 혹은 가상 환경과 접촉하여 실제처럼 미디어를 경험

Murray (1997), 박동숙전경란 (2005, 디지털/미디어/문화) 

(1) 하이퍼텍스트 유형 : 이야기 전개 과정에서 분기점에서 선택을 통해 새로운 가능성으로 열려있는. 게임의 요소를 활용한 영화의 형태. 

(2) 가상현실 유형 : 1인칭으로 가상현실 속에서 사건을 유발하거나 허구적 세계를 탐험하는 참여 방식. 영화적 환경에서 구축한 게임의 형태. 

+ 체화형(Embodied) : 스크린 기반이 아닌 보다 실제적 참여 경험을 통해 성취 (Binder et el, 2009, p176) 인터랙티브 드라마 구조 “인식 - 재현 - 액션”의 반복. 이 반복의 하ㅗㄹ동에서 관람자의 선택에 따라 가변적인 것으로, 사용자의 역할을 넘어 생산자로 전환됨. (Branda Laurel, 2008, p.65)


< 추가 읽을 거리>

Norman. Action Model
[36] Donald A. Norman (1988). The phychology of Everyday things, Basic Books 디자인과 인간 심리학
[37] Donald A. Norman (1999). "Affordance, conventions, and design", Magazine interactions, 6(3), pp.38-43
[2] Mia Aasbakken (2011). “Evaluating user experiences from interactive art installations.”, Norwegian University of Science and Technology

William Gaver,Technology affordances
[44] Gaver W (1991). “Technology affordances.”, CHI’91 Conference Proceedings, pp.79-84
[45] Gaver W (1996). “Affordances for Interaction: The Social Is Material for Design”. Ecological Psychology, 8(2), pp.111–129

Hartson. Interaction Cycle
[17] H. Rex Hartson (2003). “Cognitive, Physical, Sensory, and Functional Affordances in Interaction Design.”, Behaviour & Information Technology, 22(5), pp.315-338

Zafer Bilda, Ernest Edmonds. Model of engagement
[5] Zafer Bilda and Ernest Edmonds (2008). “Designing for creative engagement.”, Design Studies 29(6), pp.525–540

견재기 (2007). 인터랙티브 아트의 상호작용성 분석을 위한 유형 분류 모델 연구. 국민대학교 석사학위논문
이정민, 상호작용 공간의 행태적 참여 어포던스(Affordance) 속성에 관한 연구, 홍익대학 교 박사학위논문, 2007
Michael Rush, "New Media in Late 20th-Century Art", Thames and Hudson, 2003
Piotr D. Adamczyk, "HCI and New Media Arts:Methodology and Evaluation", CHI 2007
Costello, B (2007). “A Pleasure Framework”, Leonardo Journal, 40(4), pp. 370-371
Mia Aasbakken (2011). “Evaluating user experiences from interactive art installations.”, Norwegian University of Science and Technology
Morrison Ann et al (2007), “The lens of ludic engagement: evaluating participation in interactive art installations”, Proceedings of the 15th international conference on Multimedia, ACM, pp. 509-512
Hrönn BrynjarsdóttirHolmer et al (2015). “Constructing and constraining participation in participatory arts and HCI.”, Int. J.Human-Computer Studies 74, pp.107–123
Ernest Edmonds, Zafer Bilda and Lizzie Muller (2009). “Artist, evaluator and curator: three viewpoints on interactive art, evaluation and audience experience.”, Digital Creativity, 20(3), pp.141-151
Ernest Edmonds (2010). “The art of interaction.”. Digital Creativity Vo21.Issue 4


스터디/연구 2016. 1. 10. 00:18

[논문요약] 인터랙티브 스토리텔링에서의 참여유형 카테고리 제안 (2013)


인터랙티브 스토리텔링에서의 참여유형 카테고리 제안
A Suggestion for Category of Participation in Interactive Storytelling
이지혜, 김종덕
디지털디자인학연구 제13권 제3호(통권 제39호), 2013.7, 403-412 (10 pages)



요약
모니터 기반의 인터페이스 상에서 선형적 내러티브에 참여자의 리액티브한 반응을 이끌어내던 방식에서 장소기반, 이동형, 혼합현실 등을 적용하여 새로운 가능성과 매체적 접근 방식을 새롭게 분류하였다. 기존 사례 및 문헌 조사를 통해 사용자 참여 강도와 스토리텔링 패러다임을 정리한 뒤, 새로운 카테고리를 범주화하여 프레임워크를 정립하였다

연구 문제
인터랙티브 스토리텔링이 상호작용성과 극적(dramatic)구조에서의 몰입감 간의 충돌을 극복하는 새로운 방식에 대한 선행 연구 구축



인터랙티브 스토리텔링의 정의
  • 크리스 크로포드 (2005, 게임디자이너), 컴퓨터의 상호작용성을 이용한 서사의 한 형태. 
  • 뉴미디어 기술을 활용하여 사용자에게 소통 및 통제의 권한을 부여하는 내러티브 엔터테인먼트. 내러티브를 기반으로 한 문학, 게임, 영화, 공연 예술 등의 영역을 대상. 오늘날에는 비디오게임. 다중접속 온라인 게임, 인터넷, 인터랙티브 텔레비전, 크로스 미디어 프로덕션, 스마트 토이, 모바일 어플리케이션, 인터랙시트 시네마, 가상 및 증강 현실에서의 내러티브 실험, DVD, 키오스크에서의 인포테인 먼트 등의 다양한 영역

인터랙티브 미디어에서의 상호작용성 구분 (본 논문에서 Miller (2004)를 인용)

(1) 참여 정도에 따른 인터렉션 레벨 구분 (마노비치 lev Manovich, The Language of New Media)
  • 닫힌 상호작용성 (Closed Interactivity) : 고정된 요소들을 고정된 연결구조에서 사용
  • 열린 상호작용성 (Open Interactivity) : 전체 대상의 요소들과 구조들이 모두 사용자의 인터랙션에 반응하는데에 적용되는 것

(2) 참여 방식에 따른 인터랙션 레벨 구분
브렌다 로렐
  • 1인칭 경험 : 몰입을 일으키는 강력한 참여 정도
  • 3인칭 경험 : 전통 미디어의 심리적 상호작용의 경험
  • HCI에서, 2인칭 경험은 컴퓨터가 사용자 명령에 따라 반응하여 결과 출력, 1인칭 경험은 가상 현실 속으로 들어가 다른 주체 혹은 가상 환경과 접촉하여 실제처럼 미디어를 경험

Stapleton & Hughes (2007, p330)
     (1) Swimmers : 평면화면만을 보는 관람객
     (2) Divers : HMD를 착용하면서 적극적으로 뛰어드는
     (3) Waders : 다른 사람들이 경험하고 있는 상황을 보는 것에 만족
Murray (1997), 박동숙전경란 (2005, 디지털/미디어/문화)
     (1) 하이퍼텍스트 유형 : 이야기 전개 과정에서 분기점에서 선택을 통해 새로운 가능성으로 열려있는. 게임의 요소를 활용한 영화의 형태.
     (2) 가상현실 유형 : 1인칭으로 가상현실 속에서 사건을 유발하거나 허구적 세계를 탐험하는 참여 방식. 영화적 환경에서 구축한 게임의 형태.

참여 정도와 사용자 역할에 따른 구분 


체화형 (Embodied) 유형
  • 스크린 기반이 아닌 보다 실제적 참여 경험을 통해 성취 (Binder et el, 2009, p176)
  • 인터랙티브 드라마 구조 “인식 - 재현 - 액션”의 반복. 이 반복의 하ㅗㄹ동에서 관람자의 선택에 따라 가변적인 것으로, 사용자의 역할을 넘어 생산자로 전환됨. (Branda Laurel, 2008, p.65)

     (1) 가상 환경에서의 체화형 인터랙티브 스토리텔링
     360도 시네마틱 극장 <T_Visionarium> (2008), 3D 안경 차착용 관객들이 공간을 탐험하여 이미지를 탐색하고 데이터베이스 안의 이야기들을 직접 제어하고 편집 가능
     

     (2) 증강환경에서의 체화형 인터랙티브 스토리텔링
     <The Witness> (2009), 모바일폰으로 도시를 누비며 영화의 사건 해결해나가는 방식.
     


     (3) 실제 환경에서의 체화형 인터랙티브 스토리텔링
     어드벤처 게임과 같은 1인칭 경험을 가능하게 하는 캐릭터의 인공지능화가 필요함
     <Sleep No More>, 장소 특정적, 상호작용적 드라마 구현. 호텔 공간에 드라가 연극의 배우가 되어 드라마에 참여. 자유로운 동선 내에서 개별적인 여정. 마스크와 아웃핏에 센싱 가능한 컨트롤 벨이 부착되어 참여자의 행동에 대한 명령과 지시 혹은 경고가 내려지게 됨. 


<결론>
  • 참여자의 자유로운 행위와 개입에 따라 개인적 경험으로써 내러티브를 구축하되 극적(dramatic) 몰입 경험도 동시에 가능한 ‘체화형’으로 발전해야
  • 공간성, 동시성, 이동성, 사회성, 참여성을 추구 (김영용, 2007)
  • 숫자적 재현, 모듈화, 자동화, 다양성, 트랜스코딩 (뉴미디어의 5가지 원리, 컴퓨터라이제이션 되고 있는 문화의 일반적 경향, 마노비치, 2007)



<생각해볼 것 >
인터랙티브 시네마가 아닌 내러티브를 포함한 전시 경험 전달에 있어서 1) 하이퍼링크 2) 가상현실 3) 체화형 인터랙티비티를 어떻게 전달할 수 있을 것인지 


<추가 읽을거리>
  • 김영용, 인터랙티브 미디어와 놀이, 커뮤니케이션북스, 2007.
  • Brenda Laurel, 컴퓨터는 극장이다, 커뮤니케이션북스, 2008.
  • F.Sparacino ․ G.Davenport ․ A.Pentland, Media in performance : Interactive Spaces for Dance, Theater, Circus, and Museum Exhibits, MIT Media Lab, 2007.
 





[논문요약] Tiled-display 환경에서 시나리오 기반의 상호작용 : 스마트폰 인터페이스를 활용한 상호작용 디자인


Tiled-display 환경에서 시나리오 기반의 상호작용 : 스마트폰 인터페이스를 활용한 상호작용 디자인 

정승효, 2012

석사학위논문

[링크] 






타일드 디스플레이(Tiled-display)


여러 대의 디스플레이를 통합하여 하나의 큰 디스플레이로 사용하는 방법으로 단일 디스플레이에서 표현할 수 없는 초 고해상도 이미지를 표현할 수 있는 플랫폼

초 고해상도 이미지를 만들어내는 대용량 데이터들을 유기적으로 동기화하는 미들웨어가 필요함


연구 목적


스마트 디바이스를 가진 사용자가 타일드 디스플레이가 어떻게 상호작용하는지 방법 제안

1. 기존 타일드 디스플레이 시스템의 발전, 제안된 상호작용 방법들과 기존 공공 디스플레이와 인간의 상호작용 연구들의 장단점을 분석하여 시스템 설계 위한 기본적인 조건 도출

2. 적용 예상 분야 전문가와 인터뷰

3. 인터뷰 기반으로 사용시나리오아 인터랙션 디자인 도출

4. 시스템 구현과 사용자 테스트를 통해 시스템의 유효성 검증


연구 문제 정의

1. 공공 상황 활용 시나리오 : 인터뷰 통한 페르소나 및 시나리오

2. 사용자와 디스플레이 거리 상관없이 상호작용가능하도록

3. 단점인 베젤을 상호작용하는 정보 구분 단위로 사용

4. 다수의 사용자 상황에서 전체 상황(Context)를 볼 수 있으면서 개개인이 좀더 집중하고 있는 곳 (Focus)를  함께 다룸


전문가 인터뷰


1. 의료환경 : 여러가지 데이터를 다수의 참여자가 각각 컨트롤 할수있는 환경

2. 스마트 교육 환경 : 협동, 태블릿 PC 매칭

3. 전시 환경 : 작가와 관객이 동시에 참여, 드로잉 및 꼴라쥬



타일드 디스플레이에 필요한 상호작용 방식


1. Upload : 특정 타일에 특정 콘텐츠를 업로드 할 수 있다

2. Delete : 지울 수 있다

3. Move : 타일 단위로 컨텐츠 이

4. Pick & Switching : 타일 선택, 선택한 타일의 컨텐츠를 다른 타일로 옮길 수 잇다

5. Sizing up & Down : 한 타일에 있는 이미지를 전체 타일 크기로 바꾸거나 전체 타일 크기의 이미지를 하나의 타일 크기로 줄일 수 있다

6. Drawing : 특정 타일 또는 전체 디스플레이를 하나의 캔버스로 그림 그리기 


시스템 구현






  1. 컴퓨터 : 서버 컴퓨터는 스마트폰에서 들어오는 상호작용 정보를 해당 클라이언트에게 전달하는 역할을 한다. 클라이언트 컴퓨터들은 각각에 해당하는 정보가 들어왔을 때 해당 디스플레이에 상호작용 결과를 출력한다.
  2. 무선 네트워크 : IEEE 802.11n 규격은 이론적으로 최대 300Mbps 를 지원한다. 무선통신 속도를 최대한으로 사용하기 위해 무선공유기(ipTIME N608)를 직접 서버 컴퓨터에 연결하여 스마트폰과 서버의 원활한 통신환경을 구축하였다.
  3. 시스템 소프트웨어 : 서버와 클라이언트는 프로세싱으로 개발
  4. 서버 프로그램 : SAGE처럼 클라이언트들로부터 리소스를 제공받은 상태에서 서버에서 모든 계산이 이루어지고 픽셀 단위로 이미지를 분배시키는 방식과 CGLX나 MPE와 같이 시간과 공간적인 위치만 동기화 시켜주는 두 가지 방식 중 후자. 서버에서는 두 가지 통신 라이브러리를 사용하는데 하나는 프로세싱에서 기본적으로 제공해주는 net 라이브러리로 서버와 클라이언트간 통신을 지원한다. 다른 하나는 oscP5 라이브러리로 서버와 스마트폰간 통신을 지원한다. 서버는 매 프래임마다 정보를 모니터링하고 스마트폰으로부터 정보가 들어왔을 때 그것을 클라이언트에게 전달해주는 역할을 한다
  5. 클라이언트 프로그램 : 클라이언트 프로그램은 서버로부터 전달받은 정보를 처리해 디스플레이에 표시하는 역할을 한다. 6 대의 클라이언트 컴퓨터에서 실행되는 프로그램은 동일하며 위치좌표 영역을 처리하는 부분만 다르다. 각 클라이언트들은 해당되는 영역에 대한 위치좌표를 가지고 있으며 입력 받은 위치정보가 그 좌표범위 내로 인식되었을 때만 작업을 처리하여 디스플레이 상에 결과를 표시해주고 해당 범위를 넘어가는 위치정보는 처리하지 않고 무시한다.
  6. 스마트폰 어플리케이션 


실험 및 분석


1. 과업 1 이미지 퍼즐 맞추기 : 시각적인 가이드 라인을 주는 것이 Pick & Switching 상호작용을 하는데 도움이 되는지를 알아보기 위한 것이다. NASA-TLX 이외에도 수행시간과 과업을 완료하기 위한 시도 횟수 등의 데이터를 추가로 수집해 정량적 평가에 사용

2. 과업 2  그림 그리기 : Focus+Context 시각화 방법을 사용해 그것이 Drawing 상호작용을 하는데 도움이 되는지를 알아보기 위한 것이다. 인터페이스와 스크린의 해상도 차이에서 올 수 있는 문제점을 해결할 수 있는지 알아보는 것이 목적이고 수행시간과 정확도 데이터를 수집하여 정량적 평가에 사용



앞으로의 연구 과제 및 방향


원격 상황에서의 제어

NUI 등 다양한 인터페이스 설계

3차원 그래픽 표현

다양한 활용 시나리오 제시 






기존 연구 현황


(1) 타일드 디스플레이 시스템 


다수의 디스플레이를 하나의 시스템으로 연동. 이미지 생성, 인터랙티브 그래픽 및 영상 랜더링 이슈 : 

일리노이 대학 EVL (electronic visualization laboratory) : SAGE,Lambda vision, Lambda table, Geo Well

L. Renambot, A. Rao, R. Singh, B. Jeong, N. Krishnaprasad, V. Vishwanath, et al., "Sage: the scalable adaptive graphics environment," in Proceedings of WACE, 2004, pp. 2004-09.

L. Renambot, A. Johnson, and J. Leigh, "Lambdavision: Building a 100 megapixel display," in NSF CISE/CNS Infrastructure Experience Workshop, Champaign, IL, 2005.

C. Krumbholz, J. Leigh, A. Johnson, L. Renambot, and R. Kooima, "Lambda table: high resolution tiled display table for interacting with large visualizations," in Proceedings of 5th Workshop on Advanced Collaborative Environments, Redmond, Washington, 2005

A. Johnson, J. Leigh, P. Morin, and P. Van Keken, "Geowall: Stereoscopic visualization for geoscience research and education," Computer Graphics and Applications, IEEE, vol. 26, pp. 10-14, 2006.


 

상호작용 이슈 : Ball North  사람의 물리적인 움직임으로 디스플레이 위의 다수의 컨텐츠와 상호작용, 

R. Ball and C. North, "Effects of tiled high-resolution display on basic visualization and navigation tasks," in CHI'05 extended abstracts on Human factors in computing systems, 2005, pp. 1196-1199.

R. Ball, C. North, and D. A. Bowman, "Move to improve: promoting physical navigation to increase user performance with large displays," in Proceedings of the SIGCHI conference on Human factors in computing systems, 2007, pp. 191-200.

D. Lee, S. A. Munson, B. Congleton, M. W. Newman, M. S. Ackerman, E. C. Hofer, et al., “Montage: a platform for physically navigating multiple pages of web content," in Proceedings of the 27th international conference extended abstracts on Human factors in computing systems, 2009, pp. 4477- 4482.


스마트폰 인터페이스 사용 : 다수의 사용자와 상호작용 장치. 유기적인 협업 

M. Beaudouin-Lafon, S. Huot, M. Nancel, W. Mackay, E. Pietriga, R. Primet, et al., “Multisurface Interaction in the WILD Room," Computer, vol. 45, pp. 48-56, 2012.

K. Ponto, K. Doerr, T. Wypych, J. Kooker, and F. Kuester, "CGLXTouch: A multi-user multi-touch approach for ultra-high-resolution collaborative workspaces," Future Generation Computer Systems, vol. 27, pp. 649-656, 2011.



(2) 퍼블릭 디스플레이 시스템


분류


Public Information Display (공공장소에서 대중 상대로 정보 제공 / Collaborative Display (공공장소에서 아이디어 발표 분석 및 교환) 


시스템과 사용자간 상호작용




사용자와 디스플레이 사이의 거리에 따른 상호작용 : Hallo Wall  (RFID 기술, Ambient Zone, Notification Zone, Cell Interaction Zone) -> 이후 Proximity라는 개념 사용

모바일 인터페이스를 활용한 디스플레이 제어 : 내장된 카메라 위치 추적하여 변화값으로 제어하는 방식, 가속도 센서 변화로 특정행위 인식하는 방식. 다수의 포인터가 혼재됨, 

        실시간 비디오를 이용하는 상호작용 방식

S. Boring, S. Gehring, A. Wiethoff, A. M. Blöckner, J. Schöning, and A. Butz, "Multi-user interaction on media facades through live video on mobile devices," in Proceedings of the 2011 annual conference on Human factors in computing systems, 2011, pp. 2721-2724.

>   주변의 대형 디스플레이를 하나의 마커로 사용하고 스마트폰 카메라로 실시간 인식후 그 디스플레이 안에 그림을 그림

S. Boring, D. Baur, A. Butz, S. Gustafson, and P. Baudisch, "Touch projector: mobile interaction through video," in Proceedings of the 28th international conference on Human factors in computing systems, 2010, pp. 2287-2296.

> 콘텐츠 선택 및 이동