1.沼尾正行_中文簡報(OK).ppt [相容模式]

Size: px

Start display at page:

Download "1.沼尾正行_中文簡報(OK).ppt [相容模式]"

阡笙梗滑
5 years ago
Views:

1 透過人工智慧與用戶聽眾共譜樂章沼尾正行大阪大學產業科學研究所

2 自我介紹東京工業大學工學部電氣電子工學科 (1982) Z80, 6800, 命令語言研究東京工業大學理工學研究科情報工學專攻博士課程 (1987) 機械學習研究任職於東京工業大學工學部情報工學科依據說明的學習歸納邏輯編程史丹佛大學 CSLI (1989) 大阪大學產業科學研究所 (2003)

3 人工智慧的先驅控制人類感情及小說與音樂等創作行為創作種子接收創作物的人類反應感情測定人類對全新創作物的反應今日演講 : 以音樂為對象感情的測定技術預測技術自動作曲

4 構成的適應介面研究 Constructive Adaptive User Interface (CAUI) 山へ行こう昔みたいに雨が次の日曜降れば川底に

5 CAUI 研究的變遷模仿編曲 [1993] 音樂認知模型 [1994,1996] 依據認知模型編曲 [1994] 編曲品質在 1999~2001 年間大幅改善. 依據認知模型作曲 [2001] 依據感測器資料作曲 [2007] 各種感測器的利用 [2012] 與民謠二重奏的合作 [2016]

6 音樂的活性化目標利用依據生體訊號製作的模型, 以活性化為目標的編作曲, 促進人類力活性化 Δ 生體訊號 ( 活性化 ) 依據生體訊號製作的模型依據生體訊號實現的活性化 Δ 評價 ( 活性化 ) 活性化所需的編作曲樂曲 ( 刺激活性化 )

7 音樂的活性化研發腦力激盪模型化感情曲人腦波 ( 頻率 f/ 碎形維度 FD) 感情模型的分類感情模型與作曲用 RB 同時製作感情模型同時製作作曲用 RB( 規則庫 :Rule Base) 腦力激盪活性化人期待氛圍活性化作曲腦波感情模型模型分類判別初始狀態作曲用 RB 革新關鍵以大腦資訊為基礎, 同時生成與感情模型一致的作曲 RB

8 依據生體訊號製作的模型生體訊號屬性篩選分類感情模型賦予註釋資料解析新穎性 : 依據使用者本身評價展開的感測機械學習感情的連續評價樂曲進行模型 8

9 活性化所需的自動編作曲著眼於活性化的作曲 2N 小節的和弦進行 Motif1 Motif2 MotifN 活用感情模型與作曲規則庫 : 將使用者的介入降至最小運用共生進化手法, 在樂曲構成的多層級下, 達成目標

10 樂曲生成步驟高揚曲正例沈鬱曲反例機械學習 10 作曲用 RB 框架結構 RB Motif RB 和弦進行 RB 本研究的革新部分遺傳演算法共生進化框架結構和弦進行生成器生成器基礎部分旋律 MIDI 生成器樂曲

11 可獲得學習結果的作曲用規則範例某位使用者感受到優美的樂曲結構規則作曲用規則庫 (RB) tune(m) :- has_frame(m,a), measure_four_four(a), has_chords(m,x,y,z), chord_ii(x), inversion_zero(y), chord_i(z), form_vii(z). 左列規則的意涵樂曲結構擁有以下框架結構拍子 :4 分 4 拍子具備以下的 3 連續和弦第一和弦底音 :Ⅱ 第二和弦轉位 : 無轉位第三和弦底音 :Ⅰ 形體 : 七和弦

12 目的取得受試者的感性模型預測對其他樂曲的印象系統解析和弦列利用 SD 法測定印象音樂的認知模型 SD 法的結果預測模型以上述二者為訓練案例展開學習預測對其他樂曲的印象

13 資料收集受試者 7 訓練曲 75 形容詞組 6 組 = 12 語評價 5 段式 2016/11/18 編曲 36 曲 = 3 曲 12 語

14 認知模型範例受試者 A 開朗 frame(s) :- tonality_dur(s), tempo_allegro(s), basic_key_e(s),null. C1 C2 C3 triplet(c1, C2, C3) :- dur(c3), inversion_zero(c3), chord_i(c1), chord_i(c2), chord_ii(c3), inversion_zero(c1), form_vii(c2), null.

15 Listener s Evaluation of Musical Scores previous research Cannot capture the dynamic nature of both music and emotion Impose heavy cognitive load upon the listener. autonomic Brain Waves nervous system semantic differential method

16 OUTLINE Musical scores Subject Evaluation Music Background knowledge evaluation GA fitness function Melody Generation Inductive Learning FOIL + Rx relations model Affect music music theory

17 感情辨識 : 篩選特徵 Feature Extraction 碎形維度 (FD: Fractal Dimension) 值代表腦波的複雜度低 FD 高 FD 強度頻譜密度 (PSD: Power Spectral Density) 各頻段的平均值滑窗 ( 重複 0%) 3 種類型的樂曲資料已知曲 (Familiar song) 未知曲 (Unfamiliar song) 所有樂曲 ( 已知 + 未知曲 ) 17

18 感情的辨識 : 電極學習中使用的特徵建構追加特徵 ( 左右差異 ) Fp1-Fp2 F3-F4 C3-C4 Fz-Pz F7-F8 T3-T4 腦波與評價的對應 : 少數服從多數 18

19 感情的辨識 : 結果覺醒度 Arousal 已知曲未知曲兩者皆是 FD 值使用, 各學習手法別 ) 頻段使用, 各學習手法別學習前學習後感情價 Valence 已知曲未知曲兩者皆是 FD 值使用, 各學習手法別學習後頻段使用, 各學習手法別學習前 19

20 依據取得的模型編曲改變音樂的印象目的利用取得的模型, 生成賦予刻意印象的和弦列實驗根據廣為人知的 75 曲 = 古典 : 36 + 日本流行樂 (J-POP): 39 獲得認知模型針對 3 曲分別依據不同印象展開編曲利用心理實驗評價結果

21 Evaluation Phase 編曲的流程受試者Training Piece Arranged piece 樂曲特徵及評價 Data Gathering Second Eval. First Eval. Arranged Piece 曲 ILP 2016/11/18 Arranger 認知模型

22 編曲結果評價顯著差異 5% 有有無無無有正向顯著差異 1% 有無無無無有顯著差異 5% 有有有無有無負向 5 顯著差異 1% 有無有無有受試者 A 喜愛的樂曲無評價值形容詞組 ( 編曲目標 ) + 原曲活潑安心度喜好度開心優美哀愁 + 原曲 -

23 Why does subject A like it? Chord progression and a key A technique often used in J-POP music Transposition Change in 4 th and 5 th of a chord Instruments

24 依據模型作曲生成全新樂曲目的利用模型生成賦予刻意印象的和弦列及旋律實驗根據廣為人知的 75 曲 = 古典 : 36 + 日本流行樂 (J-POP): 39 獲得認知模型據此生成全新樂曲利用心理實驗評價結果

25 作曲的流程新曲旋律旋律生成器 MACS [Tsunoda 96] 受試者訓練曲和弦進行 +frame 和弦列 evaluation attributes GA 和聲理論 Fitness 認知模型規則集合 ILP 背景知識

26 受試者對全曲的評價顯著差異 5% 顯著差異 1% 顯著差異有顯著差異有顯著差異有顯著差異無顯著差異有顯著差異無顯著差異無顯著差異無顯著差異無顯著差異無顯著差異有顯著差異有 5 4 Student s t 檢定評價 3 2 正向負向 1 活潑安心度開心優美喜愛度哀愁形容詞組

27 OUTLINE Musical scores Subject Evaluation Music Background knowledge evaluation GA fitness function Melody Generation Inductive Learning FOIL + Rx relations model Affect music music theory

Basic music theory First-Order Logic Knowledge Representation Provides comprehensibility of learning results Capable of handling complex relational data Tempo Rhythm Melodic instrument Accompaniment

piano, guitar As, B, Cis, D, Fis, G, A, H dur (major), moll (minor) complete (or authentic), half, other Chord features As, B, Cis, D, Fis, G, A, H dur (major), moll (minor) I, II, III, IV, V, VI,

28 Basic music theory First-Order Logic Knowledge Representation Provides comprehensibility of learning results Capable of handling complex relational data Tempo Rhythm Melodic instrument Accompaniment Key Tonality Cadence Key Tonality Root Form Inversion Semi-own Frame features adagio, lento, andante, moderato, allegretto, allegro, presto, larghetto 2/2, 2/4, 4/4, 6/8 piano, sax ( soprano, tenor) piano, guitar As, B, Cis, D, Fis, G, A, H dur (major), moll (minor) complete (or authentic), half, other Chord features As, B, Cis, D, Fis, G, A, H dur (major), moll (minor) I, II, III, IV, V, VI, VII 5th, 7th, 9th zero, 1, 2, 3 present, absent Secondary dominant tonic, dominant, subdominant Special Sonata variations[ Beethoven 2, 4, 6, double dominant, ] absent Function Neapolitan 6th, sus4, absent

29 OUTLINE Musical scores Subject Evaluation Music Background knowledge evaluation GA fitness function Melody Generation Inductive Learning FOIL + Rx relations model Affect music music theory

30 Machine Learning Framework The CAUI employs FOIL and Rx to model the musical structures that correlate with the listener s emotions with the musical structures consisting the set of training examples. FOIL is a top-down inductive logic programming heuristic function. Rx is a system that automatically refines the theory in the function-free first-order logic generated by FOIL. Training Examples FOIL Algorithm + Rx Algorithm First-order Theory

31 OUTLINE Musical scores Subject Evaluation Music Background knowledge evaluation GA fitness function Melody Generation Inductive Learning FOIL + Rx relations model Affect music music theory

32 First-Order Logic Knowledge Representation Rules describing musical structures that can trigger the targeted emotional impression are generated Model (Sad) CAUI learns three kinds of target rules, namely, frame, pair and triplet. 2016/11/18

33 OUTLINE Musical scores Subject Evaluation Music Background knowledge evaluation GA fitness function Melody Generation Inductive Learning FOIL + Rx relations model Affect music music theory

Genetic Algorithm for Structure S C 1 C 2 C 3 C 4 C 5 C 6 C 7 C 8 SA C 1 GA C 2 C 3 Cthat 4 C 5 C 6 uses C 7 C 8 for its fitness function the S C model C C C 1 C of 5 C user 6 C 7 C 2 3 4 8 Mutation

34 Genetic Algorithm for Structure S C 1 C 2 C 3 C 4 C 5 C 6 C 7 C 8 SA C 1 GA C 2 C 3 Cthat 4 C 5 C 6 uses C 7 C 8 for its fitness function the S C model C C C 1 C of 5 C user 6 C 7 C Mutation affect S C appears C C C C C C 1 only C Candidate chromosomes in the CAUI. S C 1 C 2 C 3 C 4 S C 1 C 2 C 3 C 4 C 5 C 6 C 7 C 8 GA Schromosome C 1 C 2 C 3 C 4 C 5 C 6 C 7 C 8 and operators Reproduction Crossover C 5 C 6 C 7 C 8 S C 1 C 2 C 3 C 4 C 5 C 6 C 7 C 8 S C 1 C 2 C 3 C 4 C 5 C 6 C 7 C 8 S C 1 C 2 C 3 C 4 C 5 C 6 C 7 C 8

Genetic Algorithm Fitness Function fitnesschromosome(m) = fitnessuser(m) + fitnesstheory(m) fitnessframe + fitnesspair + fitnesstriplet(m) fitnessx L L ( ) ( M ) = Average fitnessx ' ' δ ( P( M), ) δ

35 Genetic Algorithm Fitness Function fitnesschromosome(m) = fitnessuser(m) + fitnesstheory(m) fitnessframe + fitnesspair + fitnesstriplet(m) fitnessx L L ( ) ( M ) = Average fitnessx ' ' δ ( P( M), ) δ = ( P ), δaverage ( P ), δ ( η ( P i )) i = 1 F i F i i = 1 FR i FR i fitnessx Pi Pi (component/s of of M) M) L L Music Target Theory relation fitnessframe song_frame 1 1 frame frame heuristic fitnesspair ( chord ( chord i i,chord i+1 i+1 ) ) n-1 n-1 pair heuristic pair fitnesstriplet ( ( chord i chord i, chord i+1, i+1, chord chord i+2 i+2 ) ) n-2 n-2 triplet triplet heuristic

36 共生進化的特徵利用部分解的組合表現答案部分解集團與整體解集團的平行進化可維持集團的多樣性避免集中為局部解可及早獲得適當答案部分解集團 36 整體解集團

37 Experimentation and Validation Data gathering 16 subjects rated the 14 musical scores All male, age range is from 18 to 27 (mean: 23) No formal music education Personalized models were learned for each subject 8 models are created. New musical pieces were composed independently 3 musical pieces are composed per model. The same subjects evaluated the user-specific composed pieces The significance of the composed tunes were measured by paired t- testing the obtained emotion readings.

38 Experimental Result~Paired T test Result of Paired T-test t-value Stress Joy Sad Relax emotion

39 結語建構量身訂做的感情模型確立符合各使用者需求的作曲用規則庫建構手法截至目前為止已分別實現依據生體訊號建構的模型制訂及活性化所需的編作曲 Δ 生體訊號 ( 活性化 ) 依據生體訊號製作的模型依據生體訊號實現的活性化 Δ 評價 ( 活性化 ) 活性化所需的編作曲樂曲 ( 刺激活性化 )

40 Acknowledgement Systems are developed in my lab, and Prof. Otani s lab in Tokyo City University. Contributors: Shoichi Takagi Tetsuo Takata Roberto Legaspi Rafael Cabredo Takayuki Nishikawa Toshihito Sugimoto Noriko Otani and others

高教参考（2015年第1辑）

高教参考（2015年第1辑）编者按改革开放以来, 我国教育进行了多次改革当初, 教育面临的主要任务是对文革期间所破坏的教育教学系统进行恢复, 开启真正意义上的教育改革是 1985 年出台的中共中央关于教育体制改革的决定决定指出 : 社会主义现代化建设