「千本桜」を弾くと初音ミクさんが歌い出す夢のピアノ、遂にリリース!byよみぃ【プロジェクトセカイ・ピアノ】

YouTube

■動画制作ミニ裏話
AI合奏システム開発者からの挑戦という動画です。
僕は初音ミクさんや星乃一歌ちゃんがとても好きで、結果的には好きな女の子達と仲良くなって、セッションをより成功させようとしてるような感じの動画です。
こちらの行動に合わせてくるAIは、自動演奏などに比べてかなりリアルに息づかいや感情を感じますね。しかし実際のところ、人間同士の合奏では、行動に合わせるだけではなく、ある程度お互いに演奏を先読みして合わせているところがあります。
今回のAIは、その「先読みして人間より先に音を出す」という行動はほぼ行ってこないため、その分のズレが生じます。ここが演奏が破綻する1つのポイントなので、AIと人間の合奏では人間同士の合奏よりもさらに人間側がテンポをリードしていく必要がある、と僕は感じました。
(そうすることによって、初音ミク&星乃一歌と息が合うように感じて気持ちよくなれる)
動画では人間側がリードして演奏のテンポ感が合ってきたら、今度は楽譜にない音を追加して、アレンジを始めています。しかし、AIは楽譜の音を指標にして演奏しているので、違う音を入れると次の音符だと誤認して、これも演奏が破綻してしまう原因となります。
そのギリギリを攻めるアレンジを考えて演奏してみました。
そうすることによって、初音ミク&星乃一歌に喜んでもらえたような気がして僕は気持ちよくなれるんです。皆さん、わかりますか?わかりませんよね。ハイ…。
お仕事等のご依頼はこちら yomi.piano4@gmail.com
動画の感想などの宛先はこちら 177.mirai@gmail.com

コメント

  1. みのり より:

    美しさや気持ち良さを求めて、ギリギリを攻めてるのは、分かります…はい。

  2. 佐藤和子 より:

    わかりますよ~!だってよみぃさんも前澤さんも本当に楽しそうですものwww二人の説明は説明というより独り言の大きなもの?頭を整理するために言葉にしているようでした。早口ですごく納得していて。。

  3. Sさとみ より:

    文章の初っ端から(^。^)笑いました。
    好きな女の子と仲良くなってって。
    動画が投稿された日、何度も動画をみて理解しましたよ。
    この文章を読んだ今日は、よみぃさんの気持ちが分かりました。
    2人に喜んでもらって、気持ちよくなれて良かったですね?

  4. おたま より:

    人間の脳は精密で複雑な作業をしている、会話なども耳ではなく脳で聴いていると聞いたことがあります。予測という事ですね。私のような単細胞生物にもそんな脳が備わっているのかと思うと驚嘆!いや、実は備わっていないのか?
    アレンジで違う音を次の音符だと誤認する所で、太鼓の達人でよみぃくんのアレンジの説明を思い出しました。人間はまだAIの先にいるんですね。
    お二人を見ていると研究って楽しいんだなと思いました。いつもお裾分けありがとうございます。

  5. そら より:

    そこは、わかりません(笑)
    息が合うと気持ちいいのは
    わかります!
    それを聞いて気持ちいいんですもんw

  6. happy より:

    AIとの合奏シリーズ動画って、よみぃさんと前園さんとの会話が難しくて正直完全に理解できてなかったんだけど、こうやって改めてよみぃさんが動画の内容を文章化してくれることで理解度がかなり増します(笑)
    今改めて動画を見ると「楽譜の音を指標にして演奏するAIが違う音だと誤認して演奏が破綻しないようなギリギリを攻めたアレンジ」も凄く良く分かるし、それによってよみぃさんが気持ちよさそうなことも分かりました!!!

  7. AKI より:

    AIとの合奏シリーズ動画って、よみぃさんと前園さんとの会話が難しくて正直完全に理解できてなかったんだけど、こうやって改めてよみぃさんが動画の内容を文章化してくれることで理解度がかなり増します(笑)
    今改めて動画を見ると「楽譜の音を指標にして演奏するAIが違う音だと誤認して演奏が破綻しないようなギリギリを攻めたアレンジ」も凄く良く分かるし、それによってよみぃさんが気持ちよさそうなことも分かりました!!!

  8. もぞなぎ より:

    よみぃさんこんばんは!

    とんでもない時代がやって来ましたね。人間の演奏に合わせて歌ってくれるピアノ!みくちゃ

    んと一歌ちゃんなんて凄すぎますよ!一度くらい出会ってみたいです?腰ぬかすかも!!

    これからのご活躍たのしみです!

  9. AKI より:

    前園✖︎
    前澤○
    誤記すみません?

  10. youko より:

    はい、分かったかもしれない?

  11. Ꮶ.SATUKI より:

    世界初AI合奏システム搭載させたピアノのこれからは 最先端の能力お持ちの前澤さんとよみいさんがどんな事をどんな風にしてくれるかで AIの反応も高度になり面白そうで凄いです わからなくても…ハイ 楽しみですね

  12. さとう より:

    赤ちゃんを抱くと眠ってくれる、ベットに下ろそうとすると泣く。また抱く。また泣く。延延3時間。
    そんな感じかな。わかりますか。わかりませんよね。ハイ…。だましだまし。

  13. より:

    たぶん内容の数%も理解できないと思うけど、前澤さんとよみぃさんの異次元で分かり合うAI談義をもっと聞いてみたいというこの欲は、なんなんでしょう。
    なんなら生配信で何時間でも垂れ流していただいても…

  14. tmin より:

    なるほどなるほど。先読みする人間の力も凄いですね!よみぃさんは、連弾も他の楽器との合奏も、AIとの合奏も得意。きっと、先よみぃ力が半端ないんですね。自分の演奏だけでなく、相手の挙動を予測する余裕があるんだなー。(よみぃさんの頭の中解説してくれる裏話、面白いです)

  15. yu ki より:

    『 先 読 み 』ですねwww 理解
    AIの先読みをリードする❔脳を分割して使える❔ 人間の進化系ですか❔凄すぎて
    訳分からなくて 私の脳が破綻する。
    裏話 ありがとうございます♪