ステムとは何か — 完成した曲を本当に分解できるのか

本来の意味でのステム

ステムは残りと切り離しておくパート別のまとまりです。ドラムはドラムだけ、ボーカルはボーカルだけで一つのファイルになります。マスタリングエンジニアやリミキサー、ライブの音響担当が、他に触れずに一つのパートだけを扱えるようにするために存在します。

本物のステムは、単に誰かが残しておいたファイルです。それがあるなら推定するものは何もありません — そもそも合わされていないからです。

分離はそれとは別の作業です

ミックスが終わると、すべてのパートは2チャンネルの音に足し合わされます。その足し算は元に戻せません。個々のパートはファイルのどこにももう存在しません。

だから分離モデルはそれを取り戻しているのではありません。推定しています — この混ざった音が与えられたとき、各パートは単体でどう聞こえていたのだろうか。十分な量の音楽を聴いてその推測がとても上手になっていますが、推測であることは変わりません。

結果に独特の性格が出るのはそのためです。パートごとに聴くとたいていもっともらしく、他のパートの痕跡が薄く残り、音が密な箇所では水中のような、にじんだ感じになります。直すべき欠陥ではなく、推定の音です。

何が出てくるのか

4本です。ボーカル・ドラム・ベース、そして残り全部。最後のものはモデルの手落ちではなく、ギター・鍵盤・弦・シンセのように前の3つでないすべてを入れる枠です。ピアノが中心の曲なら、ピアノは「その他」に入っています。

ステムはすべて原曲と同じ長さで、時間もぴったり合います。編集ソフトにそのまま載せてもずれません。

どれくらいうまくいくのか、数字で確かめました

「回ってファイルが4つ出た」は何も証明しません。もっともらしい粥が4つでも同じに見えるからです。そこで材料を正確に知っている音を作って入れました — 話し声、ベースの代わりの60Hz正弦波、ドラムの代わりの短い雑音の打点。そのうえで出てきた各ステムを、既知の各材料と相関係数で比べました。

各ステムは自分の材料とほぼちょうど1.0、他とはほぼちょうど0でした。ドラムのステムには雑音の打点が入っていて実質それだけ、ベースのステムには正弦波が入っていて実質それだけでした。

この試験は分離が実際に起きていて配線が正しいことを証明します。どんな曲でもきれいに分かれることを証明するものではありません — 実際の音楽は合成音よりずっと難しく、層が厚い曲や強く圧縮されたマスターはさらに難しくなります。

遅いのは、手法についての事実です

分離は波形全体をニューラルネットワークに通します。7.8秒の音の処理に15.1秒かかることを計測しました — おおよそ実時間の2倍です。ですから1曲まるごとなら6分を超えます。

だからツールは30秒の試聴で動き、ブラウザーのタブで6分の作業をこっそり始めて残ってくれることを期待する代わりに、押す前にその数字を言います。

分離したからといって使う権利は生まれません

商業音源からボーカルを取り出しても、その録音の権利者は変わりません。伴奏に合わせて練習する、編曲を勉強する、自分のために何かを作る — それと、結果物を公開したり配布したりすることは別の話で、分離はそこに何の影響も与えません。

ここに読み込ませたものは端末を離れません — ただしそれはプライバシーについての話であって、ライセンスについての話ではありません。