音频工具箱

音声分析,音響測定,オーディオ処理システム

音频工具箱™には,オーディオ处理,音声分析,音响测定用のツールが备わっています。これには,オーディオ信号处理(イコライゼーションやダイナミックレンジコントロールなど)のアルゴリズムと音响测定(インパルス応答の推定,オクターブフィルター,知覚重み付けなど)が含まれます。また,音响·音声特徴の抽出(MFCCやピッチなど)や,音声信号の変换(ガンマトーンフィルターバンクやメル周波数スペクトログラムなど)のアルゴリズムもあります。

音频工具箱のアプリで,アルゴリズムのライブテスト,インパルス応答测定,音声信号のラベリングを行えます.ASIO,WASAPI,ALSA,CoreAudio的のサウンドカードとMIDIデバイスへのストリーミング用インターフェイス,およびVSTや音频单元などの标准的なオーディオプラグインの生成とホスティング机能が搭载されています。

音频工具箱を使用すれば,機械学習とディープラーニング用に音声データセットのインポート,ラベリング,水増しだけでなく,特徴の抽出と音声信号の変換も行えます。オーディオ処理アルゴリズムのリアルタイムのプロトタイピングでは,レイテンシの小さな信号をストリーミングしつつ,信号のプロットを目で見ながらパラメーターを調整します。また,製作したアルゴリズムからオーディオプラグインを作成し,デジタルオーディオワークステーションなどの外部のホストアプリケーションで実行することにより,アルゴリズムを検証することもできます。プラグインをホストするときは,外部のオーディオプラグインを,MATLAB®の配列を処理する通常のオブジェクトと同じように取り扱えます。サウンドカードを接続することにより,実際の音声信号と音響システムを,いろいろな設定を変えて測定することができます。

详细を见る:

オーディオのストリーミングとサウンドカードの使用

标准的なラップトップやデスクトップコンピューターのサウンドカードに接続して,ファイルでも生音声でも,レイテンシの小さなマルチチャネルオーディオをストリーミング可能

標準的なオーディオドライバとの接続

USBや迅雷™のサウンドカードと标准的なオーディオドライバ(ASIO,WASAPI,CoreAudio的,ALSA)を使用して时,Windows®、Mac®,Linux的®のコンピューターでオーディオファイルを読み书きできます。

マルチチャネルサウンドカード

レイテンシの小さなマルチチャネルオーディオストリーミング

MATLABで生音声をミリ秒単位の小さな往復レイテンシで処理できます。

4チャネルのマ​​イクアレイからの生音声の入力

机械学习とディープラーニング

音声データセットのラベリング,水増し,作成,および取り込み,特徴抽出,時間周波数解析由和机器学习工具箱™,深度学习工具箱™,他の機械学習ツールで音声分析手法を開発。

音声の特徴抽出

メル周波数ケプストラム係数(MFCC)ガンマトーンケプストラム係数(GTCC)ピッチ,調和性,スペクトル記述子などの低レベルの特徴を抽出して解析します。時系列を取り扱うディープラーニングアーキテクチャ(LSTM層など)で特徴抽出を行います。

复数単语の音声认识(上)の推定されたピッチ(下)

時間周波数解析

変形离散コサイン変换(MDCT),短时间フーリエ変换(STFT),またはもう少し単纯なメル周波数スペクトログラムを使用して,信号の时间周波数への変化を表します。ガンマトーンフィルターバンクを使用して取り出された人间の聴覚の周波数帯によって,信号を分解します0.2次元データを取り扱うディープラーニングモデル(CNN层など)で,时间周波数解析を行います。

音声コマンドのライブメルスペクトログラム

オーディオデータセットのラベリングと作成

音声を录音し,そのデータセットに地面实测ラべリングを行います。クラウドベースの音声认识サービスを利用して自动的に音声を书き起こします。

音频贴标アプリの关心领域のラベル

大規模なオーディオデータセットの取り込み

audioDatastoreを使用して,大量の录音データにインデックスをつけて読み取ります。オーディオファイルのリストをラベルに従ってランダムに分割します。データの水増し,时间周波数解析,および特徴抽出处理を高大配列を使用して并列化します。

谷歌音声コマンドデータセットを指定しているデータストア

オーディオ处理アルゴリズムとオーディオエフェクト

標準的な波形の生成,一般的なオーディオエフェクトの適用,およびパラメーターの動的な調整と可視化によるオーディオ処理システムの設計

オーディオフィルターとイコライザー

パラメトリックイコライザーとグラフィックイコライザー,シェルビング,可変勾配フィルターをモデル化して適用します。デジタルクロスオーバーフィルター,オクターブバンドフィルター,1 / Nオクターブバンドフィルターを設計してシミュレートします。

3バンドのクロスオーバーフィルターを実際にプロットを見ながら調整

ダイナミックレンジコントロールとエフェクト

ダイナミックレンジを处理するアルゴリズム(コンプレッサー,リミッター,エキスパンダー,ノイズゲートなど)をモデル化して适用します。再帰的パラメトリックモデルで人工的な残响を付加します。

コンプレッサーによるダイナミックレンジの圧縮を対話形式で調整

ブロック線図を使用したシステムのシミュレーション

万博1manbetx®のオーディオ处理ブロックライブラリを使用して,システムモデルの设计およびシミュレーションを行います。対话型コントロールと动的に変化するプロットを使用して,パラメーターを调整しシステムの动作を确认できます。

万博1manbetxSimulink中のマルチバンドダイナミックレンジコンプレッサーモデルの详细

リアルタイムのオーディオ处理プロトタイピング

MATLABでリアルタイムで試聴しながらオーディオ処理アルゴリズムを検証

パラメーターをリアルタイムで调整できるユーザーインターフェイス

オーディオ処理アルゴリズムのパラメーターを調整するためのユーザーインターフェイスが自動的に作成されます。オーディオテストベンチアプリで個々のアルゴリズムをテストし,自動的に生成されたコントロールを使って,実行中のプログラムのパラメーターを調整できます。

オーディオテストベンチを使用して,独自の3バンドパラメトリックイコライザーを対話形式で調整

MIDIに接続してパラメーターを制御,メッセージを送受信

MIDIのコントロールサーフェスを使用してMATLABのアルゴリズムのパラメーターを対話形式で変更します.MIDIのさまざまなメッセージを送受信することにより,外部のハードウェアを制御したり,イベントに応答したりできます。

シンセサイザー用にMATLABで記述したMIDIメッセージと音声信号の流れ

音響測定と空間音響

音响システムの応答の测定,信号の测定と解析,空间オーディオ处理システムの设计

標準規格に基づいた測定と解析

録音またはライブ音声の音圧レベル(SPL)とラウドネスを測定します。オクターブバンドフィルターと1 / Nオクターブバンドフィルターを使用して信号を解析します。生音声を録音したデータに,標準規格に準拠したA、C、K重み付けフィルターを適用します。

2/3オクターブバンドの音圧レベルの測定値をグラフィックで表示

インパルス応答の測定

最長シーケンス(MLS)と対数掃引正弦波(ESS)を使用して音響システムのインパルス応答と周波数応答を測定します。インパルス応答測定アプリを使用します。励起信号の生成と応答の推定をプログラミングして,測定を自動化します。

インパルス応答測定アプリ

室内のインパルス応答の効率的な畳み込み

周波数領域の重畳加算法または重畳保留法を使用して,インパルス応答の長い信号を効率よく畳み込みます。インパルス応答の自動分割を行って,計算の遅延をなくします。

5秒以上持続しているインパルス応答(サンプル個数220000人,44100赫兹)

空间音响

さまざまなアンビソニックフォーマットにエンコードおよびデコードします。空間でサンプリングした頭部伝達関数(电火花冲激)を補間します。

望ましい音源の位置とHRTFを测定可能な至近距离と角度の例

オーディオプラグインの生成とホスティング

MATLABで标准オーディオプラグインとして记述したオーディオ处理アルゴリズムをプロトタイピング。外部のオーディオプラグインを通常のMATLABオブジェクトとして使用。

オーディオプラグインの生成

VSTおよび他のタイプのオーディオプラグインをMATLABコードから直接生成します。ユーザーインターフェイスを手动で设计する必要はありません。复雑なプラグインをプロトタイピングする场合は,MATLAB编码器™で,即ビルド可能なJUCEC ++プロジェクトを生成します。

マルチバンドパラメトリックイコライザーの例:MATLABコードから生成し,死神で実行している威仕特プラグイン

外部のオーディオプラグインのホスティング

外部のVSTプラグインとAUプラグインを通常のMATLABオブジェクトとして使用します。プラグインのパラメーターを変更し,MATLAB配列の处理をプログラミングします。または,プラグインのパラメーターを,ユーザーインターフェイスとMIDIのコントロールに自动的に关连付けます.MATLABコードから生成したプラグインをホストし,效率よく実行できるようにします。

オーディオノイズ除去用の外部VSTプラグイン(Accusonus ERA-N)とMATLABのプログラミングインターフェイスの例

ターゲットの組み込みおよびリアルタイムのオーディオシステム

Çコードを生成するアドオン制品を使用してオーディオ处理の设计机能をソフトウェアデバイスに组み込み,マルチチャネルオーディオインターフェイスに自动接続します。

低価格製品とモバイルデバイス

内蔵または外部のマルチチャネルオーディオインターフェイスを使用して,覆盆子π™でオーディオ処理システムをプロトタイピングします.Android®または的iOSデバイス用のモバイルアプリとなる対话型コントロールパネルを作成します。

覆盆子π3のボード

ゼロレイテンシシステム

适応型ノイズコントロール,补聴器の検查など,DSPの往复レイテンシを小さくする必要のある场合の,単一サンプルを入出力するオーディオ处理システムのプロトタイピングを行います.S万博1manbetximulinkモデルでは直接,的SpeedgoatオーディオマシンとST发现ボードを自动的にターゲットマシンとして使用します。

新机能

ISO 532-1またはISO 532-2に基づいた知覚ラウドネスおよびDIN 45692に基づいた知覚シャープネスの计测

音声セグメンテーション

オーディオ録音で音声領域の境界を検知

GPU上でのMFCC

GPUカード上でメル周波数ケプストラム係数を算出して展開(MATLABの高速化に并行计算工具箱,およびCUDAコード生成にGPU编码器が必要)

クラウドサービスを介した音声合成

テキスト文字列から合成音声サンプルを作成(サードパーティサービスのアカウントが必要)

新しいオーディオソースブロック

発振器とウェーブテーブル合成により仿万博1manbetx真软件で周期的波形を生成

MATLABオーディオプラグインからのスタンドアロンアプリ

オーディオの入出力接続を备えたオーディオプラグインの,スタンドアロン実行可能バージョンを生成

音声特徴抽出のためのライブタスク

MATLAB实时编辑を使用して特徴抽出パイプラインを対話的に設定

これらの机能および対応する关数の详细については,リリースノートを参照してください。