同期歌詞を自動生成するソフト CTCLRCをリリース
音声ファイルと歌詞(.txt)を入れるだけで、同期歌詞を自動生成するソフト CTCLRCをリリースしました。
歌詞を基準に各行のタイミングを推定
✅ GUI ✅ 初回のみモデルを自動ダウンロード(オフライン版のビルドにも対応) ✅ OSS
カラオケ、歌詞制作などにぜひ。
https://github.com/Kdroidwin/CTCLRC
余談
要求スペックはそこそこ高いです。
実は以前はWhisperXというツールをベースにしていたが精度があまり良くなくこちらのctc-forced-aligner MahmoudAshraf/mms-300m-1130-forced-aligner をベースにしたという経緯がある。
3億パラメータは Open AI Chat GPT2 レベルと同じくらいの数だがこちらのツールはアライナーだけなので同じ精度とは思わないでください。アライナーとしてはかなりパラメータが多くかなり精度が良いです。
これはAIを利用したものですが、LLMを利用したものではありません。