OpenAIのwhisperで、処理した音声認識テキストを表示するアプリ

https://github.com/gh6141/QtMp3Srt.git 

OpenAIのwhisperで音声認識処理すると.srtというファイルができますが。これと音声ファイル（mp3)を一緒のフォルダに置いて使えるようにしてみました。ちょうど、映画の字幕のような感じで表示できます。-smallのオプションで、処理したものだと、たまに認識が間違って、若干ずれることもありますが、日本語以外等でいろいろ使えそうです。

pic16f628AによるDFplayer改良

 EPROMで、どの番号まで再生したか、不揮発メモリに記録できるようにした。フォルダは01のみとした。以前のフォルダ番号用スイッチを制御用（1回タッチで番号を進める、２回タッチで番号を減らす）とし、ファイル番号用スイッチは、１回目の連続タッチで１０の位、２回目の連続タッチで１の位を指定して入力できるようにした。（ただし、１０未満は、１回目のタッチを１０回タッチすると０になるようにした。）

dfPlayer、しかもPIC利用だとやはり、かなり制限があって、コーディングも難しかった。

#define _XTAL_FREQ 4000000 #pragma config FOSC = INTOSCCLK // Oscillator Selection bits (INTOSC oscillator: CLKOUT function on RA6/OSC2/CLKOUT pin, I/O function on RA7/OSC1/CLKIN) #pragma config WDTE = OFF #pragma config PWRTE = OFF #pragma config MCLRE = OFF #pragma config BOREN = ON #pragma config LVP = ON #pragma config CPD = OFF #pragma config CP = OFF #include <xc.h> #include <stdio.h> #include <stdlib.h> #include <string.h> void dfply(char, unsigned char); void dfply_(char, unsigned char,unsigned char) ; void convertToMorse(unsigned char,char * ) ; void playMorse(char* ) ; void dash(); void dot(); void play(unsigned char ,unsigned char); int dfply_qry(char, unsigned char, unsigned char ); unsigned char flg=0; unsigned char cnum=0; unsigned char cnumA=0; unsigned char cketa=2; unsigned char cfnum=0; //command unsigned char shokaif=1; int main(int argc, char** argv) { TRISA = 0b00011000; // RA3,4 input Ok TRISB = 0b00000010 ; // RB1(RX)はINPUT　RB2(TX)とその他は全てOUTPUT PORTA = 0b00000000; PCON = 0b00001000 ;//4MHz 内部クロックは４ＭＨｚとする CMCON = 0b00000111 ; // コンパレータは使用しない(RA0-RA4はデジタルピンで使用) VRCON = 0b00000000 ; // RA2はデジタルピンで使用する TXSTA = 0b00100100; // 高速ボーレート、送信有効 RCSTA = 0b10010000; // 受信有効、シリアルポート有効 SPBRG=25; //クロック数4Mhzなら：25、8Mhz：51、16:Mhz：103、32Mhz:207 __delay_ms(2000); dfply(0x06, 0x14); // vol 20 __delay_ms(1000); cnumA = eeprom_read(0x00); if (cnumA == 0xFF) { cnumA = 1; eeprom_write(0x00, 1); cketa=0; } while (1) { //RA2 LED if(flg==0 ){ //最初のみ点滅 RA2=1; __delay_ms(1); RA2=0; __delay_ms(1000); } while (RA3==1 && RA4==0 ){ //長押し　command cfnum++; dash(); __delay_ms(200); if(cfnum==1){ cnumA++; }else if(cfnum==2){ cnumA=cnumA-cfnum; } cketa=2; } while (RA3 == 0 && RA4==1){ //長押し　ファイルカウント 1の位 cnum++; dot(); flg=1; __delay_ms(200); if(cnum==10){cnum=0;} //十の位が０にしたいとき if(cketa==0&&cnumA>0){cnumA=0;} //dotにふれたら、cnumAは初期化　ただし、累積中はそのまま } if(flg){ flg=0; __delay_ms(500); cnumA=cnumA*10+cnum; cketa++; cnum=0; } if(cketa==2||shokaif==1){ cketa=0; cfnum=0; __delay_ms(500); char morseCode[15]; convertToMorse(cnumA,morseCode); playMorse(morseCode); __delay_ms(100); if(shokaif==0){ //立ち上げ時は、再生しないように play(1,cnumA); __delay_ms(100); eeprom_write(0x00, cnumA); __delay_ms(100); } shokaif=0; } __delay_ms(300); } return (EXIT_SUCCESS); } void play(unsigned char cfnum_,unsigned char cnum_){ dfply_(0x0f, cnum_, cfnum_); // 初期化再生 dfply(0x0d, 0); // 再生コマンド } void dfply(char cmd, unsigned char parameter){ dfply_(cmd,parameter,0); } void dfply_(char cmd, unsigned char file, unsigned char folder) { while (!TXIF); TXREG = 0x7E; while (!TRMT); while (!TXIF); TXREG = 0xFF; while (!TRMT); while (!TXIF); TXREG = 0x06; while (!TRMT); while (!TXIF); TXREG = cmd; while (!TRMT); while (!TXIF); TXREG = 0x00; // Param MSB while (!TRMT); while (!TXIF); TXREG = folder; // フォルダ while (!TRMT); while (!TXIF); TXREG = file; // ファイル while (!TRMT); while (!TXIF); TXREG = 0xEF; while (!TRMT); } void dot() { RA2=1; __delay_ms(100); RA2=0; __delay_ms(100); } void dash() { RA2=1; __delay_ms(300); RA2=0; __delay_ms(100); } void playMorse(char* morseCode) { int i = 0; // ループカウンタを初期化 while (morseCode[i] != '\0') { // 終端文字である '\0' をチェック if (morseCode[i] == '.') { dot(); // 点を表す関数を呼び出し } else if (morseCode[i] == '-') { dash(); // 線を表す関数を呼び出し } else if (morseCode[i] == ' ') { __delay_ms(300); // スペースの場合は遅延 } i++; // 次の文字へ進む } } void convertToMorse(unsigned char num, char* result) { // Morse code for numbers 0-9 char* morseNumbers[] = { "-----", // 0 ".----", // 1 "..---", // 2 "...--", // 3 "....-", // 4 ".....", // 5 "-....", // 6 "--...", // 7 "---..", // 8 "----." // 9 }; char temp[20] = ""; // 一時的な結果を保存する配列 result[0] = '\0'; // 結果を初期化 // 処理対象の数字が 0 の場合は特別扱い if (num == 0) { strcpy(result, morseNumbers[0]); return; } while (num > 0) { int digit = num % 10; // 現在の桁を取得 strcpy(temp, morseNumbers[digit]); // 桁のモールスコードを取得 strcat(temp, " "); // 桁ごとにスペースを追加 strcat(temp, result); // 既存の結果に連結 strcpy(result, temp); // 結果を更新 num /= 10; // 次の桁へ } }

OpenAIのWhisperがローカル実行でかなりの認識率

 最近は、音声認識が、無料でしかもローカル実行で正確に認識できるのには驚きました。コマンドラインで実行できるので、アプリの中で活用できてとても便利だと思います。

バッチファイルです。途中のパスを通すところは、ffmpegのあるパスです。

radio2text.bat

@echo off setlocal REM ===== 設定 ===== set WHISPER_MODEL=small set LANG=en REM ===== 引数チェック ===== if "%~1"=="" ( echo Usage: radio2text.bat input_audio exit /b 1 ) set INPUT=%~1 set BASE=%~n1 REM ===== 音声変換 ===== set PATH=D:\video;%PATH% ffmpeg -y -i "%INPUT%" -ac 1 -ar 16000 "%BASE%.wav" REM ===== 文字起こし ===== whisper "%BASE%.wav" ^ --language %LANG% ^ --model %WHISPER_MODEL% ^ --output_format txt echo Done: %BASE%.txt endlocal

.m4aなど、いったん.wavに変換してから処理しています。

LANGはenが英語、jaが日本語　--languageないとどちらも出します

--output_format srt で時間付き字幕

Qt使えば

if (line.contains(QRegularExpression("[ぁ-んァ-ン一-龯]"))) {

    // 日本語

} else {

    // 英語

}

のように分けたりもできそうです。

※なお、準備としては ffmpeg以外に、python3.9以上で

pip install -U openai-whisper

をインストールするだけで動くようです。

Qtで最下行へスクロールする方法について

 Qtでは、行数が多くなると最下行へのスクロールが難しい仕様？のようです。

　実際のWigetの行サイズとかもあり、すべてを反映して正確なスクロール量を割り出すのが難しいという問題もある？ちょうど、エクセルなどで印刷イメージと編集画面で微妙にずれたりするのと同じ困難さかもしれませんが。

　こういうときは、泥臭い方法で、実際に繰り返し試しながらスクロール量を割り出すしかないのかもしれません。その旨、ChatGPTに伝えたところ、以下のコードを作ってくれました。なんとか、うまくいきました。

void KakeiboTable::scrollDown(){
    QScrollBar* bar = view->verticalScrollBar();
    if (!bar) return;
    int lastMax = -1;
    QTimer* timer = new QTimer(this);
    connect(timer, &QTimer::timeout, this, [=]() mutable {
        int curMax = bar->maximum();
        bar->setValue(curMax);
        if (curMax == lastMax) {
            timer->stop();
            timer->deleteLater();
        }
        lastMax = curMax;
    });
    timer->start(0);
}

Unityで縦列駐車シミュレーションをつくってみた

 WebGLで縦列駐車のシミュレーションできるようにしてみた。実車の運転前に、シミュレーションでコツをつかんでおくと役立つかもしれません。

https://github.com/gh6141/Parking.git(source code)

https://gh6141.github.io/WebGL-Parking/(シミュレーション)

上下左右の矢印で操作し、Spaceでブレーキです

ホンダのサイトで縦列駐車の方法が出ていました

※Github PageでWebGLを使うには、zip圧縮はしないほうがいいようです。パフォーマンスレベルはできるだけLow側にするとうまく動作するようです。

釣り竿アンテナの接触不良対策

 釣り竿アンテナ(カーボン）に銅箔テープを貼ったものをアンテナとして使っていましたが、接続部がどうしても接触不良起こしやすく、SWRも安定しにくくなってきたので、試しに金属クリップを使ったら比較的調子がよくなり５９＋レポートもらえるようになりました。境目よりなるべくぎりぎり上のほうをはさむとうまくいくようです。

関数解析（宮寺功著）

 文庫本で関数解析が読めるということで購入してみました。早速、壁にぶつかりましたが。

P40　定理２．２で、(x,y)=||(x+y)/2||^2-||(x-y)/2||^2+i||(x+iy)/2||^2-i||(x-iy)/2||^2の定義で(x,y)=(y,x)の共役　が言えるのかどうか？　||x+y||^2+||x-y||^2=2||x||^2+2||y||^2を使うとうまくできるようです。

注意が必要なのは、(x,y)=||(x+y)/2||^2-||(x-y)/2||^2+i||(x+iy)/2||^2-i||(x-iy)/2||^2の共役をとるとき、|| ||のなかにあるiの符号は変えてはいけないということ？うっかりけてしまいそうですが、外側のiは符号変えてもいいですが、ここがたぶん注意点？