dfplayerをesp32C3で動かしてみた

dfplayerはネットラジオをraspiでタイマー録音した英語教材 をmicroSDにもってきて再生、whisper使って音声認識したテキストをrapiにおいてwifiで読み取ったものをOLEDで表示できるようにしてみた（Qtで準備のためのツールも作成）。LGT8F328Pを使っていたけれど動作が不安定になってきたので、esp32c3に置き換えたついでに、テキスト表示できるようにバージョンアップしてみた。数百円で入手できるので、コスパがとてもよくなっていると思う。

GPIO5:IN2  ...file番号２桁を順に長押しで入れる。モード切り替えたら、テキスト番号のインクリメントをする。

GPIO6:IN1 ...Cmd機能とし、長押し１回でファイル番号をインクリメント、長押し２回以上でデクリメント。モード切り替えたら、テキスト番号のデクリメント

GPIO7:IN3 ...モード切替。テキスト番号を変更して表示するようにした。

esp32C3は小型のわりに機能満載で、便利に使える。

***********code for esp32C3***************************** #include <Wire.h> #include <WiFi.h> #include <HTTPClient.h> #include <ArduinoJson.h> #include <Adafruit_GFX.h> #include <Adafruit_SSD1306.h> #include <HardwareSerial.h> #include <Preferences.h> #include <DFRobotDFPlayerMini.h> DFRobotDFPlayerMini dfplayer; const char* NVS_NS = "config"; #define SCREEN_WIDTH 128 #define SCREEN_HEIGHT 64 #define IN1 6 #define IN2 5 #define IN3 7 #define OUT 3 Adafruit_SSD1306 display(SCREEN_WIDTH, SCREEN_HEIGHT, &Wire, -1); HardwareSerial dfSerial(1); // UART1 const char* ssid = "******"; const char* pass = "********"; String url = "http://192.*.*.*:8888/py/srt?srt=/mnt/oldnas/RadioEnglish_txt/"; unsigned char flg=0; unsigned char cnum=0; unsigned char cnumA; unsigned char cketa=2; unsigned char cfnum=0; //command unsigned char shokaif=1; unsigned char dispmodeFlg = 0; int number = 0; // 表示用カウンタ char buf[64]; void setup() { Serial.begin(115200); delay(1000); WiFi.mode(WIFI_STA); Wire.begin(8, 9); // SDA=8, SCL=9（ESP32-C系ならOK） if (!display.begin(SSD1306_SWITCHCAPVCC, 0x3C)) { Serial.println("SSD1306 init failed"); while (true); } display.clearDisplay(); display.setTextSize(1); // 文字サイズ（1～2程度が実用） display.setTextColor(SSD1306_WHITE); display.setCursor(0, 0); display.println("OLED Ready"); display.display(); if (WiFi.status() != WL_CONNECTED) { delay(500); WiFi.begin(ssid, pass); WiFi.setTxPower(WIFI_POWER_8_5dBm); // 出力を約半分に落とす delay(100); while (WiFi.status() != WL_CONNECTED) { delay(500); display.print("."); display.display(); } } pinMode(IN1, INPUT_PULLDOWN); pinMode(IN2, INPUT_PULLDOWN); pinMode(IN3, INPUT_PULLDOWN); pinMode(OUT, OUTPUT); digitalWrite(OUT, LOW); // UART1: RX=21, TX=20 dfSerial.begin(9600, SERIAL_8N1, 21, 20); delay(50); if(!dfplayer.begin(dfSerial)) { Serial.print("fail"); } delay(50); display.clearDisplay(); display.setCursor(0, 0); display.println("Ready.Press CmdTouch"); display.display(); dfplayer.volume(18); // 0～30 delay(500); cnumA = loadValue("cnumA"); delay(500); //resp("019.srt&time=00:01:10"); //number=1; //check(); inputNum(); } void loop(){ } void check(){ char numStr[4]; sprintf(numStr, "%03d", cnumA); sprintf(buf, "%s.srt&number=%d", numStr, number); resp(buf); // 送信 } void resp(String param){ HTTPClient http; http.begin(url+param); int code = http.GET(); if (code == 200) { String payload = http.getString(); display.clearDisplay(); display.setTextSize(1); display.setCursor(0, 0); display.print("No.:"); display.print(cnumA); display.print("---"); display.println(number); display.println("---"); display.println(payload); display.display(); }else{ display.clearDisplay(); display.setTextSize(2); display.setCursor(0, 0); display.print("No.:"); display.print(cnumA); display.println("File Not Exist."); display.display(); } http.end(); } int inputNum(){ //dfplayer.stop(); while(1){ //RA2 LED if(flg==0 ){ //最初のみ点滅 digitalWrite(OUT, HIGH); delay(1); digitalWrite(OUT, LOW); delay(1000); } while (digitalRead(IN1) == HIGH && digitalRead(IN2) == LOW && dispmodeFlg==0){ //長押し　command 1回：次へ　２回以上：前にもどる &再生開始 cfnum++; dash(); delay(200); if(cfnum==1){ cnumA++; }else if(cfnum==2){ cnumA=cnumA-cfnum; } cketa=2; } while (digitalRead(IN1) == LOW && digitalRead(IN2) == HIGH && dispmodeFlg==0){ //長押し　ファイルカウント 10の位　少し時間おいて　1の位 cnum++; dot(); flg=1; delay(200); if(cnum==10){cnum=0;} //十の位が０にしたいとき if(cketa==0&&cnumA>0){cnumA=0;} //dotにふれたら、cnumAは初期化　ただし、累積中はそのまま } if (digitalRead(IN3) == HIGH && dispmodeFlg==0){ //mode change // dfplayer.stop(); display.clearDisplay(); display.setCursor(0, 0); display.println("Mode changed"); display.display(); dash(); dispmodeFlg=1; flg=1; } if(dispmodeFlg==1 && digitalRead(IN1) == HIGH && digitalRead(IN2) == LOW ){ //　prev if(number>1){ number--; dot(); delay(50); check(); delay(50); } } if(dispmodeFlg==1 && digitalRead(IN1) == LOW && digitalRead(IN2) == HIGH ){ //　next number++; dot(); delay(50); check(); delay(50); } if(flg && dispmodeFlg==0){ flg=0; delay(500); cnumA=cnumA*10+cnum; cketa++; cnum=0; } if((cketa==2||shokaif==1)&& dispmodeFlg==0){ cketa=0; cfnum=0; delay(500); char morseCode[15]; convertToMorse(cnumA,morseCode); playMorse(morseCode); delay(500); if(shokaif==0){ //立ち上げ時は、再生しないように //play(1,cnumA); saveValueIfChanged("cnumA", cnumA); delay(500); display.clearDisplay(); display.setCursor(0, 0); display.println("fileNum:"); display.setTextSize(3); display.print(" "); display.println(cnumA); display.setTextSize(1); display.println(" --Saved"); display.display(); dfplayer.playFolder(1, cnumA); delay(100); } shokaif=0; } delay(300); } } void dot() { digitalWrite(OUT, HIGH); delay(100); digitalWrite(OUT, LOW); delay(100); } void dash() { digitalWrite(OUT, HIGH); delay(300); digitalWrite(OUT, LOW); delay(100); } void playMorse(char* morseCode) { int i = 0; // ループカウンタを初期化 while (morseCode[i] != '\0') { // 終端文字である '\0' をチェック if (morseCode[i] == '.') { dot(); // 点を表す関数を呼び出し } else if (morseCode[i] == '-') { dash(); // 線を表す関数を呼び出し } else if (morseCode[i] == ' ') { delay(300); // スペースの場合は遅延 } i++; // 次の文字へ進む } } void convertToMorse(unsigned char num, char* result) { // Morse code for numbers 0-9 char* morseNumbers[] = { "-----", // 0 ".----", // 1 "..---", // 2 "...--", // 3 "....-", // 4 ".....", // 5 "-....", // 6 "--...", // 7 "---..", // 8 "----." // 9 }; char temp[20] = ""; // 一時的な結果を保存する配列 result[0] = '\0'; // 結果を初期化 // 処理対象の数字が 0 の場合は特別扱い if (num == 0) { strcpy(result, morseNumbers[0]); return; } while (num > 0) { int digit = num % 10; // 現在の桁を取得 strcpy(temp, morseNumbers[digit]); // 桁のモールスコードを取得 strcat(temp, " "); // 桁ごとにスペースを追加 strcat(temp, result); // 既存の結果に連結 strcpy(result, temp); // 結果を更新 num /= 10; // 次の桁へ } } int loadValue(const char* name) { Preferences prefs; prefs.begin(NVS_NS, true); int v = prefs.getInt(name, 0); prefs.end(); return v; } void saveValueIfChanged(const char* name, int v) { Preferences prefs; prefs.begin(NVS_NS, false); if (!prefs.isKey(name)) { prefs.putInt(name, v); // 初回は必ず保存 } else { int old = prefs.getInt(name, v); if (old != v) { prefs.putInt(name, v); } } prefs.end(); } **********code for bottle of raspi********************************************* def read_file(fpath): if not os.path.exists(fpath): return [] with open(fpath, "r") as f: return f.readlines() def read_file_as_text(fpath): lines = read_file(fpath) return "".join(lines) def write_log(lines): with open(LOG_FILE, "w") as f: f.writelines(lines) pattern = re.compile( r"(\d+)\s+" r"(\d{2}:\d{2}:\d{2},\d{3})\s+-->\s+" r"(\d{2}:\d{2}:\d{2},\d{3})\s+" r"(.*)" ) def parse_srt(text): result = [] for m in pattern.finditer(text): result.append({ "index": int(m.group(1)), "start": m.group(2), "end": m.group(3), "text": m.group(4) }) return result def get_start_and_text(subs, number): for sub in subs: if sub["index"] == number: return sub["start"], sub["text"] return None, None # 見つからなかった場合 def time_str_to_sec(s): # s = "hh:mm:ss" h, m, sec = map(int, s.split(":")) return h*3600 + m*60 + sec def get_sub_by_time(subs, t_sec): """ subs: parse_srtで得た [{index, start, end, text}, ...] t_sec: 秒(float)で指定 """ for sub in subs: # startを秒に変換 h, m, s_ms = sub["start"].split(":") s, ms = s_ms.split(",") start_sec = int(h)*3600 + int(m)*60 + int(s) + int(ms)/1000 if start_sec >= t_sec: return sub["start"], sub["text"] return None, None @app.route('/py/srt') def srt_handler(): srt_fname = request.query.srt #?srt=filename number=int(request.query.number) #number=何番目の文か #time_param = request.query.time #time_param = request.query.get("time") lines = read_file_as_text(srt_fname) subs=parse_srt(lines) if number: # 番号指定 start, text = get_start_and_text(subs, number) if start is None: response.status = 404 return "subtitle not found" return text else: response.status = 404 return "file Not found"

esp32-c3のWIFI不具合

 アリエクで購入したESP32-C3は、大丈夫だったのですが、某サイトで購入したほうは、WIFIがだめで、ハードの不具合かと別のもの注文してしまったのですが、どうやら、原因は送信出力にあるようで、半分の出力にしたらうまく動作しました。

  WiFi.setTxPower(WIFI_POWER_8_5dBm); // 出力を約半分に落とす

関数解析P69 閉包による集合の包含関係

 Aの閉包＋Aの閉包⊂A＋Aの閉包　という性質を使っている式の変形があり、なぜだろうと気になり、調べてみた。

　A={(x,0)|x∈Ｒ}　　B={(x,1/x)|x>0} (双曲線の正の部分）

・Ａ＋Ｂ＝{(x+u,1/u)|x∈R,u>0}  これは、よく考えたら、y>0の上半面で、ｘ軸は除く領域

・Ａ＋Ｂの閉包は、ｘ軸も入る。

・ＡもＢも閉集合なのでＡの閉包＋Ｂの閉包＝Ａ＋Ｂ

　　よって　Ａの閉包＋Ｂの閉包⊂Ａ＋Ｂの閉包

今回は、chatGPTよりもgoogleのＡＩのほうが、的確な回答がもらえた。

SO-02Lスマホがなぜか、突然WIFI接続できなくなる

 古いスマホなので、新しいWIFIアクセスポイントと合わなくなってきたようだ。これまでWPA/WPA2-PSK（AES）からWPA2-PSK(AES)にしてみたら解決。複雑なネゴシエーションがあると、うまくいかないこともあるから？かもしれません。また、SSIDも同じでないほうがいいようです。以前は、同じにしてローミングできるようにしていましたが、家庭用レベルでは、最近はあまり推奨されないようです。業務等ではきちんと本格的なシステムにしないとローミングは難しいようです。

※その後、よく確認したら、どうもアクセスポイントの故障のようでした。新しいアクセスポイントに変えたら、動作Okでした。ローミングが原因かとうかは、よく確認していませんが、いずれにしろ、SSIDのローミングは、家庭用では、今回のような不具合があると原因がつかみにくいので、やめたほうがいいかもしれません。

OpenAIのwhisperで、処理した音声認識テキストを表示するアプリ

https://github.com/gh6141/QtMp3Srt.git 

OpenAIのwhisperで音声認識処理すると.srtというファイルができますが。これと音声ファイル（mp3)を一緒のフォルダに置いて使えるようにしてみました。ちょうど、映画の字幕のような感じで表示できます。-smallのオプションで、処理したものだと、たまに認識が間違って、若干ずれることもありますが、日本語以外等でいろいろ使えそうです。

pic16f628AによるDFplayer改良

 EPROMで、どの番号まで再生したか、不揮発メモリに記録できるようにした。フォルダは01のみとした。以前のフォルダ番号用スイッチを制御用（1回タッチで番号を進める、２回タッチで番号を減らす）とし、ファイル番号用スイッチは、１回目の連続タッチで１０の位、２回目の連続タッチで１の位を指定して入力できるようにした。（ただし、１０未満は、１回目のタッチを１０回タッチすると０になるようにした。）

dfPlayer、しかもPIC利用だとやはり、かなり制限があって、コーディングも難しかった。

#define _XTAL_FREQ 4000000 #pragma config FOSC = INTOSCCLK // Oscillator Selection bits (INTOSC oscillator: CLKOUT function on RA6/OSC2/CLKOUT pin, I/O function on RA7/OSC1/CLKIN) #pragma config WDTE = OFF #pragma config PWRTE = OFF #pragma config MCLRE = OFF #pragma config BOREN = ON #pragma config LVP = ON #pragma config CPD = OFF #pragma config CP = OFF #include <xc.h> #include <stdio.h> #include <stdlib.h> #include <string.h> void dfply(char, unsigned char); void dfply_(char, unsigned char,unsigned char) ; void convertToMorse(unsigned char,char * ) ; void playMorse(char* ) ; void dash(); void dot(); void play(unsigned char ,unsigned char); int dfply_qry(char, unsigned char, unsigned char ); unsigned char flg=0; unsigned char cnum=0; unsigned char cnumA=0; unsigned char cketa=2; unsigned char cfnum=0; //command unsigned char shokaif=1; int main(int argc, char** argv) { TRISA = 0b00011000; // RA3,4 input Ok TRISB = 0b00000010 ; // RB1(RX)はINPUT　RB2(TX)とその他は全てOUTPUT PORTA = 0b00000000; PCON = 0b00001000 ;//4MHz 内部クロックは４ＭＨｚとする CMCON = 0b00000111 ; // コンパレータは使用しない(RA0-RA4はデジタルピンで使用) VRCON = 0b00000000 ; // RA2はデジタルピンで使用する TXSTA = 0b00100100; // 高速ボーレート、送信有効 RCSTA = 0b10010000; // 受信有効、シリアルポート有効 SPBRG=25; //クロック数4Mhzなら：25、8Mhz：51、16:Mhz：103、32Mhz:207 __delay_ms(2000); dfply(0x06, 0x14); // vol 20 __delay_ms(1000); cnumA = eeprom_read(0x00); if (cnumA == 0xFF) { cnumA = 1; eeprom_write(0x00, 1); cketa=0; } while (1) { //RA2 LED if(flg==0 ){ //最初のみ点滅 RA2=1; __delay_ms(1); RA2=0; __delay_ms(1000); } while (RA3==1 && RA4==0 ){ //長押し　command cfnum++; dash(); __delay_ms(200); if(cfnum==1){ cnumA++; }else if(cfnum==2){ cnumA=cnumA-cfnum; } cketa=2; } while (RA3 == 0 && RA4==1){ //長押し　ファイルカウント 1の位 cnum++; dot(); flg=1; __delay_ms(200); if(cnum==10){cnum=0;} //十の位が０にしたいとき if(cketa==0&&cnumA>0){cnumA=0;} //dotにふれたら、cnumAは初期化　ただし、累積中はそのまま } if(flg){ flg=0; __delay_ms(500); cnumA=cnumA*10+cnum; cketa++; cnum=0; } if(cketa==2||shokaif==1){ cketa=0; cfnum=0; __delay_ms(500); char morseCode[15]; convertToMorse(cnumA,morseCode); playMorse(morseCode); __delay_ms(100); if(shokaif==0){ //立ち上げ時は、再生しないように play(1,cnumA); __delay_ms(100); eeprom_write(0x00, cnumA); __delay_ms(100); } shokaif=0; } __delay_ms(300); } return (EXIT_SUCCESS); } void play(unsigned char cfnum_,unsigned char cnum_){ dfply_(0x0f, cnum_, cfnum_); // 初期化再生 dfply(0x0d, 0); // 再生コマンド } void dfply(char cmd, unsigned char parameter){ dfply_(cmd,parameter,0); } void dfply_(char cmd, unsigned char file, unsigned char folder) { while (!TXIF); TXREG = 0x7E; while (!TRMT); while (!TXIF); TXREG = 0xFF; while (!TRMT); while (!TXIF); TXREG = 0x06; while (!TRMT); while (!TXIF); TXREG = cmd; while (!TRMT); while (!TXIF); TXREG = 0x00; // Param MSB while (!TRMT); while (!TXIF); TXREG = folder; // フォルダ while (!TRMT); while (!TXIF); TXREG = file; // ファイル while (!TRMT); while (!TXIF); TXREG = 0xEF; while (!TRMT); } void dot() { RA2=1; __delay_ms(100); RA2=0; __delay_ms(100); } void dash() { RA2=1; __delay_ms(300); RA2=0; __delay_ms(100); } void playMorse(char* morseCode) { int i = 0; // ループカウンタを初期化 while (morseCode[i] != '\0') { // 終端文字である '\0' をチェック if (morseCode[i] == '.') { dot(); // 点を表す関数を呼び出し } else if (morseCode[i] == '-') { dash(); // 線を表す関数を呼び出し } else if (morseCode[i] == ' ') { __delay_ms(300); // スペースの場合は遅延 } i++; // 次の文字へ進む } } void convertToMorse(unsigned char num, char* result) { // Morse code for numbers 0-9 char* morseNumbers[] = { "-----", // 0 ".----", // 1 "..---", // 2 "...--", // 3 "....-", // 4 ".....", // 5 "-....", // 6 "--...", // 7 "---..", // 8 "----." // 9 }; char temp[20] = ""; // 一時的な結果を保存する配列 result[0] = '\0'; // 結果を初期化 // 処理対象の数字が 0 の場合は特別扱い if (num == 0) { strcpy(result, morseNumbers[0]); return; } while (num > 0) { int digit = num % 10; // 現在の桁を取得 strcpy(temp, morseNumbers[digit]); // 桁のモールスコードを取得 strcat(temp, " "); // 桁ごとにスペースを追加 strcat(temp, result); // 既存の結果に連結 strcpy(result, temp); // 結果を更新 num /= 10; // 次の桁へ } }

OpenAIのWhisperがローカル実行でかなりの認識率

 最近は、音声認識が、無料でしかもローカル実行で正確に認識できるのには驚きました。コマンドラインで実行できるので、アプリの中で活用できてとても便利だと思います。

バッチファイルです。途中のパスを通すところは、ffmpegのあるパスです。

radio2text.bat

@echo off setlocal REM ===== 設定 ===== set WHISPER_MODEL=small set LANG=en REM ===== 引数チェック ===== if "%~1"=="" ( echo Usage: radio2text.bat input_audio exit /b 1 ) set INPUT=%~1 set BASE=%~n1 REM ===== 音声変換 ===== set PATH=D:\video;%PATH% ffmpeg -y -i "%INPUT%" -ac 1 -ar 16000 "%BASE%.wav" REM ===== 文字起こし ===== whisper "%BASE%.wav" ^ --language %LANG% ^ --model %WHISPER_MODEL% ^ --output_format txt echo Done: %BASE%.txt endlocal

.m4aなど、いったん.wavに変換してから処理しています。

LANGはenが英語、jaが日本語　--languageないとどちらも出します

--output_format srt で時間付き字幕

Qt使えば

if (line.contains(QRegularExpression("[ぁ-んァ-ン一-龯]"))) {

    // 日本語

} else {

    // 英語

}

のように分けたりもできそうです。

※なお、準備としては ffmpeg以外に、python3.9以上で

pip install -U openai-whisper

をインストールするだけで動くようです。