TOOL.AI · 小高工具間
作品集 ↗
R-12 · 工具實作 · 實測

自製日語旅遊口譯 App:為什麼比較準

讀 5 分鐘關西 7 天實際使用製作 約 1.5 小時最後驗證 2026.10.20
你會知道:出國前一天,我用一個半小時做了一支日語口譯 iPhone App,帶去關西用了七天。它很準:地名、人名、點餐、問路都對。講中文時夾英文單字也聽得懂,一次錄很長也會自己整理成一句。弱點是雜音太多就不行。準的主因有兩個:錄音直接交給 AI 一次做完,以及把行程寫進提示詞。
App 畫面:上方是日文對話框、下方是中文對話框,兩框右上各有一顆麥克風;中間一顆圓形翻譯鈕,寫著翻譯、翻訳和向上箭頭。漫畫風格:粗黑框、錯位陰影、淡藍網點底。
上框日文、下框中文。中間按一下,往箭頭方向翻。

實際使用結果

  • 很準:地名、人名、點餐、問路都對。
  • 可以中英夾雜:講中文夾英文單字也聽得懂。
  • 錄很長也沒關係:口頭禪、重複、講一半改口都會被整理掉,最後只留一句乾淨的話。
  • 弱點是雜音:在吵的店裡、車站廣播旁邊,聽寫會錯或抓不到聲音。

這是作者一個人的使用感受。App 沒有留使用紀錄,所以旅途中沒有數字;下面的數字都是出國前一天的測試。

發現 1:聽寫和整理一次做完,比分兩段好

一般做法分兩段:先語音轉文字,再請 AI 清稿。這次把錄音直接丟給 Gemini,一次做完聽懂、去口頭禪、整理成短句。

跟我自建的兩段式語音輸入比較,9 題,以 Typeless 的結果當基準:

短句相似度短句秒數長句相似度長句秒數
兩段式(自建語音輸入)0.874.80.7614.9
一次做完(Gemini 3.8 flash)0.843.50.825.9

句子越長,一次做完的優勢越大。代價是有時刪太多(例如整段「我覺得」被砍掉),偶爾出現同音錯字。旅遊情境本來就要短句,這個影響小。

發現 2:把行程寫進提示詞,是準的主因

提示詞裡放一段行程:哪天去哪、地名的日文寫法、幾個人、自駕、常見情境。AI 事先知道你要去哪裡,聽到相近的發音就不會亂猜。

測 50 句、各翻 2 次,100 次失敗 0 次,中位數 1.9 秒。円月島、奥之院、京セラドーム、関西空港第2ターミナル 這些地名全對。

我沒有接工作用的大辭典。出國用不到工作詞,放進去只會變慢。會被聽錯的主要是地名。

發現 3:語感要寫死,不然 AI 會自己加料

壓測:中翻日 30 句+日翻中 10 句,各跑 3 次。120 次失敗 0 次,中位數 2.1 秒、最慢 3.8 秒。抓到兩種錯:

還沒修好的小毛病:「加滿」會自己補「レギュラー」;「可以坐在一起嗎」被翻成「同じ席に」(應該是「一緒に」)。

發現 4:自己講的話要整理,對方講的話要照實

中文錄音是自己要說的話,請 AI 整理成乾淨的句子。日文錄音是店員說的話,請 AI 照實聽寫、不改寫。對方的話被 AI 改寫,你就聽不到他原本的意思。

發現 5:偶爾會卡住,要設逾時

120 次裡有 1 次請求卡了 40 秒沒有回應。在店員面前乾等很尷尬。加上逾時(翻譯 10 秒、聽寫 20 秒)並自動重送一次後,就沒再遇到。

畫面

技術配方

AppSwiftUI,iOS 17,只做 iPhone 直式;程式約 400 行
錄音AVAudioRecorder,m4a(AAC)、16 kHz、單聲道;音訊模式 .playAndRecord+.spokenAudio
AIGemini gemini-3.8-flash,thinkingLevel: low;錄音 base64 放進 inline_data(audio/mp4)
朗讀iPhone 內建 AVSpeechSynthesizer,挑已安裝品質最好的日文聲音
逾時翻譯 10 秒、聽寫 20 秒;逾時自動重送一次(時間加倍)
金鑰自己的 Gemini 金鑰(Google AI Studio 申請)。不要寫進要公開的程式碼

四段提示詞

全部放在 system instruction。{行程} 換成你的行程。

① 中文錄音 → 中文句子自己要講的話:整理
這是一段在日本旅行時、要跟當地人說的話的中文錄音。聽寫成台灣繁體中文,並整理成禮貌、乾淨俐落的口語句子:去掉口頭禪、重複與贅字,先講要什麼、一句一件事,意思不增不減。只輸出整理後的句子。聽不到人聲就輸出空字串。地名照下面行程的寫法。{行程}
② 日文錄音 → 日文對方講的話:照實
這是一段日文錄音,通常是店員、服務人員或路人在跟旅客說話。照實聽寫成日文,加上自然標點。只輸出聽寫文字。聽不到人聲就輸出空字串。{行程}
③ 中文 → 日文給店員看
你是隨身口譯。把使用者的中文翻成日文,給店員、服務人員、路人看。語感:禮貌客氣的口語(です・ます體),不要書面語、不要過度敬語。邏輯乾淨俐落:先講要什麼,一句一件事,短句,對方一眼看懂。意思不增不減。人名照原本的漢字寫,地名用日本當地的寫法。只輸出日文譯文,不加解釋、不加讀音。{行程}
④ 日文 → 中文給自己看
你是隨身口譯。把日文翻成自然、簡潔的台灣繁體中文口語。地名寫中文慣用名。只輸出譯文,不加解釋。{行程}
{行程} 範例中文地名後面括號放當地寫法
這趟行程:10/21 到關西機場第2航廈(関西空港第2ターミナル),租車開到白濱(白浜);10/22 圓月島(円月島);10/24 高野山、奧之院(奥之院);10/25 京瓷巨蛋(京セラドーム大阪)看演唱會;10/26 心齋橋筋商店街(心斎橋筋商店街)。七個人同行、自駕(會遇到加油站、停車場)。常見情境:吃東西、買東西、問路、找東西、東西不見。

給 AI Agent:建置骨架

把這頁網址丟給你的 agent,說「照這頁幫我做一支,行程換成我的」。純文字版:travel-translator.md。

  1. 建 SwiftUI iPhone App,照「畫面」一節排版;麥克風權限說明寫「錄音後轉成文字並翻譯」。
  2. 錄音照「技術配方」的格式;停止後把音檔 base64 送 Gemini generateContent,system instruction 用 ① 或 ②。
  3. 翻譯鈕送框內文字,system instruction 用 ③ 或 ④;方向取最後編輯的那一框。
  4. 回傳的 parts 會有思考段(thought: true),要濾掉,只取文字。
  5. 加逾時與自動重送一次;喇叭鈕接 AVSpeechSynthesizer。

完成:對中文麥克風講一段帶口頭禪的長句 → 出現一句乾淨中文 → 按翻譯 → 上框出現です・ます體日文;行程裡的地名寫法正確。

已知的坑:gemini-2.5-flash 對新帳號會回 404;gemini-3.8-flash 不支援 thinkingLevel: minimal,要用 low。

還沒解決

資料來源
  • 作者自建 App 的程式與工程紀錄(2026.10.20 製作與測試)
  • 翻譯壓測 120 次、接行程後 100 次、語音對照 9 題:2026.10.20 實測
  • 實際使用:2026.10.21–27 關西七天,作者本人感受
以上是一個人的實測。Gemini 的模型名稱與價格會變,動工前請查當下的官方文件。
← 回到研究列表