[Fanofthefurr] Some Sticky Situation | 陷入「膠」著 [AI輔助漢化][Chinese]

[Fanofthefurr] Some Sticky Situation | 陷入「膠」著 [AI輔助漢化][Chinese]

RAW: https://e621.net/pools/57143

--

使用大模型來處理漫畫摳圖&嵌字，來處理這種比較複雜的文字&排版，故有些許瑕疵
因為用本地模型嵌字效果比較差 (e.g. https://github.com/hgmzhn/manga-translator-ui)

方法:
本地 AI 偵測文字框 -> 人工檢查 -> 把非文字框的區域塗黑得到 masked_img -> AI OCR -> AI 翻譯 -> 人工修翻譯 -> masked_img & 翻譯 丟給 AI 局部摳圖和嵌字 (瘋狂花錢抽卡) -> 把 masked_AI_render 還原到原圖

泡泡偵測使用本地模型 manga109-segmentation-bubble
OCR: Gemini 3.5 flash
翻譯: Deepseek V4 Pro，部分直接人工大改
摳圖和嵌字: Nano Banana pro & 2

還有一些問題需要解決：
1. 文字框太小傳給 Gemini 會無法處理，需要 upscale 再傳過去
2. 由於中英文文法不同，有些要前後顛倒，甚至改寫，好像只能人工介入，希望哪天 AI 能聰明到知道如何處理這部分
3. 文字風格不一的狀況，除了瘋狂抽卡之外，也許能先把抽到滿意的文字框融入到圖片，再繼續抽其他卡，這樣風格應該會比較接近
4. 太複雜的藝術字體在貼回原圖時可能露出原文的部分，這也只能人工位移或放大
5. 貼回去的文字框外圈還看得出痕跡

請問有沒有更好的想法或有更好的開源 repo 能解決上述問題的?

--

我的 Telegram 個人AI翻譯頻道，大部分都不會放上來，只有人工整理完整的才會上傳到這。
獸人only：Trans_Fer_Late
人類only：GFFunGG