Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

建立一个更先进的翻译bot #48

Open
ArgusK17 opened this issue Jun 1, 2024 · 5 comments
Open

建立一个更先进的翻译bot #48

ArgusK17 opened this issue Jun 1, 2024 · 5 comments

Comments

@ArgusK17
Copy link
Collaborator

ArgusK17 commented Jun 1, 2024

最近在考虑能否用 LLM 搭建一个更先进的翻译bot,目前的主要想法如下:

  • 利用 RAG 寻找之前译文中的相似段落作为 In-context learning prompt 的组成部分;
  • 检索译名对照表中的专有名词,同样添加到 ICL prompt;
  • 一些交互式的反馈,比如通过选中不满意的部分让bot进行重译;
  • 识别到新专有名词时自动 warning 请求人工协助。

一些前期的准备工作包括:

  • 生成一份方便检索的中英对照文本,(格式不确定,或许json?)以一段/多段英文原文为 key,对应的译文为 value;
  • 方便检索的译名对照表

不知道 @rxliuli 觉得对照文本这部分弄起来麻不麻烦?或许只需要部分高质量段落作为样例即可,主要起到语言风格一致性的作用。不知道大家对这个项目怎么看w

@rxliuli
Copy link
Contributor

rxliuli commented Jun 1, 2024

已经做了基于 LLM 做了一部分,pmas 已经在用了。
https://pmas.liuli.moe/

如果想了解怎么做的,参考 mark-magic

用 LLM 搭建一个更先进的翻译bot

但你说的具体应用形式是什么?web/app/电脑程序 之类的?

@ArgusK17
Copy link
Collaborator Author

ArgusK17 commented Jun 1, 2024

但你说的具体应用形式是什么?

可能先用discord bot上线吧,因为我不是很熟悉网页/app开发。理想形态应该是一个界面比较易用的PC程序。

主要的目的是利用 LLM In-context learning的能力,实现模仿已有译文的文风和保持专有名词一致性,达到之前机翻没有的效果。

@rxliuli
Copy link
Contributor

rxliuli commented Jun 1, 2024

具体交互形式是什么呢?@ 一个机器人发送原文然后回复译文么?

@ArgusK17
Copy link
Collaborator Author

ArgusK17 commented Jun 1, 2024

是的。然后还可以进行一些后续修改之类的。

@ArgusK17
Copy link
Collaborator Author

ArgusK17 commented Jun 1, 2024

我尝试在下周上线一个demo版本,先测试一下可行性。如果还不错的话可以增大数据库的规模来追求更好的效果。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants