新型方言语料库建设的探索与思考

扫码关注南方理论

    齐佳音

    随着大语言模型（简称“大模型”）的出现，人工智能生成内容日益成为言语生态的重要组成部分。大模型对于不同语言及其文化正产生不同的影响，如高资源语言能够借助大模型的规模效应进一步强化其影响力，低资源语言却要面对大模型带来的负面效应——加速衰竭。方言具有丰厚的文化底蕴，是地域文化的载体，是传统文化的活化石，却是网络世界的低资源语言，大模型普遍应用背景下或将面临前所未有的威胁。

    我国的方言语料库建设经历了从传统文献记录到现代数字化存储的转变，并在数据类型和技术手段上取得了显著进展。然而，面向大模型服务，传统方言语料库显现出明显不足。一方面，尽管部分方言语料库涵盖了较为广泛的语言资源，但整体分布不均，一些语料库覆盖范围有限，数据量不足，缺乏全面性和代表性。另一方面，语料的标注深度和标准化程度较低，缺乏多层次、多维度的细粒度标注体系。此外，语料的使用场景也相对单一，未能充分覆盖社交媒体、教育、医疗等现代社会语境。从产业应用来讲，方言AI训练数据极其稀缺，导致现有大模型在处理方言任务时表现不佳，难以满足智能客服、文化旅游等语言密集型行业的实际需求，迫切需要建设高质量、大规模的通用方言语料库，为产业提供人工智能友好的新型方言数字资源底座。

    “从语料获取到AI应用落地”的闭环服务

    新型方言语料库提供的应不是单纯的“语料收集”或“语言档案保存”，而是一整套“从语料获取到AI应用落地”的闭环服务。要让人工智能不仅能够学会方言，还要能够理解方言文化，新型方言语料库建设需把握以下思路。

    一是学理规范、文化忠实、来源可靠、持续治理的建设原则。方言语料库建设，离不开方言语言学领域的研究成果作为语言表达的基础规范。为了传承方言文化，方言语料素材可以根据区域文化分类来覆盖选取。在数据采集方面，加强与主流专业媒体合作，确保语料内容安全且无版权问题。同时，应持续开展数据治理，对语料的语言规范、文化规范、安全规范等进行检测，从而实现方言语料库在专业上可信，在使用中放心。

    二是多模态、高质量标注、“活”语料、AI友好的技术框架。这意味着，不仅限于传统文本或音频，而是覆盖文本、语音、图像、视频等数据；不仅包含历时数据，更包含当下真实生活场景数据；不仅有语言学的基础标注，更通过场景化、结构化、语义化、多层次进行多维度标注；不是一次性“死”语料，而是通过社会化协作工具支持分布式语料采集以及动态开放标注，生产持续更新的“活”语料。方言语料库平台可包括语料采集子系统、语料标注子系统、大模型对接子系统、语料确权检索子系统、语料质量评估子系统、语料管理子系统以及应用商店子系统等子系统，实现从数据采集、清洗、标注、确权、存储检索，到模型接入与最终应用发布的一体化流程，使得语料库有用、好用。

    三是开放开源、确权溯源、激励机制、共享共建的生态模式。方言语料库平台可对研究机构开放，也鼓励企业、社区、内容创作者等多方参与数据贡献、使用与开发。通过提供开放技术接口，使得不同领域的参与者都能通过平台参与价值共创。为激励参与者持续贡献与再生产，实现资源共享与生态自循环，语料库的确权与溯源子系统需从技术上为语料库的共建共享激励相容体系提供支撑。通过方言语料库生态体系建设，使得多方面多层次的需要，例如方言学习、学术研究、文化保护、产业化应用等都可以快速满足。换个角度看，建设新型方言语料库就是要建设好AI友好的开源生态。

    有效应对数据与文化治理三大难点

    方言承载着文化，新型方言语料库建设不仅要面对数据治理问题，更深层次是要应对方言文化治理的难点。

    方言语料的“文化忠实、安全可信”难点。文化忠实，是指在方言语料的文化特质标注中能够准确识别、正确标注源文化的核心特质、深层内涵、特定语境及价值观念的综合性能力。安全可信，是指方言语料能够严谨鉴别方言文化的禁忌语、不符合社会主义核心价值观的用语，避免争议敏感内容等的能力。由于资源稀缺和标注难度大，方言语料文化治理面临不少挑战。

    数字技术的“文化规则、智能复现”难点。方言的文化规则提取、文化知识图谱构建、方言语言合成、文化多模态智能标注、文化思维链数据构建、方言文化生成等技术都不如高资源语言的相关技术成熟，这为方言文化的智能复现带来挑战。要让AI真正理解和处理方言，需要将方言中蕴含的文化知识以机器可理解的方式进行编码，将方言的文化特性、语言规范、社会习俗等转化为结构化的规则或知识表示，这需要方言的语言研究者与计算机技术专家联合进行攻关。

    方言语料库建设中“文化为本、科技为体”的平衡难点。在尊重文化的前提下拥抱创新，新型方言语料库建设不仅要依赖先进的AI技术，更要深深扎根于方言文化的土壤之中。既要利用AI赋能方言文化的传承与发展，又要避免因技术滥用或不当应用而对方言文化造成负面影响。要充分理解方言文化的独特性、地域性，避免在数字化的过程中削减文化特色，更不能不当挪用、误用。保持方言文化的纯洁性，坚守文化忠实度，以此来确立技术目标、推动技术创新。

    作者系广州大学粤语语料库建设与大模型评测重点实验室主任

    投稿邮箱：lilunbu@126.com