Kiwi实战案例打造韩语文本挖掘完整流水线分词→关键词→情感分析【免费下载链接】KiwiKiwi(지능형 한국어 형태소 분석기)项目地址: https://gitcode.com/gh_mirrors/kiwi1/Kiwi想对韩语文本做数据挖掘第一步就是选对分词工具。Kiwi지능형 한국어 형태소 분석기是一款开源的韩语形态素分析器Korean Morphological Analyzer以速度快、准确率高著称官方评测显示其网络文本分词准确率约 87%、书面语约 94%。本文用一个完整的韩语文本挖掘流水线实战案例带你从零开始理解如何用 Kiwi 完成韩语分词→关键词提取→情感分析三步全程适合新手阅读。什么是 Kiwi韩语形态素分析器凭什么快韩语是黏着语一个词干后面会挂上各种助词조사和词尾어미比如「했습니다」由「하(VV)었(EP)습니다(EF)」组成。普通的按空格切分完全无法处理这种结构必须做形态素分析morpheme analysis把单词拆成语义最小的单位并标注词性。Kiwi 的独特之处在于极快C 核心实现内置轻量语言模型统计语言模型 Skip-Bigram分析速度在主流韩语分析器中名列前茅消歧能力强面对「아버지가방에들어가신다」这种无空格句子也能结合上下文准确切分歧义消解平均准确率达 86.7%原生多线程库层面支持多线程大批量文本分析时能充分吃满多核 CPU生态完整提供 C、C API、JavaKiwiJava、Swift、WASM/TypeScript 等多种语言绑定分词结果遵循世宗词性标注体系세종 품사 태그例如NNG普通名词、NNP专有名词、VV动词、VA形容词、MAG副词完整标签表可查看 Types.h 与 README.md 中的词性说明。流水线第一步用 Kiwi 完成韩语分词整个挖掘流水线以分词为地基。Kiwi 的分析结果包含每个形态素的原形、词性标签、在原文中的位置等丰富信息这正是后续关键词与情感分析的前提。以官方 Java 绑定为例核心调用只有一行Kiwi.Token[] tokens kiwi.tokenize(분석할 텍스트, Kiwi.Match.allWithNormalizing);输出形如Token(form분석, tagNNG, ...)其中form是形态素原形tag是词性标签。你也可以先在官方 Web Demo 页面里粘贴句子体验效果无需安装任何环境。小贴士若只想粗粒度切词把「했습니다」当一个整体可以设置匹配选项让后缀合并若需要细粒度拆解复合词也有对应的拆分选项。Java 绑定源码位于 Kiwi.javaC 接口定义在 Kiwi.hWeb 端 TypeScript 版本见 kiwi.ts示例可直接参考官方评测数据 eval_data/web.txt。流水线第二步基于词频统计提取韩语关键词拿到词性标注后的 Token 流韩语关键词提取就变得非常直观常见做法是「按词性过滤 词频统计」过滤噪声只保留有实义的词性如名词NNG、专有名词NNP、动词VV、形容词VA丢弃助词JKS、JKO等和词尾EF、EC等归一化动词形容词取原形Kiwi 输出的form已经是词典形避免「했다/합니다」被当成两个词统计 Top-N按出现频次排序得到该批文本的高频关键词例如对一段商品评论过滤后很可能得到「배송(配送)/NNG」「가격(价格)/NNG」「품질(品质)/NNG」等高价值词。如果语料里有专有名词、人名、产品名Kiwi 的NNP标签会直接帮你把它们和普通名词区分开这是很多规则切词器做不到的。更进一步还可以用extractWords类接口从语料中自动抽取新词包括未登录词提取出的候选词可一键回填到用户词典形成「抽取→入库→再分析」的闭环。流水线第三步用情感词典做韩语情感分析关键词解决「在说什么」韩语情感分析则回答「态度如何」。基于 Kiwi 的朴素情感分析思路如下准备一份韩语情感词表把「좋다(好)」「훌륭하다(优秀)」标为正向「싫다(讨厌)」「나쁘다(差)」标为负向对分词结果逐 Token 查表累加情感得分用否定词如「안」「못」和程度副词如「너무(非常)」对分数做翻转与加权关键点在于先分词再查表远比「整句子串匹配」可靠。因为韩语词干后常带活用词尾直接匹配「좋다」会漏掉「좋아요」「좋은데」等形态而 Kiwi 把原形还原成「좋/VA」后查表命中率大幅提升。官方数据 eval_data/web.txt 里的评论文本如「빠른배송감사합니다」「재질이나 배송 모두 만족합니다」就是绝佳的测试语料。让流水线更快多线程与异步分析面对上万条评论单线程分析会显得吃力。Kiwi 在库层面就支持多线程与异步分析通过asyncAnalyze提交异步任务用std::future接收结果C 接口见 Kiwi.h 中的声明Java 绑定同样提供基于Future的异步方法构建 Kiwi 实例时可指定线程数让分词在多核上并行执行实测中Kiwi 单行文本分析仅需约 1~2ms评测数据来自 eval_data 目录配合多线程足以支撑日处理百万级句子的文本挖掘任务。若对速度还有更高要求可以选用 AVX2/AVX512 等 SIMD 优化架构源码在 src/archImpl 目录。进阶自定义词典、错别字纠正与方言支持真实业务数据永远不会「干干净净」Kiwi 为此提供了三件利器用户词典通过addWord向词典添加专有名词、品牌名等避免被误切还可以用addPreAnalyzedWord直接指定某个字符串的精确切分结果专治「顽固误切」✏️错别字纠正0.13.0 起支持模型自动纠正简单打字错误比如「빨랏어요」会被还原成规范的「빨랐어요」这对处理网络评论、SNS 文本尤其有价值️方言支持内置方言数据见 eval_data/dialect 目录的 chungcheong、jeju、gyeongsang 等语料可开启指定方言的容忍分析模型文件统一放在 models/cong/base 目录包括default.dict默认词典、typo.dict错别字词典、multi.dict多义词典等若要更换更小/更大的词表tokenizers 目录提供了 16k 到 64k 多种规模的 BPE 词表可选。总结用 Kiwi 搭起你的韩语NLP流水线从韩语分词到关键词提取再到情感分析Kiwi 这个开源韩语形态素分析器在每个环节都能提供开箱即用的能力高精度词性标注、原形还原、多线程加速、错别字纠正、用户词典扩展……整条韩语文本挖掘流水线只需少量代码即可串联起来。如果你是第一次接触韩语 NLP建议先用 Web Demo 感受分词效果再结合 test/test_cpp.cpp 与 KiwiTest.java 中的完整示例动手实践。面对海量韩语文本时Kiwi 的速度与准确率不会让你失望。【免费下载链接】KiwiKiwi(지능형 한국어 형태소 분석기)项目地址: https://gitcode.com/gh_mirrors/kiwi1/Kiwi创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Kiwi实战案例：打造韩语文本挖掘完整流水线（分词→关键词→情感分析）
Kiwi实战案例打造韩语文本挖掘完整流水线分词→关键词→情感分析【免费下载链接】KiwiKiwi(지능형 한국어 형태소 분석기)项目地址: https://gitcode.com/gh_mirrors/kiwi1/Kiwi想对韩语文本做数据挖掘第一步就是选对分词工具。Kiwi지능형 한국어 형태소 분석기是一款开源的韩语形态素分析器Korean Morphological Analyzer以速度快、准确率高著称官方评测显示其网络文本分词准确率约 87%、书面语约 94%。本文用一个完整的韩语文本挖掘流水线实战案例带你从零开始理解如何用 Kiwi 完成韩语分词→关键词提取→情感分析三步全程适合新手阅读。什么是 Kiwi韩语形态素分析器凭什么快韩语是黏着语一个词干后面会挂上各种助词조사和词尾어미比如「했습니다」由「하(VV)었(EP)습니다(EF)」组成。普通的按空格切分完全无法处理这种结构必须做形态素分析morpheme analysis把单词拆成语义最小的单位并标注词性。Kiwi 的独特之处在于极快C 核心实现内置轻量语言模型统计语言模型 Skip-Bigram分析速度在主流韩语分析器中名列前茅消歧能力强面对「아버지가방에들어가신다」这种无空格句子也能结合上下文准确切分歧义消解平均准确率达 86.7%原生多线程库层面支持多线程大批量文本分析时能充分吃满多核 CPU生态完整提供 C、C API、JavaKiwiJava、Swift、WASM/TypeScript 等多种语言绑定分词结果遵循世宗词性标注体系세종 품사 태그例如NNG普通名词、NNP专有名词、VV动词、VA形容词、MAG副词完整标签表可查看 Types.h 与 README.md 中的词性说明。流水线第一步用 Kiwi 完成韩语分词整个挖掘流水线以分词为地基。Kiwi 的分析结果包含每个形态素的原形、词性标签、在原文中的位置等丰富信息这正是后续关键词与情感分析的前提。以官方 Java 绑定为例核心调用只有一行Kiwi.Token[] tokens kiwi.tokenize(분석할 텍스트, Kiwi.Match.allWithNormalizing);输出形如Token(form분석, tagNNG, ...)其中form是形态素原形tag是词性标签。你也可以先在官方 Web Demo 页面里粘贴句子体验效果无需安装任何环境。小贴士若只想粗粒度切词把「했습니다」当一个整体可以设置匹配选项让后缀合并若需要细粒度拆解复合词也有对应的拆分选项。Java 绑定源码位于 Kiwi.javaC 接口定义在 Kiwi.hWeb 端 TypeScript 版本见 kiwi.ts示例可直接参考官方评测数据 eval_data/web.txt。流水线第二步基于词频统计提取韩语关键词拿到词性标注后的 Token 流韩语关键词提取就变得非常直观常见做法是「按词性过滤 词频统计」过滤噪声只保留有实义的词性如名词NNG、专有名词NNP、动词VV、形容词VA丢弃助词JKS、JKO等和词尾EF、EC等归一化动词形容词取原形Kiwi 输出的form已经是词典形避免「했다/합니다」被当成两个词统计 Top-N按出现频次排序得到该批文本的高频关键词例如对一段商品评论过滤后很可能得到「배송(配送)/NNG」「가격(价格)/NNG」「품질(品质)/NNG」等高价值词。如果语料里有专有名词、人名、产品名Kiwi 的NNP标签会直接帮你把它们和普通名词区分开这是很多规则切词器做不到的。更进一步还可以用extractWords类接口从语料中自动抽取新词包括未登录词提取出的候选词可一键回填到用户词典形成「抽取→入库→再分析」的闭环。流水线第三步用情感词典做韩语情感分析关键词解决「在说什么」韩语情感分析则回答「态度如何」。基于 Kiwi 的朴素情感分析思路如下准备一份韩语情感词表把「좋다(好)」「훌륭하다(优秀)」标为正向「싫다(讨厌)」「나쁘다(差)」标为负向对分词结果逐 Token 查表累加情感得分用否定词如「안」「못」和程度副词如「너무(非常)」对分数做翻转与加权关键点在于先分词再查表远比「整句子串匹配」可靠。因为韩语词干后常带活用词尾直接匹配「좋다」会漏掉「좋아요」「좋은데」等形态而 Kiwi 把原形还原成「좋/VA」后查表命中率大幅提升。官方数据 eval_data/web.txt 里的评论文本如「빠른배송감사합니다」「재질이나 배송 모두 만족합니다」就是绝佳的测试语料。让流水线更快多线程与异步分析面对上万条评论单线程分析会显得吃力。Kiwi 在库层面就支持多线程与异步分析通过asyncAnalyze提交异步任务用std::future接收结果C 接口见 Kiwi.h 中的声明Java 绑定同样提供基于Future的异步方法构建 Kiwi 实例时可指定线程数让分词在多核上并行执行实测中Kiwi 单行文本分析仅需约 1~2ms评测数据来自 eval_data 目录配合多线程足以支撑日处理百万级句子的文本挖掘任务。若对速度还有更高要求可以选用 AVX2/AVX512 等 SIMD 优化架构源码在 src/archImpl 目录。进阶自定义词典、错别字纠正与方言支持真实业务数据永远不会「干干净净」Kiwi 为此提供了三件利器用户词典通过addWord向词典添加专有名词、品牌名等避免被误切还可以用addPreAnalyzedWord直接指定某个字符串的精确切分结果专治「顽固误切」✏️错别字纠正0.13.0 起支持模型自动纠正简单打字错误比如「빨랏어요」会被还原成规范的「빨랐어요」这对处理网络评论、SNS 文本尤其有价值️方言支持内置方言数据见 eval_data/dialect 目录的 chungcheong、jeju、gyeongsang 等语料可开启指定方言的容忍分析模型文件统一放在 models/cong/base 目录包括default.dict默认词典、typo.dict错别字词典、multi.dict多义词典等若要更换更小/更大的词表tokenizers 目录提供了 16k 到 64k 多种规模的 BPE 词表可选。总结用 Kiwi 搭起你的韩语NLP流水线从韩语分词到关键词提取再到情感分析Kiwi 这个开源韩语形态素分析器在每个环节都能提供开箱即用的能力高精度词性标注、原形还原、多线程加速、错别字纠正、用户词典扩展……整条韩语文本挖掘流水线只需少量代码即可串联起来。如果你是第一次接触韩语 NLP建议先用 Web Demo 感受分词效果再结合 test/test_cpp.cpp 与 KiwiTest.java 中的完整示例动手实践。面对海量韩语文本时Kiwi 的速度与准确率不会让你失望。【免费下载链接】KiwiKiwi(지능형 한국어 형태소 분석기)项目地址: https://gitcode.com/gh_mirrors/kiwi1/Kiwi创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考