尧图网站建设 尧图网络
  • 首页
  • 关于我们
  • 服务项目
  • 案例展示
  • 建站流程
  • 资讯中心
  • 联系我们
首页/资讯中心/详情

一文读懂字符与编码

一文读懂字符与编码
📅 发布时间:2026/6/19 2:58:47

整内容也可以在公众号「非专业程序员Ping」查看

一、字符/Character

对用户可见的“一个字符”,通常是我们在屏幕上看到的一个字母、数字、emoji 或组合字符。

比如:a、é、👨‍👩‍👧‍👦

二、字符编码标准/字符集

字符编码标准定义的是如何将字符映射到唯一编码,常见的字符编码标准比如ASCII、Unicode、GBK等

2.1 ASCII

ASCII(7位)定义了 128 个字符的唯一编码,包括数字0到9、小写字母a到z、大写字母A到Z以及常用标点符号等。

2.2 Unicode

Unicode又叫万国码,目标是为所有字符定义唯一编码(Code Point)。为了解决ASCII/GBK不能定义全部字符的问题。

比如:

a -> U+0061

👨 -> U+1F468

注意:

Unicode只负责分配码位(Code Point),并不决定具体的存储形式。

Unicode的前 128 个码点与ASCII相同。

2.2.1 Code Point

Code Point也叫码位,Unicode中为每个字符分配的唯一编码。

一个字符可以对应一个或多个Code Point,比如:

a:U+0061,对应 1 个Code Point

👨‍👩‍👧‍👦:U+1F468 (👨) + U+200D (ZWJ) + U+1F469 (👩) + U+200D (ZWJ) + U+1F467 (👧) + U+200D (ZWJ) + U+1F466 (👦)对应 7 个Code Point

é:U+00E9或U+0065 + U+0301

备注:

在Unicode中,é实际上有两种表示方式:

单一字符表示法:即直接使用U+00E9这个单独的Unicode码位表示é。

组合字符表示法:使用U+0065(字母e)和U+0301(重音符号)两个Unicode码位来表示一个é字符。

为什么会有这两种表示法?

历史原因:Unicode设计时考虑到了不同语言的需求,许多语言(如法语、西班牙语等)使用带有重音符号的字符,因此,Unicode同时支持这两种表示方式。

兼容性:一些旧的系统或字体可能只支持分解字符表示法,因此,Unicode也保留了这种组合字符的方式,以提高兼容性。

2.2.2 Code Unit

Code Unit也叫码元(代码单元),表示计算机中实际存储Unicode的基本单位,取决于编码方式。

比如:

UTF-8: Code Unit是 1 字节(8 Bit);比如:a在UTF-8编码下占 1 个字节,表示为0x61。

UTF-16: Code Unit是 2 字节(16 Bit);比如:a在UTF-16编码下占 2 个字节,表示为0x0061。

UTF-32: Code Unit是 4 字节(32 Bit);比如:a在UTF-32编码下占 4 个字节,表示为0x00000061。

三、字符编码方式

字符编码方式决定了字符如何存储、传输和解码;常见的编码方式有:UTF-8、UTF-16、UTF-32等

UTF-8:可变长度,用 1 到 4 个字节来存储 Unicode 字符;为了节省存储资源。

UTF-16:可变长度,用 2 或 4 个字节存储字符。

UTF-32:固定长度,每个字符始终使用 4 字节存储。

比如:

é的Code Point是:U+0065 + U+0301

当以UTF-32方式编码时,每个Code Point未超过4字节,所以表示为:0x00000065,0x00000301

当以UTF-16方式编码时,每个Code Point未超过2字节,所以表示为:0x0065,0x0301

当以UTF-8方式编码时,0x0301值超过了128,需要按UTF-8格式拆分为0xCC,0x81,所以表示为:0x65,0xCC,0x81

Q:UTF-8编码为什么是按128做比较,按理说1字节(0xFF)表示的最大值是255?

A:有两个原因:一是为了与ASCII兼容,ASCII只支持了128个字符编码,在UTF-8编码中,前128位与ASCII编码相同;二是UTF-8编码中,会将第一个字节的高位部分用来标识这个字符的编码长度,具体为:

0xxxxxxx:表示 1 字节字符(ASCII 范围)

110xxxxx:表示 2 字节字符

1110xxxx:表示 3 字节字符

11110xxx:表示 4 字节字符

相关新闻

  • Open-AutoGLM能否彻底取代SoapUI?基于12个真实场景的协同能力压测结果公布
  • day29打卡
  • cesium126,230911,Ce for Ue WMTS的编译流程:但 Cesium for Unreal 2.3.0已经实现了WMTS

最新新闻

  • 从入门到精通:Catcher异常过滤器与参数排除高级用法终极指南
  • 解决Docker Machine文件共享慢问题:NFS替代默认挂载的完整方案
  • 淮南GEO服务商代理加盟选型靠谱推荐哪家?2026年淮南GEO优化代理加盟服务商选型指南与合作权益解析 - 子柔传媒
  • Madmom深度解析:Python音乐信息检索的高效方案
  • Xiaomusic深度解析:3大核心功能与进阶配置实战指南
  • 2026佛山防水补漏维修团队实测盘点TOP4:佛山业主房屋渗漏修缮靠谱选择 - 宅安选房屋修缮

日新闻

  • 5分钟掌握Python进化算法:Geatpy高性能优化工具完全指南
  • Microchip 24AA044 EEPROM选型与应用全指南:从参数解析到实战编程
  • 华为的鸿蒙到底有多牛?为什么称作遥遥领先?

周新闻

  • 3步解锁iOS设备:applera1n激活锁绕过完全指南
  • 39 2026 人工智能证书终极盘点,普通人选 AI 证书可以从这些方向入手
  • Redis 暴露公网有多危险?从端口检查到补救步骤

月新闻

  • 【总结】入门篇:50句话让你记住架构核心概念
  • WeChatMsg技术方案解析:实现Mac微信数据自主管理的完整解决方案
  • WeChatMsg:革新性微信数据备份方案,打造你的专属数字记忆库

关于尧图

  • 公司简介
  • 团队介绍
  • 企业文化
  • 荣誉资质

服务项目

  • 定制开发
  • 电商建站
  • UI 设计
  • 运维服务

快速链接

  • 案例展示
  • 建站流程
  • 常见问题
  • 资讯中心

联系方式

  • 📍北京市朝阳区互联网产业园 A 座 10 层
  • 📞400-888-8888
  • ✉️contact@rkmt.cn
  • 🕐周一至周日 9:00-21:00

© 2024 北京尧图网络科技有限公司 版权所有 | 京 ICP 备 XXXXXXXX 号