分类

← View All Tools

排序去重

使用 lodash _.sortedUniq 为排序数组去重

删除排序 JSON 数组中的连续重复值。

亮点：

  • 使用 lodash _.sortedUniq
  • 适用于已排序数组
  • 返回 JSON 格式的去重结果

示例：

  • 数组：[1, 1, 2, 2, 3]
  • 结果：[1, 2, 3]

输入 JSON 数组

关键信息

分类
Data Processing
输入类型
textarea
输出类型
text
样本覆盖
4
支持 API
Yes

概览

排序去重工具是一个基于 lodash `_.sortedUniq` 函数的在线实用程序，专门用于从已排序的 JSON 数组中移除连续的重复值，返回一个仅包含唯一值的新数组。

适用场景

  • •当您拥有一个已排序的数组，并且需要快速移除其中连续的重复项时。
  • •在数据预处理阶段，需要对已排序的列表进行去重以优化后续分析或存储。
  • •当您希望利用 lodash 库的高效算法，而不是手动编写去重逻辑时。

工作原理

  • •在输入框中粘贴或输入一个已排序的 JSON 数组。
  • •工具会验证输入是否为有效的 JSON 数组格式。
  • •调用 lodash 的 `_.sortedUniq` 函数处理该数组，仅移除相邻的重复元素。
  • •处理完成后，页面将显示去重后的新 JSON 数组结果。

使用场景

清理从数据库查询返回的、已按某个字段排序的ID列表。
处理传感器或日志数据流，其中连续的重复读数可能表示状态未变化。
在生成图表或报告前，对已排序的分类标签或时间戳进行去重。

用户案例

1. 清理排序后的用户ID列表

后端开发者
背景原因
从数据库获取了一个按用户ID升序排列的列表，但由于数据同步问题，列表中存在连续的重复ID。
解决问题
需要快速移除这些连续的重复ID，以获得一个干净的唯一ID列表用于后续查询。
如何使用
将排序后的ID数组 `[1001, 1001, 1002, 1005, 1005, 1005, 1008]` 粘贴到输入框。
效果
工具返回去重后的数组 `[1001, 1002, 1005, 1008]`。

2. 处理有序的时间戳序列

数据分析师
背景原因
分析服务器日志时，提取出了一组按时间排序的事件时间戳，但某些事件被重复记录。
解决问题
需要去除连续的重复时间戳，以准确计算独立事件的发生次数。
如何使用
输入已排序的时间戳数组 `["09:00:01", "09:00:01", "09:00:05", "09:00:05", "09:00:10"]`。
效果
得到去重后的时间戳序列 `["09:00:01", "09:00:05", "09:00:10"]`，可用于后续分析。

用 Samples 测试

json, video
WebRTC 实时通信示例
全面的 WebRTC 示例，用于点对点音视频通信、数据通道、屏幕共享和信令服务器实现
preferred input family json
json
十六进制/Unicode转换样本
十六进制和Unicode转义序列转换的测试样本
preferred input family json
json
JWT 示例
从基础令牌结构到高级安全实现的全面JWT示例
preferred input family json
json
AWS EventBridge 示例
AWS EventBridge 示例，包括事件总线、规则、目标、模式注册表、自定义事件和跨账户事件路由，适用于无服务器事件驱动架构
preferred input family json
json

相关专题

JsonConvert工具专题
探索 100 个围绕 json 的 convert 工作流工具，快速找到相近能力。
VideoConvert工具专题
探索 36 个围绕 video 的 convert 工作流工具，快速找到相近能力。
Json 工具专题
探索 43 个围绕 json 的 utility 工作流工具，快速找到相近能力。
JsonGenerate工具专题
探索 33 个围绕 json 的 generate 工作流工具，快速找到相近能力。

常见问题

这个工具适用于什么类型的数据？

它专门处理已排序的 JSON 数组，数组元素可以是数字、字符串等基本类型。

输入数组必须是严格排序的吗？

是的，为了确保 `_.sortedUniq` 能正确工作，输入数组应已按升序或降序排列。

处理大量数据需要很长时间吗？

不会，`_.sortedUniq` 算法效率很高，因为它只需遍历一次数组，比较相邻元素。

可以撤销去重操作吗？

本工具不提供撤销功能。建议在操作前备份原始数据。

它与普通的数组去重有什么区别？

普通去重（如 `_.uniq`）会检查所有元素，而 `sortedUniq` 仅检查相邻元素，因此要求输入数组已排序，但速度更快。

API 文档

请求端点

POST /zh/api/tools/sorted-unique

请求参数

参数名 类型 必填 描述
array textarea 是 输入 JSON 数组

响应格式

{
  "result": "Processed text content",
  "error": "Error message (optional)",
  "message": "Notification message (optional)",
  "metadata": {
    "key": "value"
  }
}
文本: 文本

AI MCP 文档

将此工具添加到您的 MCP 服务器配置中： 

{
  "mcpServers": {
    "elysiatools-sorted-unique": {
      "name": "sorted-unique",
      "description": "使用 lodash _.sortedUniq 为排序数组去重",
      "baseUrl": "https://elysiatools.com/mcp/sse?toolId=sorted-unique",
      "command": "",
      "args": [],
      "env": {},
      "isActive": true,
      "type": "sse"
    }
  }
}

你可以串联多个工具，比如：`https://elysiatools.com/mcp/sse?toolId=png-to-webp,jpg-to-webp,gif-to-webp`，最多20个。

如果遇见问题，请联系我们：[email protected]