Product & Achievements

AI 应用解决方案

专为网上商店量身定制,推动新业务增长

AI 推荐引擎

个性化搜索,享受管家般的体验

  • 精准用户定位
  • 可扩展的推荐解决方案
  • 用于自适应营销的实时客户情报
  • 转化率显著增长
  • 有效的私人流量管理

智能导购

精准获客,降低成本

  • 智能分析目标用户
  • 关键词和投放策略自动优化
  • 精准定向,持续降低获客成本
  • 实时数据洞察用户行为
  • 自动化广告系列 A/B 测试

智能内容生成

将内容生产从零转变为一

  • 秒级创建优质营销文案
  • 准确把握品牌基调
  • 一键生成多场景副本
  • 释放营销团队的创意压力
  • 大幅降低内容制作成本

推理加速

自研高性能 LLM 推理框架,面向 DeepSeek 系列大语言模型进行深度优化,已完成 PD 分离、EPLB(优先级调度)、DeepEP(高效并行执行)及 DeepGEEM(显存精细管理)等关键方案的系统集成。在多卡多节点环境下,实现推理吞吐率提升超过 50%,同时显著降低 ITL(Idle Token Latency),整体延迟下降超过 2 倍,为大模型推理在实际业务中的落地与规模化部署提供了坚实支撑。

机房分布

No.1 杭州机房
No.2 杭州机房
No.3 香港机房
No.4 新加坡机房
No.5 美国机房
技术与研究
浏览我们的博客
大型语言模型压缩
本研究提出了一种改进文本嵌入模型的方法,该方法通过在添加专家评分的小型数据集上进行对比微调来改进文本嵌入模型。该方法侧重于增强语义文本相似性任务并解决文本检索问题。该方法使用基于专家增强评分的软标签来微调嵌入模型,在保留其通用性的同时,确保检索能力得到提升。本文使用来自在线购物网站的问答数据集和八个专家模型对该方法进行了评估。结果表明,该方法在海量文本嵌入基准 (MTEB) 的各种检索任务中,在多个指标上的表现均优于基准模型。该方法经济高效,适用于实际应用,尤其是在标注数据稀缺的情况下。 表 1 和表 2 分别展示了不同模型在 MTEB 检索任务中不同数据集上的 nDCG@10 和 mAP@10 指标的评估结果。Benchmark、Soft-1、Soft-2 和 Hard 标签模型的平均 nDCG@10 得分分别为 39.675、40.633、40.334和37.574,标准差分别为 29.963、28.552、28.167 和 27.081。 Benchmark、Soft-1、Soft-2 和 Hard 标签模型的平均 mAP@10 分别为 34.419、35.323、35.04和32.243,标准差分别为 29.693、28.587、28.221 和 26.585。Soft-1 在 nDCG@10 方面优于 Benchmark 的胜率为 50.37%,在 mAP@10 方面优于 Benchmark 的胜率为 55.38%。这再次证实了没有一种文本嵌入方法在所有任务上都占主导地位(Muennighoff et al.,2022)。与 Benchmark 模型相比,Soft-1 和 Soft-2 模型表现出色,得分更高,标准差更小,表明它们在各种数据集上均表现良好且性能稳定。另一方面,硬标签模型的 nDCG@10 和 mAP@10 得分与基准相比较差;尽管其标准差较小。使用 Soft-1 和 Soft-2 标签进行微调后看到的改进可能归因于微调模型中各向异性的降低(这意味着文本嵌入在微调后在向量空间中占据了更大的锥体)。保留集上的结果进一步证实了这一特性:Soft-1 和 Soft-2 模型在精确召回 (PR) 曲线下的面积方面具有更好的结果(参见 4.3 节)。不相关对的文本嵌入随后分布在更大的向量空间范围内。
改进词嵌入模型
11111本研究提出了一种改进文本嵌入模型的方法,该方法通过在添加专家评分的小型数据集上进行对比微调来改进文本嵌入模型。该方法侧重于增强语义文本相似性任务并解决文本检索问题。该方法使用基于专家增强评分的软标签来微调嵌入模型,在保留其通用性的同时,确保检索能力得到提升。本文使用来自在线购物网站的问答数据**集和八个**专家模型对该方法进行了评估。结果表明,该方法在海量文本嵌入基准 (MTEB) 的各种检索任务中,在多个指标上的表现均优于基准模型。该方法经济高效,适用于实际应用,尤其是在标注数据稀缺的情况下。 ![20250707-170750.jpeg](https://greaterheat-web-strapi.dev.grheattest.com/uploads/20250707_170750_00a822e812.jpeg) 表 1 和表 2 分别展示了不同模型在 MTEB 检索任务中不同数据集上的 nDCG@10 和 mAP@10 指标的评估结果。Benchmark、Soft-1、Soft-2 和 Hard 标签模型的平均 nDCG@10 得分分别为 39.675、40.633、40.334和37.574,标准差分别为 29.963、28.552、28.167 和 27.081。 Benchmark、Soft-1、Soft-2 和 Hard 标签模型的平均 mAP@10 分别为 34.419、35.323、35.04和32.243,标准差分别为 29.693、28.587、28.221 和 26.585。Soft-1 在 nDCG@10 方面优于 Benchmark 的胜率为 50.37%,在 mAP@10 方面优于 Benchmark 的胜率为 55.38%。这再次证实了没有一种文本嵌入方法在所有任务上都占主导地位(Muennighoff et al.,2022)。与 Benchmark 模型相比,Soft-1 和 Soft-2 模型表现出色,得分更高,标准差更小,表明它们在各种数据集上均表现良好且性能稳定。另一方面,硬标签模型的 nDCG@10 和 mAP@10 得分与基准相比较差;尽管其标准差较小。使用 Soft-1 和 Soft-2 标签进行微调后看到的改进可能归因于微调模型中各向异性的降低(这意味着文本嵌入在微调后在向量空间中占据了更大的锥体)。保留集上的结果进一步证实了这一特性:Soft-1 和 Soft-2 模型在精确召回 (PR) 曲线下的面积方面具有更好的结果(参见 4.3 节)。不相关对的文本嵌入随后分布在更大的向量空间范围内。
company events
公司大事件
了解更多
2024年5月22日至24日
杭州紫界方舟科技有限公司荣获ISO20000及ISO27001双认证
今年6月,杭州字节方舟科技有限公司成功获得ISO20000信息技术服务管理体系认证和ISO27001信息安全管理体系认证,这一成绩不仅彰显了公司在IT服务管理和信息安全方面的卓越表现,也体现了字节方舟以客<u>户为中</u>_Italic_心的经营理念。 **daf** 强大的技术专长和卓越的服务 ISO20000:确保高效的IT服务管理 ISO20000认证 作为国际公认的IT服务管理标准,标志着字节方舟已建立起高效、稳定、可靠的IT服务管理体系。通过此次认证,字节方舟规范了服务流程,明确了服务标准,提升了服务质量,优化了资源配置,降低了运营成本,提高了效率,显著增强了公司的市场竞争力和品牌美誉度。 ISO27001:信息安全管理的领先者 ISO27001 认证 彰显了字节方舟对信息安全的承诺。作为全球公认的信息安全管理标准,ISO27001 要求组织遵循严格的风险评估、安全策略制定、安全培训和事件管理协议。这些措施增强了字节方舟管理安全风险的能力,确保了更高水平的数据保护,并提升了客户信任度。 致力于客户满意度 字节方舟始终秉承客户至上的理念,不断完善IT服务和信息安全管理体系,为客户提供高质量的解决方案。获得ISO20000和ISO27001认证,是公司技术实力、服务水平和团队共同努力的体现。   “我们很荣幸同时获得ISO20000和ISO27001认证,”字节方舟管理团队表示。“这项认可是对我们过去努力的肯定,也激励我们取得更大的成就。我们将继续提升服务质量和客户满意度,为客户创造更多价值。” 展望未来:持续改进与创新 未来,字节方舟将秉承以客户为中心的价值观,进一步优化IT服务管理和信息安全体系,应对新兴技术带来的挑战,致力于提供卓越的服务,并始终站在创新的前沿。 关于杭州字节方舟科技有限公司 字节方舟 位于杭州市余杭区未来科技城,是一家专注于人工智能、区块链、云存储、高性能计算、边缘计算等领域创新的高科技互联网公司,提供全面的数字化转型解决方案,致力于构建下一代互联网基础设施,保障数据安全,实现商业价值最大化。 字节方舟拥有超过100名员工,秉承工程师驱动的文化,团队中70%为技术人才,包括海归计算机专家和世界500强企业的高级工程师。经过六年的发展,公司已成长为国家级高新技术企业和国家认定的“专精特新”企业。 字节方舟始终致力于技术卓越,为企业提供尖端的人工智能和云解决方案,塑造数字经济的未来。
查看更多
2024年5月22日至24日
杭州紫界方舟科技有限公司荣获ISO20000及ISO27001双认证
今年6月,杭州字节方舟科技有限公司成功获得ISO20000信息技术服务管理体系认证和ISO27001信息安全管理体系认证,这一成绩不仅彰显了公司在IT服务管理和信息安全方面的卓越表现,也体现了字节方舟以客户为中心的经营理念。   强大的技术专长和卓越的服务 ISO20000:确保高效的IT服务管理 ISO20000认证 作为国际公认的IT服务管理标准,标志着字节方舟已建立起高效、稳定、可靠的IT服务管理体系。通过此次认证,字节方舟规范了服务流程,明确了服务标准,提升了服务质量,优化了资源配置,降低了运营成本,提高了效率,显著增强了公司的市场竞争力和品牌美誉度。 ISO27001:信息安全管理的领先者 ISO27001 认证 彰显了字节方舟对信息安全的承诺。作为全球公认的信息安全管理标准,ISO27001 要求组织遵循严格的风险评估、安全策略制定、安全培训和事件管理协议。这些措施增强了字节方舟管理安全风险的能力,确保了更高水平的数据保护,并提升了客户信任度。 致力于客户满意度 字节方舟始终秉承客户至上的理念,不断完善IT服务和信息安全管理体系,为客户提供高质量的解决方案。获得ISO20000和ISO27001认证,是公司技术实力、服务水平和团队共同努力的体现。   “我们很荣幸同时获得ISO20000和ISO27001认证,”字节方舟管理团队表示。“这项认可是对我们过去努力的肯定,也激励我们取得更大的成就。我们将继续提升服务质量和客户满意度,为客户创造更多价值。” 展望未来:持续改进与创新 未来,字节方舟将秉承以客户为中心的价值观,进一步优化IT服务管理和信息安全体系,应对新兴技术带来的挑战,致力于提供卓越的服务,并始终站在创新的前沿。 关于杭州字节方舟科技有限公司 字节方舟 位于杭州市余杭区未来科技城,是一家专注于人工智能、区块链、云存储、高性能计算、边缘计算等领域创新的高科技互联网公司,提供全面的数字化转型解决方案,致力于构建下一代互联网基础设施,保障数据安全,实现商业价值最大化。 字节方舟拥有超过100名员工,秉承工程师驱动的文化,团队中70%为技术人才,包括海归计算机专家和世界500强企业的高级工程师。经过六年的发展,公司已成长为国家级高新技术企业和国家认定的“专精特新”企业。 字节方舟始终致力于技术卓越,为企业提供尖端的人工智能和云解决方案,塑造数字经济的未来。
查看更多
2024年5月22日至24日
杭州紫界方舟科技有限公司荣获ISO20000及ISO27001双认证
今年6月,杭_州字节方舟科__Italic_技有限公司成功获得ISO20000信息技术服务管理体系认证和ISO27001信息安全管**理体系认证,这一成**绩不仅彰显了公司在IT服务管理和信息安全方面的卓越表现,也体现了字节方舟以客户为中心的经营理念。   ![20250707-170750.jpeg](https://greaterheat-web-strapi.dev.grheattest.com/uploads/20250707_170750_00a822e812.jpeg) 强大的技术专长和卓越的服务 ISO20000:确保高效的IT服务管理 ISO20000认证 作为国际公认的IT服务管理标准,标志着字节方舟已建立起高效、稳定、可靠的IT服务管理体系。通过此次认证,字节方舟规范了服务流程,明确了服务标准,提升了服务质量,优化了资源配置,降低了运营成本,提高了效率,显著增强了公司的市场竞争力和品牌美誉度。 ISO27001:信息安全管理的领先者 ISO27001 认证 彰显了字节方舟对信息安全的承诺。作为全球公认的信息安全管理标准,ISO27001 要求组织遵循严格的风险评估、安全策略制定、安全培训和事件管理协议。这些措施增强了字节方舟管理安全风险的能力,确保了更高水平的数据保护,并提升了客户信任度。 致力于客户满意度 字节方舟始终秉承客户至上的理念,不断完善IT服务和信息安全管理体系,为客户提供高质量的解决方案。获得ISO20000和ISO27001认证,是公司技术实力、服务水平和团队共同努力的体现。   “我们很荣幸同时获得ISO20000和ISO27001认证,”字节方舟管理团队表示。“这项认可是对我们过去努力的肯定,也激励我们取得更大的成就。我们将继续提升服务质量和客户满意度,为客户创造更多价值。” 展望未来:持续改进与创新 未来,字节方舟将秉承以客户为中心的价值观,进一步优化IT服务管理和信息安全体系,应对新兴技术带来的挑战,致力于提供卓越的服务,并始终站在创新的前沿。 关于杭州字节方舟科技有限公司 字节方舟 位于杭州市余杭区未来科技城,是一家专注于人工智能、区块链、云存储、高性能计算、边缘计算等领域创新的高科技互联网公司,提供全面的数字化转型解决方案,致力于构建下一代互联网基础设施,保障数据安全,实现商业价值最大化。 字节方舟拥有超过100名员工,秉承工程师驱动的文化,团队中70%为技术人才,包括海归计算机专家和世界500强企业的高级工程师。经过六年的发展,公司已成长为国家级高新技术企业和国家认定的“专精特新”企业。 字节方舟始终致力于技术卓越,为企业提供尖端的人工智能和云解决方案,塑造数字经济的未来。
查看更多
COMPANY PROFILE

公司介绍

字节方舟是一家专注于AI基础设施与应用解决方案的科技型企业,总部位于杭州未来科技城。公司核心聚焦于LLM推理框架优化、行业级AI应用解决方案与高性能GPU算力服务,致力于构建覆盖底层计算与上层业务的一体化AI能力平台。

公司团队以工程师文化为核心,技术人员占比达70%,成员主要来自海内外知名高校及全球500强科技企业,具备强大的研发能力和国际化视野。字节方舟可为全球客户提供高可靠、可扩展的AI计算资源。公司已获评国家级高新技术企业、浙江省专精特新企业,拥有百余项专利和软件著作权,正加速打造全球化AI基础设施服务网络。

企业价值观

创造十分价值,取三分回报,终还于社会

Create tenfold value, take modest returns, give back to society

实事求是,明智决策

以客观事实为依据,深入分析,理性思考,做出明智的决策。这是创造价值的基础,只有基于事实和智慧的决策才能带来真正的价值。

持续学习,理解全局

保持开放和学习的心态,建立全局视野,深入理解业务、客户和市场。通过持续学习确保我们能创造创新性的价值,适应不断变化的环境。

善于聆听,沟通简洁

专注倾听,准确理解,用清晰简洁的方式表达和传递信息。有效的沟通是连接和传递价值的桥梁,帮助我们更好地理解和满足需求。

结果导向,追求卓越

关注成果,精益求精,不断突破自我,追求卓越表现。只有追求卓越,才能实现"十分价值"的创造目标。

诚信正直,勇于改错

坚持诚实守信,保持正直品格,勇于承认并改正错误。诚信正直是确保价值可持续的基石,也是实现"终还于社会"承诺的保证。

企业专利

创始人
AI成员

企业创始人

David

“创业就像是在航海,既要有远航的目标,但在途中不断地发现并登陆一个个小岛,获取补给。” CEO David这样形容他的创业探索史。一位成功的连续创业者,字节方舟创始人。创业历程始于2018年创立杭州字节方舟科技有限公司。在投身创业之前,曾在半导体行业担任IT工程师,主要参与智能手机项目的相关工作。

Andy

80后优秀创业者。曾创办多家实体企业,产品畅销全球,平均年营业额超过2000万美金;2014年作为早期布道者和参与者进入区块链领域,主要从事交易和资本运作,拥有丰富的加密资产运作经验;2018年投资创建杭州字节方舟科技有限公司,经营流水超过4000万美金,管理加密资产超过1亿美金。

连接彼此的,不止是代码
记录我们并肩同行的点滴瞬间,见证团队的热情与力量。创新的背后,是一群彼此信任、共同成长的伙伴。字节方舟的每段团建时光,都是团队凝聚力最真实的注脚。
Company Profile

招聘

了解更多

推理引擎优化工程师

专注于 推理执行阶段 本身的效率与执行路径优化,包括 Prefill/Decode 阶段的解耦、缓存调度、采样优化等。

本科3-5年 LLM
1. 负责 LLM 推理系统的执行路径、资源调度与通信模块的系统级优化;
2. 设计并实现支持大规模多卡部署的调度执行架构,提升系统吞吐能力;
3. 优化通信链路与数据传输,减少跨节点通信延迟与带宽瓶颈;
4. 推进混合精度策略(如 FP16、BF16、INT8)在推理框架中的高效应用;
5. 支持并推动开源或自研推理框架(如 vLLM、SGLang)在系统层的深度性能演进。

职位要求:
1. 本科及以上学历,计算机科学、人工智能、软件工程或相关专业;
2. 熟悉主流推理框架,具备 vLLM、SGLang、TensorRT-LLM 等推理框架的优化经验者优先;
3. 熟悉通信优化,具备 NCCL、NVSHMEM、RDMA 等通信库的使用经验,了解通信开销的优化方法;
4. 理解资源管理机制,熟悉任务调度、并发控制、NUMA 架构、CPU/GPU 亲和性优化等系统层优化手段;
5. 具备系统级性能瓶颈分析能力,能够跨模块主导复杂性能问题的定位与解决,推动整体性能优化闭环。

系统性能优化工程师

关注 推理框架本身的底层基础设施与系统结构,如资源分配、跨节点通信、GPU 编排、混合精度计算等。

本科3-5年 LLM
1. 负责 LLM 推理系统的执行路径、资源调度与通信模块的系统级优化;
2. 设计并实现支持大规模多卡部署的调度执行架构,提升系统吞吐能力;
3. 优化通信链路与数据传输,减少跨节点通信延迟与带宽瓶颈;
4. 推进混合精度策略(如 FP16、BF16、INT8)在推理框架中的高效应用;
5. 支持并推动开源或自研推理框架(如 vLLM、SGLang)在系统层的深度性能演进。

职位要求:
1. 本科及以上学历,计算机科学、人工智能、软件工程或相关专业;
2. 熟悉主流推理框架,具备 vLLM、SGLang、TensorRT-LLM 等推理框架的优化经验者优先;
3. 熟悉通信优化,具备 NCCL、NVSHMEM、RDMA 等通信库的使用经验,了解通信开销的优化方法;
4. 理解资源管理机制,熟悉任务调度、并发控制、NUMA 架构、CPU/GPU 亲和性优化等系统层优化手段;
5. 具备系统级性能瓶颈分析能力,能够跨模块主导复杂性能问题的定位与解决,推动整体性能优化闭环。
客户
infraproghicool