TDW2022腾讯设计周于11月18日完美收官！ 腾讯设计周(TDW)由腾讯设计通道联合腾讯学堂共同举办，活动形式主要包括设计峰会和创意市集，今年设计周的主题是：「共创互生·设计向善」，延续"DESIGN FOR GOOD”的理念，开展一年一度的腾讯设计盛会。 今年的设计峰会共邀请了7位来自各个设计

马上要过年了，大家是在回家的路上还是已经到家了？祝各位过一个好年，大鱼大肉吃个够，今天我们腾讯技术工程也给大家准备了点「精神食粮」。从 2019 年发布的近 300 篇文章中精挑细选出了**十大最受欢迎文章，**以供各位闲暇之余看一看。 以下文章标题均可 点击跳转 到对应文章。 01 腾讯万亿级 E

一、Spark 概述 Spark 是 UC Berkeley AMP Lab 开源的通用分布式并行计算框架，目前已成为 Apache 软件基金会的顶级开源项目。Spark 支持多种编程语言，包括 Java、Python、R 和 Scala，同时 Spark 也支持 Hadoop 的底层存储系统 HD

近日，在Apache Hadoop社区主导及邀请下，腾讯开源、腾讯大数据、腾讯云联合承办了Hadoop技术社区在中国的首次Meetup。围绕Hadoop技术实践，来自腾讯、Cloudera、京东、小米、阿里、滴滴、华为、字节跳动的多位嘉宾参与了分享讨论。 腾讯开源运营负责人王春雨表示：“中国企业的参

近日，在Apache Hadoop社区主导及邀请下，腾讯开源、腾讯大数据、腾讯云联合承办了Hadoop技术社区在中国的首次Meetup。围绕Hadoop技术实践，来自腾讯、Cloudera、京东、小米、阿里、滴滴、华为、字节跳动的多位嘉宾参与了分享讨论。 腾讯开源运营负责人王春雨表示：“中国企业的参

自2006年诞生以来，Hadoop技术与社区已走过了13个年头，在经历了大数据技术高速发展之后，迎来了3.x时代。Hadoop如何在腾讯、阿里、滴滴、小米、美团、头条以及京东巧妙落地？有哪些新方向值得关注？Hadoop技术社区又将走向何方？ 今天，Hadoop将首次在中国组织Meetup，为你揭晓大

自2006年诞生以来，Hadoop技术与社区已走过了13个年头，在经历了大数据技术高速发展之后，迎来了3.x的时代。这些年来，Hadoop如何在腾讯、阿里、滴滴、小米、美团、头条以及京东巧妙落地？在全新的时期，有哪些方向值得关注？Hadoop技术社区又将走向何方？2019年8月10日，Hadoop将

导语：读书是一生的功课，技术人通过读书实现自我提升，学习优秀知识沉淀。TEG书知道本期特邀腾讯云数仓数据湖产品负责人堵俊平、腾讯云数据库负责人林晓斌、腾讯TEG云架构平台部数据块中心高级工程师王银虎，腾讯TEG计费平台部账户中心专家工程师潘安群为大家带来大数据方向好书推荐。来看看技术大牛在读什么，收

4月1日，腾讯云大数据及人工智能产品研发的专家研究员堵俊平受邀成为 Apache 软件基金会Member（Apache Software Foundation Member，以下简称 ASF Member），一封名为 “邀请成为 ASF Member” 的电子邮件正式为堵俊平敲开了开源世界的新大门。

2006年Apache Hadoop发布，2008年Hadoop成为Apache顶级项目。在那时，中国移动、百度、淘宝等都已经开始使用Hadoop技术。Hadoop现在早已成为Apache软件基金会的金牌项目之一。不仅如此，它还孕育了包括HBase、Hive、ZooKeeper等一系列知名Apach

分布式文件系统用于解决海量数据存储的问题，腾讯大数据采用HDFS（Hadoop分布式文件系统）作为数据存储的基础设施，并在其上构建如Hive、HBase、Spark等计算服务。 HDFS块存储采用三副本策略来保证数据可靠性，随着数据量的不断增长，三副本策略为可靠性牺牲的存储空间也越来越大。如何在不降

云计算、大数据经常意味着需要调动数据中心大量的资源，如何能够快速的匹配合适资源，需要一个聪明的“大脑”。数据平台部的TDW，是腾讯自主研发，支持百PB级的数据存储和计算，提供海量、高效、稳定的大数据平台支撑和决策支持，成为腾讯大数据处理的核心平台。更大规模的集群，更多新的分布式编程框架，更多不同的业

1以PigOnStorm直面实时应用开发面的挑战 在TRC（Tencent Realtime Computing）系统中TDProcess负责为各个应用提供实时计算的能力和服务，Storm是TDProcess的核心部件，虽然Storm已经成为开源流式计算领域的实际标准，但其生态系统远没有Hadoop

前言随着腾讯产品与技术的发展，几乎任何一个与用户相关的在线业务的数据量都在亿级别，每日系统调用次数从亿到百亿，对海量数据的高效插入和快速读取变得越来越重要。而传统关系型数据库模式固定、强调参照完整性、数据的逻辑与物理形式相对独立等，比较适用于中小规模的数据，但对于数据的规模和并发读写方面进行大规模扩

​ 大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能