• 07.

    10

    2019

    Hadoop性能调优案例分享

    Hadoop作为一个庞大的系统,其调优的过程是很复杂的。Hadoop虽然提供了许多调优参数,但数量庞大,开发者往往难以做出合适选择,更凸显了调优的难度。本文将通过一则Hadoop调优案例,与读者分享一...

  • 25.

    09

    2019

    Hbase 大数据场景的应用

    HBase是一个构建在HDFS上的分布式列存储系统,主要用于海量结构化数据存储,从逻辑上讲,HBase将数据按照表、行和列进行存储....

  • 17.

    08

    2019

    用StreamSQL实现事件驱动的实时计算

    基于流的SQL引擎:StreamSQL(基础介绍)中已介绍的,Inceptor StreamSQL是用于替代Scala和API 来简化流计算编程的类SQL声明式语言。StreamSQL的计算运行于流计...

  • 29.

    05

    2019

    关于StreamSQL中的Application隔离

    以往流处理应用的开发依靠Java或者Scala实现,要求分析者既要熟悉底层架构又要懂业务,才能实现高效的流应用。导致入门门槛高,开发速度慢。为了简化复杂的流应用开发过程,Transwarp创新性的引入...

  • 14.

    05

    2019

    基于流的SQL引擎:StreamSQL(基础介绍)

    Inceptor StreamSQL简介 一些流处理平台(比如Spark Streaming,Storm)通常要求用户在创建流处理应用时必须用Java或者Scala进行开发,包括早期的TDH(4.3...

  • 08.

    04

    2019

    大数据上的数据稽查原理和方法介绍(下)

    前情回顾 脏数据的存在会影响查询的执行过程和准确度,因此要求业务分析人员在将数据整合进数仓前进行清洗。然而,由于有时清洗不彻底,脏数据可能难以避免。其实如果完全剔除脏数据确实有难度,只要保证其不被访...

  • 06.

    11

    2018

    大数据上的数据稽查原理和方法介绍(上)

    本次内容将分为上下两篇介绍数据稽查的原理与方法。本文涉及其概念、处理流程、相关语法开关的简单介绍。 何为数据稽查 经常参与数据分析的人员知道,在向业务表导入数据时,如果数据清洗做的不彻底,很可...

  • 25.

    10

    2018

    揭秘Inceptor Server HA

    高可用性对于对于系统集群而言至关重要,是否具备高可用性决定了一个系统是否具有令人满意的使用质量和价值。为了保证Inceptor Server为业务提供可持续性服务,避免单点故障,提高运作的可靠性。星环...

  • 12.

    09

    2018

    从阅读量看大数据技术关注热点

    十五早已过去,春节正式结束,而我们也早已在新的一年中工作了两周。吾日三省吾身,为了发现过去本公众号运营的不足之处,反思过去,以新的姿态迎头赶上新一年的朝阳,我们决定对2016年内发表的各个文章进行总结...

  • 21.

    07

    2018

    如何让Kafka集群免受黑客攻击

    前情回顾 如《Transwarp如何让Hadoop集群免受黑客攻击》所介绍的,近期许多安全组织都检测到勒索软件正在攻击Hadoop集群,这些勒索攻击的攻击模式都较为相似,都是简单的利用相关产品的不安...