Clik here to view.
es的mapping设置 - 一只自由自在的鱼 - 博客园
自定义mapping的apiPUT test_index {"mappings": { #mappings关键字"doc": { #type"properties": { #字段名称和类型的定义"name":{ #字段名 "type": "keyword" #字段类型 },"message":{"type": "text" },"age":{"type": "integer" }...
View ArticleClik here to view.
Elasticsearch如何更新mapping_大数据_宁千阳博客-CSDN博客
Elasticsearch 的 mapping 在创建 indices时即已确定，无法更改。那么，当我们需要更新 mapping 时，该如何是好呢？基本思路当我们在创建一条索引时，添加好 mapping 后，可设置一个 alias指向该索引，然后生产环境采用该 alias来索引数据。当然，如果没有这样做的话，建议趁早备份，修改 API 。既然已创建的 indices...
View ArticleClik here to view.
HBase-scan简介及优化(缓存与批量处理) - 嘣嘣嚓 - 博客园
扫描（scan）这种技术类似于数据库系统中的游标(cursor),并利用到了HBase提供的底层顺序存储的数据结构。扫描操作的使用跟get方法非常类似。由于扫描操作的工作方式类似于迭代器，所以用户无需调用scan方法创建实例，只需要调用HTable的getScanner方法，此方法在返回真正的扫描器(scanner)实例的同事，用户也可以使用它迭代获取数据。ResultScanner...
View ArticleClik here to view.
FileBeat采集JSON日志_大数据_Mr.Bean-CSDN博客
FileBeat采集JSON日志前言使用FileBeat采集JSON日志传输到logstash或者elasticsearch中，其中FileBeat的版本为5.5.0，Elasticsearch的版本为5.6.8文件配置简单配置关于配置filebeat的json采集，主要需要注意的有以下几个配置项#keys_under_root可以让字段位于根节点，默认为false...
View ArticleClik here to view.
【转载】主数据管理（MDM）与元数据管理 - bada130 - 博客园
主数据(Master Data)和元数据(Meta Data)是两个完全不同的概念。元数据是指表示数据的相关信息，比如数据定义等，而主数据是指实例数据，比如产品目录信息等。比如，某省地税开发了一套 征收管理软件，以市为单位部署了17套，每套征收管理软件中的元数据都是一样的，但是主数据还是需要进行管理的。主数据管理和传统数据仓库解决方案不是一...
View ArticleClik here to view.
hive中创建关联hbase表的几种方案_大数据_Tony_仔仔 的博客-CSDN博客
【运行环境】hive-1.2.1 hbase-1.1.2【需求背景】 有时候我们需要把已存在Hbase中的用户画像数据导到hive里面查询，也就是通过hive就能查到hbase里的数据。但是我又不想使用sqoop或者DataX等工具倒来倒去。这时候可以在hive中创建关联表的方式来查询hbase中的数据。 【创建关联表的几种方案】...
View ArticleClik here to view.
人生四大困扰：不可避免的死亡，内心深处的孤独……（黑白先生）_庐西酒徒_新浪博客
我喜欢一个人坐火车旅行，火车上的旅途，身处人群却感觉这世界一切都与你无关，在旅途中散尽所有思绪的种子让它们无拘无束的飘到想要去的任何地方…喜欢无所欲亦无所求专注于内心最真实的自我…...
View ArticleClik here to view.
如何正确管理HBase的连接，从原理到实战 - 阿丸 - 博客园
本文将介绍HBase的客户端连接实现，并说明如何正确管理HBase的连接。最近在搭建一个HBase的可视化管理平台，搭建完成后发现不管什么查询都很慢，甚至于使用api去listTable都要好几秒。经过一番排查发现，是每次请求的时候，都去临时创建了一个connection，而创建connection非常耗时导致整体的rt上升。因此，就深入了解了下如何正确管理HBase的connection，同时，也...
View ArticleClik here to view.
容器环境的JVM内存设置最佳实践 - JadePeng - 博客园
Docker和K8S的兴起，很多服务已经运行在容器环境，对于java程序，JVM设置是一个重要的环节。这里总结下我们项目里的最佳实践。Java Heap基础知识默认情况下，jvm自动分配的heap大小取决于机器配置，比如我们到一台64G内存服务器：java -XX:+PrintFlagsFinal -version | grep -Ei "maxheapsize|maxram" uintx...
View ArticleClik here to view.
ES运维--快速重启_运维_SouthPark的专栏-CSDN博客
启动初始化时间长修改es配置，重启集群成本巨大。ES集群已有25T数据，27个节点，24个数据节点（热盘12和hot节点，慢盘12个stale节点，3个mater节点），数据节点的启动，加入集群后需要初始化全部索引，这个过程过程很慢。全部重启一次可能要一天，非常耗时。重启后经常遇到少量索引一直处于unassigned状态，导致集群一直是red状态。目标有时调整配置，希望能快速重启生效（能用api改的...
View ArticleClik here to view.
es集群快速恢复（优化方案）_大数据_ClearloveXXX的博客-CSDN博客
1、停止数据写入 2、关闭allocate，禁止shard做allocatecurl -XPUT localhost:9200/_cluster/settings -d '{ "persistent" : { "cluster.routing.allocation.enable" : "none"...
View ArticleClik here to view.
Apache Openwhisk学习（一） - junjiang3 - 博客园
一、背景最近中途参与的一个项目是和Serverless、Faas相关的，项目的整体架构和实现都参考了开源项目openwhisk，因此，同事们在编码时都会参考openwhisk的源码。因为以前从没有接触过这方面的知识，因此想学习下。关于Serverless和Faas的概念场景等，可以参考下，这两篇博客， Serverless 架构：用服务代替服务器和...
View ArticleClik here to view.
Spring-Boot 默认日志logback配置_Java_t0m的专栏-CSDN博客
Spring-Boot官方开发指导文档 SpringBoot默认采用了logback日志系统，也支持Log4j2、JDK (Java Util Logging)、SLF4J、Commons Logging等。下面说一下logback日志系统在SpringBoot中的配置。...
View ArticleClik here to view.
集成Consul负载均衡多实例注册_java_天雨流芳-CSDN博客
SpringBoot2.x 集成Consul负载均衡多实例注册原理解决方案（2种）解决方案一自定义ConsulServiceRegistry开启心跳检测解决方案二直接修改实例ID参考原理问题：问题在多个实例注册时出现。如果不解决将会出现实例覆盖的情况，实现不了负载均衡。原因：根据官网描述：Consul 的注册机制，默认是Spring Cloud...
View ArticleClik here to view.
今天，你遇到redis线上连接超时了吗？ - WindWant - 博客园
一封报警邮件，大量服务节点 redis 响应超时。又来，好烦。redis 响应变慢，查看日志，发现大量 TimeoutException。大量TimeoutException，说明当前redis服务节点上已经堆积了大量的连接查询，超出redis服务能力，再次尝试连接的客户端，redis...
View ArticleClik here to view.
Netty 中的粘包和拆包 - rickiyang - 博客园
Netty 底层是基于 TCP 协议来处理网络数据传输。我们知道 TCP 协议是面向字节流的协议，数据像流水一样在网络中传输那何来 “包” 的概念呢？TCP是四层协议不负责数据逻辑的处理，但是数据在TCP层 “流” 的时候为了保证安全和节约效率会把 “流” 做一些分包处理，比如：发送方约定了每次数据传输的最大包大小，超过该值的内容将会被拆分成两个包发送；发送端 和 接收端...
View ArticleClik here to view.
Elasticsearch6.X 去重详解_大数据_铭毅天下（公众号同名）-CSDN博客
1、题记Elasticsearch有没有类似mysql的distinct的去重功能呢？1）如何去重计数？ 类似mysql: select distinct(count(1)) from my_table; 2）如何获取去重结果。 类似mysql：SELECT DISTINCT name,age FROM users;2、需求1）对ES的检索结果进行去重统计计数。...
View ArticleClik here to view.
elasticsearch 写入速度提升的案例分享 - 独行侠梦 - 博客园
文章首发投稿至InfoQ,【侠梦的开发笔记】公众号，欢迎关注 https://www.infoq.cn/article/t7b52mbzxqkwrrdpVqD2基本配置基本配置，5台配置为 24C 125G 17T 的主机，每台主机上搭建了一个elasticsearch节点。...
View ArticleClik here to view.
Clik here to view.
elasticsearch 事务日志是个啥东西？ - 饭别稀 - 博客园
ES事务日志是什么？translog是elasticsearch的事务日志文件，它记录了所有对索引分片的事务操作（add/update/delete），每个分片对应一个translog文件。干嘛用的？translog是用来恢复数据的。Es用“后写”的套路来加快写入速度 — 写入的索引并没有实时落盘到索引文件，而是先双写到内存和translog文件，下图1中灰色部分（见蓝色箭头）表示数据出于 可搜索...
View Article