HDFS分布式文件系统小结

HDFS概念 HDFS定义 HDFS是Hadoop的一个分布式文件系统，全称叫Hadoop Distributed File System。 HDFS特点 高容错性 HDFS 可以稳定运行在商用硬件集群上，有冗余副本，心跳机制，安全模式等功能支持元数据快照，将失效的集群回滚到之前一个正常的时间点上。 大数据集存储 一个磁盘无法放下的 GB 或 TB 的文件，HDFS将它分成小块（block）......

Posted by 甘家城 on 2021-03-11 文章字数: 2.4k 阅读时间: 16分钟

HADOOP HDFS

2020总结 -- 稳中求进

前言 这个总结会迟到但不会缺席。放个音乐会更配哦~ 2020年已很快过去，今年过的格外稳 外部环境有一部分原因，疫情/公司/生活让我感受到一丝压抑； 内部因素也导致有些懒懒的，内心毫无波澜、保持最低期望。 但稳也能学到很多，积累很多，等待质变。 以下主题不分先后轻重。 工作 今年还是在大搜车的一年，年初在家工作了一个月才来到公司， 当时还信心满满，虽然一些团队的资深大佬都纷纷跳槽。 然后就经......

Posted by 甘家城 on 2021-02-26 文章字数: 3.1k 阅读时间: 20分钟

总结

Web Robot使用教程(终极版)

前言 本文为Web Robot插件使用教程终极版 融合所有前面版本迭代的功能，包括有用的没用的 当前文档教程的Web Robot版本 V2.2.0 教程 下载与安装 因为一些权限因素，本插件目前没有上到chrome商店，需通过源码安装 下载 首先到github的仓库 https://github.com/webgjc/web_robot 将仓库克隆到本地 git clone https:......

Posted by 甘家城 on 2021-01-22 文章字数: 4.4k 阅读时间: 29分钟

CHROME插件 自动化

原博客迁移与复原（2017-2018）

前言 找回了2017-2018年写的所有东西。快速跳转 是之前学生时代写的项目与代码，回想很多经历，也感慨万千。 SQL源文件 到 JSON 最近在离职阶段，在整理文件时突然发现了原来博客的源文件（一直以为找不到了） 之前博客是使用的wordpress，使用了一个服务器，搭了php环境，数据则存储在mysql。 这次找回的是sql导出文件。 然后本地起了一个docker的mysql服务， 分......

Posted by 甘家城 on 2021-01-21 文章字数: 321 阅读时间: 2分钟

MYSQL中关于统计某列最新不同值的方法

前言 这边来看一个sql中统计某列最新不同值的方法。 直接说上面这个比较难以理解，具体场景举例如： 用户访问记录表，统计最近访问的不同的n个用户 操作记录表，统计最近不同的n个操作 看似简单实际上只通过简单的一层sql无法实现。 这边用实操演示，三种可用的实现方式。 实操 这边来实际操作下，为了方便这边用MYSQL为例 准备数据 这个表表示用户资源访问记录表，其中有主键id，用户id，资......

Posted by 甘家城 on 2020-12-30 文章字数: 1.3k 阅读时间: 8分钟

SQL MYSQL

HttpClient的Cookie策略引发的隐藏bug定位与修复

概述 本文记录一次大概历时半年也没排查出来，时有时无的隐藏bug。 大致现象是：一个用户能访问到别人权限的资源(用户串/权限串)。 中间考虑过线程不安全，包的问题，Threadlocal没清除并线程复用导致等， 最终还是排查到是Httpclient的连接池的Cookie策略。 这个点在开发时特别容易被人忽略。 场景还原 背景说明 首先大致说下这问题和中间涉及的系统 如下有一个业务系统， 他依......

Posted by 甘家城 on 2020-12-27 文章字数: 1.3k 阅读时间: 8分钟

HTTP 后端

关于网页可视化圈选的一些实现思路

前言 可视化圈选是一个较为特别的场景，一般在定义页面事件与埋点的时候用的比较多， 这边来讨论下网页中可视化圈选的实现思路。 体验的话可以到插件WEB-ROBOT 效果： 概览 完成可视化圈选大致分为以下几个步骤 捕获鼠标移动事件 给出当前元素的可视化反馈 点击选中元素 转换当前元素的唯一选择器 这边实现大致不同点为，选择器是当前元素和所有父节点元素。 最后还需另外选择一下想要的元素。 ......

Posted by 甘家城 on 2020-12-26 文章字数: 1.3k 阅读时间: 8分钟

CHROME插件 自动化

chrome插件 web_robot之我的看板

前言 这次是web-robot这个插件的2.0的迭代。 主要实现了基于事务的看板。也实现了简易看板模式。 （看板为浏览器新标签页） 看板截图 这几个元素分别来自于 百度天气：https://www.baidu.com/s?ie=UTF-8&wd=天气 天天基金：https://fund.eastmoney.com/ 微博热搜：https://s.weibo.com/top/sum......

Posted by 甘家城 on 2020-12-01 文章字数: 901 阅读时间: 6分钟

CHROME插件 自动化

Java虚拟机

《深入理解java虚拟机》学习篇

前言 记录总结一下 java 虚拟机的部分知识，知识主要来自于书籍《深入理解 java 虚拟机》。 组织形式会以小标题 & 内容解答组成。 内存管理机制 虚拟机内存如何划分 主要有程序计数器，虚拟机栈，本地方法栈，Java 堆，方法区 程序计数器：当前线程执行的字节码行号指示 虚拟机栈：java 方法执行的信息（局部变量表，操作栈，动态链接，方法出口等） 本地方法栈：native ......

Posted by 甘家城 on 2020-09-13 文章字数: 832 阅读时间: 5分钟

JAVA 知识积累

ABOUT ME

不断放下，好好告别

本站地址(github):
http://ganjiacheng.cn/

本站地址2(coding访问更快):
http://blog.ganjiacheng.cn/

MINE
FEATURED TAGS
OTHER HIVE HQL解析 JAVA CHROME插件 HADOOP 自动化 其他 知识积累 操作系统 SQL MYSQL HTTP 后端 PYTHON 脚本 元数据 大数据 YARN 总结 HDFS H3S 评测 生活
RECENT POSTS
ARCHIVES