甘家城 | Blog

HDFS分布式文件系统小结

HDFS概念 HDFS定义 HDFS是Hadoop的一个分布式文件系统，全称叫Hadoop Distributed File System。 HDFS特点高容错性 HDFS 可以稳定运行在商用硬件集群上，有冗余副本，心跳机制，安全模式等功能支持元数据快照，将失效的集群回滚到之前一个正常的时间点上。大数据集存储一个磁盘无法放下的 GB 或 TB 的文件，HDFS将它分成小块（block）......

Posted by 甘家城 on 2021-03-11 文章字数: 2.4k 阅读时间: 16分钟

HDFS HADOOP

2020总结 -- 稳中求进

前言这个总结会迟到但不会缺席。放个音乐会更配哦~ 2020年已很快过去，今年过的格外稳外部环境有一部分原因，疫情/公司/生活让我感受到一丝压抑；内部因素也导致有些懒懒的，内心毫无波澜、保持最低期望。但稳也能学到很多，积累很多，等待质变。以下主题不分先后轻重。工作今年还是在大搜车的一年，年初在家工作了一个月才来到公司，当时还信心满满，虽然一些团队的资深大佬都纷纷跳槽。然后就经......

Posted by 甘家城 on 2021-02-26 文章字数: 3.1k 阅读时间: 20分钟

总结

Web Robot使用教程(终极版)

前言本文为Web Robot插件使用教程终极版融合所有前面版本迭代的功能，包括有用的没用的当前文档教程的Web Robot版本 V2.2.0 教程下载与安装因为一些权限因素，本插件目前没有上到chrome商店，需通过源码安装下载首先到github的仓库 https://github.com/webgjc/web_robot 将仓库克隆到本地 git clone https:......

Posted by 甘家城 on 2021-01-22 文章字数: 4.4k 阅读时间: 29分钟

CHROME插件自动化

原博客迁移与复原（2017-2018）

前言找回了2017-2018年写的所有东西。快速跳转是之前学生时代写的项目与代码，回想很多经历，也感慨万千。 SQL源文件到 JSON 最近在离职阶段，在整理文件时突然发现了原来博客的源文件（一直以为找不到了）之前博客是使用的wordpress，使用了一个服务器，搭了php环境，数据则存储在mysql。这次找回的是sql导出文件。然后本地起了一个docker的mysql服务，分......

Posted by 甘家城 on 2021-01-21 文章字数: 321 阅读时间: 2分钟

MYSQL中关于统计某列最新不同值的方法

前言这边来看一个sql中统计某列最新不同值的方法。直接说上面这个比较难以理解，具体场景举例如：用户访问记录表，统计最近访问的不同的n个用户操作记录表，统计最近不同的n个操作看似简单实际上只通过简单的一层sql无法实现。这边用实操演示，三种可用的实现方式。实操这边来实际操作下，为了方便这边用MYSQL为例准备数据这个表表示用户资源访问记录表，其中有主键id，用户id，资......

Posted by 甘家城 on 2020-12-30 文章字数: 1.3k 阅读时间: 8分钟

SQL MYSQL

HttpClient的Cookie策略引发的隐藏bug定位与修复

概述本文记录一次大概历时半年也没排查出来，时有时无的隐藏bug。大致现象是：一个用户能访问到别人权限的资源(用户串/权限串)。中间考虑过线程不安全，包的问题，Threadlocal没清除并线程复用导致等，最终还是排查到是Httpclient的连接池的Cookie策略。这个点在开发时特别容易被人忽略。场景还原背景说明首先大致说下这问题和中间涉及的系统如下有一个业务系统，他依......

Posted by 甘家城 on 2020-12-27 文章字数: 1.3k 阅读时间: 8分钟

HTTP 后端

关于网页可视化圈选的一些实现思路

前言可视化圈选是一个较为特别的场景，一般在定义页面事件与埋点的时候用的比较多，这边来讨论下网页中可视化圈选的实现思路。体验的话可以到插件WEB-ROBOT 效果：概览完成可视化圈选大致分为以下几个步骤捕获鼠标移动事件给出当前元素的可视化反馈点击选中元素转换当前元素的唯一选择器这边实现大致不同点为，选择器是当前元素和所有父节点元素。最后还需另外选择一下想要的元素。 ......

Posted by 甘家城 on 2020-12-26 文章字数: 1.3k 阅读时间: 8分钟

CHROME插件自动化

chrome插件 web_robot之我的看板

前言这次是web-robot这个插件的2.0的迭代。主要实现了基于事务的看板。也实现了简易看板模式。（看板为浏览器新标签页）看板截图这几个元素分别来自于百度天气：https://www.baidu.com/s?ie=UTF-8&wd=天气天天基金：https://fund.eastmoney.com/ 微博热搜：https://s.weibo.com/top/sum......

Posted by 甘家城 on 2020-12-01 文章字数: 901 阅读时间: 6分钟

CHROME插件自动化