chrome插件 web_robot之我的看板

前言 这次是web-robot这个插件的2.0的迭代。 主要实现了基于事务的看板。也实现了简易看板模式。 (看板为浏览器新标签页) 看板截图 这几个元素分别来自于 百度天气:https://www.baidu.com/s?ie=UTF-8&wd=天气 天天基金:https://fund.eastmoney.com/ 微博热搜:https://s.weibo.com/top/sum......

Java虚拟机

《深入理解java虚拟机》学习篇

前言 记录总结一下 java 虚拟机的部分知识,知识主要来自于书籍《深入理解 java 虚拟机》。 组织形式会以小标题 & 内容解答组成。 内存管理机制 虚拟机内存如何划分 主要有程序计数器,虚拟机栈,本地方法栈,Java 堆,方法区 程序计数器:当前线程执行的字节码行号指示 虚拟机栈:java 方法执行的信息(局部变量表,操作栈,动态链接,方法出口等) 本地方法栈:native ......

改版博客我的部分

这是一次不大不小的改版

前言 原博客主要定位为技术博客,因此都是一些技术分享上的文章; 本次将引入很多其他元素,博客不仅仅记录下技术上的改变,也能反映音乐,阅读,理财,生活等方面的变化,因此主目录部分还是原来的文章,在侧边栏将 FRIENDS 改为了 MINE,同时定向到了各个不同的版块; 为了留下更多自己的足迹,为了更好的自己; 我的音乐 音乐主要还是平常敲代码就喜欢听纯音乐, 听到好听的便可以记录下来。 另外也......

chrome插件 web_robot

web_robot最新版教程

前言 2020-08-23 暂停频繁的更新,等待新的 idea 出现 这边是 web_robot 持续更新教程, 对于基本的安装,导入,基础使用,请参照V1.0 版本教程 对于 V1.0 版本以外的功能这边都会做提醒与说明,目前版本 1.8.2 先看演示 演示流程事务 演示源码事务 演示受控事务 事务模式 新建事务的时候可以选择三种事务 流程事务 源码事务 受控事务 流程事务......

利用Hadoop-MapReduce实现稀疏矩阵乘法

前言 之前关于 hadoop,也就试过一个 wordcount,这次来学习一下用 mapreduce 实现矩阵乘法,体会一下里面的思路过程。 预备 开发环境准备 第一次开发 MapReduce 程序可以看下这边的环境准备 开发环境准备 MapReduce 关于 MapReduce 这边只用到最基础的,因此了解一下wordcount也就能知道最基础的思想。 Map 将每行数据转为 key,v......

TABLE-MAKER

一个万能数据表格的浏览器插件

前言 本次依旧发布一款浏览器插件–万能表格。 说说为什么万能,其一,因为它可以接入任意的 GET 接口数据或其他文本(html/text…)数据来源,且无跨域限制,且一些需要 cookie 的接口或网站访问数据时也会带上 cookie。 其二,你可以自定义列的数量和名称,自定义数据的解析到对应的列,json 解析用就直接用 key,文本解析就用正则表达式。 其三,设置的数据来源一般是一个数据......

WEB-ROBOT

一个管理网页自动化执行的chrome插件

前言 这边主要介绍一款个人自行开发的chrome插件 web-robot, 这边讲解的是他的V1.0版本, 包括它的开始设计,使用教程,实现思路和细节。 源码的github地址是在https://github.com/webgjc/web_robot 软件设计 关于这个软件的初始设计定位,这边将他定位为网页自动化链路管理执行; 类似模拟自动化测试,但不会有结果校验。 创建事务和流程的用户主要......

HIVE源码学习-hivehook尝试表血缘与字段血缘的解析

前言 hive在中间执行过程中留下不少钩子可以供开发者开发拓展功能,大致有如下几个 driver run的时候 执行计划semanticAnalyze前后 查询放入job之前 exec前后 执行失败时 下面引用一份完整的hive中hook的流程,包括相应的配置项。 Dri......

基于antlr4实现hiveSQL的解析[表血缘和字段血缘]

前言 关于 HiveSQL 血缘,一般表示的就是 hive 数据仓库中所有表和字段的来源流向关系。它的解析是十分必要的,一方面数仓建表的时候有时只会定义 SQL 任务不会特别关注到任务之间的关系,对于查看的数据也不容易追溯两层以上或以下的数据来源和去向。 有了血缘就可以对离线任务执行的先后关系作出一定规范,可以做数据来源链路的分析,数据的上卷下钻,数仓直接的数据建模等。 实现思路 一般来说比......

HIVE源码学习-执行计划Operators和优化Optimizers

逻辑执行 首先看下之前的总体处理流程 Hive SQL - (Parser) -> AST - (Semantic Analyze) -> QB - (Logical Plan) -> Operator Tree - (Physical Plan) -> Task Tree - (Physical Optim) -> Task Tree主要有三大块,......