自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(11)
  • 资源 (13)
  • 论坛 (12)
  • 收藏
  • 关注

原创 Spark1.3从创建到提交:4)资源分配源码分析

接着上一节Master里case RegisterApplication最后的一个资源调度方法schedule() ,假如我提交的任务需要6G,10Cores,而集群的部署如下所示:Spark提供了2种资源分配的策略,一种是尽量分散(spreadOut,默认),一种是尽量集中,具体看下这个Master.schedule方法(源码位置555行)分散策略 //在当前等待队

2016-12-30 17:39:07 632

原创 Spark1.3从创建到提交:3)任务调度初始化源码分析

上一节在SparkContext中也提及到了,在该类中创建了一个任务调度器,下面我们具体来分析这个方法 private[spark] var (schedulerBackend, taskScheduler) = SparkContext.createTaskScheduler(this, master)createTaskScheduler的代码如下:private def cr

2016-12-30 11:37:21 554

原创 Spark1.3从创建到提交:2)spark-submit和SparkContext源码分析

spark-sumit脚本假如Spark提交的命令如下:bin/spark-submit --jar lib/spark-examples-1.3.1-hadoop2.6.0.jar --class cn.spark.WordCount --master spark://master:7077 --executor-memory 2g --total-executor-cores 4

2016-12-29 21:32:27 1020

原创 Spark1.3从创建到提交:1)master和worker启动流程源码分析

dsa

2016-12-27 21:04:56 715

原创 Kafka:2)Kafka整合logstash实战

Kafka的安装部署,请参看http://blog.csdn.net/jiangpeng59/article/details/53241693

2016-12-20 10:30:17 5816

原创 Spark:Akka实现简单RPC通信

目标:简单模拟Spark的通信机制,多个worker向Master注册并发送心跳,Master定时清理超时的worker。具体流程如下:启动Master并开启清空超时Worker的定时任务Worker启动的时候,在preStart方法中连接Master,并向Master注册自己的相关信息Master收到worker的注册并返回自己的url给Worker,表示该Worker注册成功Wor

2016-12-15 10:49:28 2398 1

原创 Idea16使用Maven编译scala和打包jar

下面Maven的pom文件 1.7 1.7 UTF-8 2.11.7 2.11 org.scala-lang scala-library ${scala.version}

2016-12-08 10:45:00 8424

原创 Spark:Akka入门初窥

首先明白下面几点:ActorSystem是该进程中的Actor的管理者,负责创建和监控所有的actorActorSystem是单例的Actor负责通信

2016-12-08 09:46:19 822

转载 scala类型系统:20) 数组类型

scala类型系统:20) 数组类型在java里,引用类型的数组类型是支持协变的,即 String[] 类型是 Object[] 的子类型,martin问过gosling,回答是希望有一个通用处理数组的简单方法。void sort(Object[] a, Comparator cmp) { … }数组的协变被用来确保任意参数类型的数组都可以传入排序方法。随着java引入了

2016-12-05 23:09:13 851

翻译 Java-RPC:3)Netty入门初窥

Netty是基于Java NIO的网络应用框架.Netty是一个NIO client-server(客户端服务器)框架,使用Netty可以快速开发网络应用,例如服务器和客户端协议。Netty提供了一种新的方式来使开发网络应用程序,这种新的方式使得它很容易使用和有很强的扩展性。Netty的内部实现时很复杂的,但是Netty提供了简单易用的api从网络处理代码中解耦业务逻辑。Netty是完全基于NIO

2016-12-01 16:04:08 464

原创 Java-RPC:2)NIO入门初窥

Java NIO(New IO)是从Java 1.4版本开始引入的一个新的IO API,可以替代标准的Java IO APIChannels and Buffers(通道和缓冲区):标准的IO基于字节流和字符流进行操作的,而NIO是基于通道(Channel)和缓冲区(Buffer)进行操作,数据总是从通道读取到缓冲区中,或者从缓冲区写入到通道中,Channel同时支持读和写。Asynchr

2016-12-01 09:18:23 976

Notepad++ ftp/sftp 插件

Notepad++升级后,FTP插件被取消了。下面提过其X86和X64位的插件包,把bin下面的NppFTP.dll文件复制到Notepad++安装目录plugins文件夹下

2017-11-07

horse2zebra

cycleGan中斑马和马训练和测试的数据集,图片已都转成256*256,提供给无法fan墙的朋友们

2018-06-28

批量删除文件相同前缀

最近用看网上的视频教程发现每个文件都有相同的前缀广告,所以自己写了个批量删除文件相同前缀的工具。

2014-07-01

Monitor-assembly

Monitor用于UI可视化监控Kafka的相关信息

2016-11-21

labelme_32.exe

labelme用于标注图片,该资源已经编译成windowns二进制版,无须安装python,可以直接运行

2018-06-07

去除美剧字幕中的中文字幕

去除字幕文件中的中文字幕,看美剧学英语居家常备利器

2017-03-19

解决Centos6.7:-bash: ./DrClientLinux: /lib/ld-linux.so.2: bad ELF

解决Centos6.7:-bash: ./DrClientLinux: /lib/ld-linux.so.2: bad ELF 的所有rpm包

2015-10-18

Javis字幕工具

智能去除ass或srt字幕文件中的中文字幕,另附带ass文件格式转换为srt文件

2017-03-25

C# WInform TreeLiew显示磁盘文件Demo

C# WInform TreeLiew资源文件Demo 是我最近做T4模板生成器开发的一个子窗体。 其实现了对磁盘文件的递归加载预览,TreeView的右键菜单,包含文件或文件夹的重命名,新增,删除。。等等操作

2015-07-11

keras的demo数据-imdb.npz

keras的官方LSTM-Demo 情感分类数据-imdb.npz,提供给无法下载的朋友 path: where to cache the data (relative to `~/.keras/dataset`).

2017-09-05

C# 主析取范式求解工具App

C# 主析取范式求解工具,对于输入的表达式,可以快速地得出其极小项

2015-09-10

小可代码生成器

虽然是用WPF写的,但用的都是C#语言。选择相应的数据库表便可自动生成三层模型中的DAL类,BLL类,以及Model类

2014-02-06

MD5加密工具

MD5加密工具实现对字符串和文件的加密,内置源代码

2015-03-06

PJ-Javis的留言板

发表于 2020-01-02 最后回复 2020-05-03

Openstack的instance服务端口无法访问

发表于 2016-01-04 最后回复 2020-01-15

想问下:在物理机上安装openstack和在虚拟机上安装有什么不同??

发表于 2015-11-06 最后回复 2016-07-20

困扰: intellij idea 使用maven构建SpringMVC老是报404错误

发表于 2016-07-08 最后回复 2016-07-09

安装Openstack第一步yum -update 就报错 求大神

发表于 2015-10-15 最后回复 2015-11-04

救命啊,一个简单的Get请求 老是出现【远程服务器返回错误:501】异常

发表于 2014-09-08 最后回复 2015-10-15

如何使用HttpWebResponse的Post自动登录网页

发表于 2014-09-01 最后回复 2014-09-06

Post登录成功后,如何以登录状态获取其他页面的信息

发表于 2014-09-04 最后回复 2014-09-05

发现了个很诡异的现象

发表于 2014-02-23 最后回复 2014-09-01

wpf Richtextbox 实现像Word一样,有一部分是不可用的

发表于 2014-02-11 最后回复 2014-05-28

C++ builder ToolBar 图标填充整个按钮

发表于 2012-05-03 最后回复 2014-02-10

救命啊!

发表于 2012-05-23 最后回复 2014-02-10

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除