読者です 読者をやめる 読者になる 読者になる

/home/by-natures/dev*

ソフトウェア開発者として働く人の技術的なメモ

hadoop

HiveServer2 のメモリ使用量はパーティション数が関係する

まだ詳しく調べられていないのですがメモ代わりに。 先日 HiveServer2 を利用する機会があり、負荷がどのぐらい掛かるかを確認していました。Cloudera の説明によると、同時コネクション数にも依存しますが数GB〜数十GBのヒープ領域が必要だとあります: Con…

YARN の DRF スケジューリングについて

会社で Hadoop The Definitive Guide(いわゆる象本)の第4版を読んでいるのですが、その中の YARN の章で、ジョブスケジューリングのアルゴリズムである Dominant Resource Fairness (DRF) の説明があります。 YARN で複数のリソース(CPU, メモリなど)を…

memo: MapR 4.0.1

MapR セミナーのメモを備忘録代わりに残します。間違ってたらご指摘ください。 Drill も MapR-DB(より使いやすいHBase) も MapR なら利用可能ということで、Drill が AWS で利用可能になるのでしょうか…。そう思うと非常に期待が高まります。S3 になんでもか…

「Hadoop 徹底入門 第2版」第2部まとめ(Hive での開発)

「Hadoop 徹底入門 第2版」を有志で読み進めているので、そのメモを貼ります。 今回は第2部 13章、Hive での開発方法と Tips です。 [toc]

「Hadoop 徹底入門 第2版」第2部まとめ(Java での開発)

「Hadoop 徹底入門 第2版」を有志で読み進めているので、そのメモを貼ります。 今回は第2部、8章〜10章、Java での開発方法と Tips です。 [toc]

「Hadoop 徹底入門 第2版」第1部まとめ(開発手段・クラスタ構成)

「Hadoop 徹底入門 第2版」を有志で読み進めているので、そのメモを貼ります。 今回は第1部、6章〜7章、Hadoop を動かす様々な方法とクラスタ構成の話です。 [toc]

「Hadoop 徹底入門 第2版」第1部まとめ(HDFS・MapReduce)

「Hadoop 徹底入門 第2版」を有志で読み進めているので、そのメモを貼ります。 今回は第1部、4章〜5章、コア技術である HDFS, MapReduce の説明です。 [toc]

「Hadoop 徹底入門 第2版」第1部まとめ(基礎知識・インストール手順)

「Hadoop 徹底入門 第2版」を有志で読み進めているので、そのメモを貼ります。 今回は第1部、1章〜3章、Hadoop の基礎知識からインストール手順までをご紹介します。 また、概要をこちらのスライドにまとめてありますので、合わせてご覧ください。(社内勉強…

(追記) Hadoopもとい、AmazonEMRを使ってみた

前の日記から一転、最近は楽しく過ごしています。 仕事ももちろん、11月12月はプライベートや勉強会も充実しています。あとMacBook Air が届いたので、大学院時代に使っていたAirと久々のご対面…という感じで、この3連休はずっとAirをいじってます。Leopard…