Excelファイル処理:Embulk→AsakusaFW
ここ最近、Embulkプラグインの作成、というかExcelファイル操作(Apache POI)のプログラミングばっかりやってた^^; そもそもの動機としては、Asakusa FrameworkのWindGate JDBCではRDBからの大量データの読み込みに適さないので、それに代わる転送ツールとしてEmbulkを試し始めたもの。(WindGate...
View Article最近(2015年)の自分のソフトウェアリリース方法
やってる人にとっては全く当たり前の事なんだけど、最近EmbulkのプラグインやAsakusaFWのツールを作っていて改めて思ったこと。ライブラリーのリリース方法が簡単になったねー! 昔から自作ソフトやツールを作って公開していたんだけど、実行ファイルの類であれば、説明書などを同梱したzip等のアーカイブファイルをダウンロードできる場所(ウェブページ)に置いておけばいい。...
View Articleプログラミングの勉強を始める前に覚えておくべきこと
昨日今日で話題になっていたこと。 折り返し翻訳辞書~日本語から日本語へ~ 映画『バックトゥーザフューチャー』で未来に行った日付が到来 谷口さんの『プログラミングの勉強を始めたときに、文系が挫折しやすい7つのポイント』...
View Article2015夏アニメについて一言
2015年の夏アニメの感想。 まず、自分はTRPGのファンであり、中でもレッドドラゴンはかなり好きなので、レッドドラゴンが原作である『ケイオスドラゴン』は贔屓しているので別格である(笑)あと、『うしおととら』は1期だけでは終わらない系なので除外する。 (先に断っておくと、自分はファンタジーとかSFが好み)...
View ArticleAsakusaFW0.7.5 directio.line
Asakusa Framework0.7.5がリリース。→リリースノート まず、Direct I/Oで1行ずつ読み込む為のdirectio.lineが追加になった。sandboxの機能なので、directio.tsvと同じ扱い。(一行ずつ読み込めるTextFormatを作ったことがあったけど、これで不要になった^^;)改行を含まない1行ずつのJSONや、スペース+タブ区切りや、「#」...
View ArticleJJUG CCC Fall 2015の感想
JJUG CCC Fall 2015(2015/11/28)に行ってきました。(→chiheisenさんの資料一覧)と言っても、今回縁あって登壇させていただくことになったので、自分が登壇する前後の講演を見てきただけといった感じです^^;JJUG...
View ArticleAsakusa Frameworkとは(2015版)
Asakusa Framework Advent Calendar 2015の1日目です。 アドベントカレンダーの初日ということで、2015年時点のAsakusa Frameworkの紹介を書いておきたいと思います。 Asakusa...
View ArticleJJUG CCC Fall 2015でAsakusaFWを紹介してきました
JJUG CCC Fall 2015(2015/11/28)に登壇してAsakusa Frameworkの紹介をしてきました。(→資料)(→他の人の講演を聞いた感想) 数えてはいませんが100人以上も見に来ていただいたと思います、ひー怖ろしいありがとうございました。自分は勉強会で発表するのが今回で2度目で全く不慣れなもので、お聞き苦しいところもあったと思います。すみませんでした。...
View ArticleAsakusaFW+Embulkの組み合わせ
Asakusa Framework Advent Calendar 2015およびEmbulk Advent Calendar 2015の3日目です。 2015/11/28のJJUG CCC Fall 2015でのAsakusaFWに関する発表に対し、みうみうさんが感想を書いて下さっています。その中で...
View ArticleAsakusa on Sparkのコンパイル
Asakusa Framework Advent Calendar 2015およびApache Spark Advent Calendar 2015の4日目です。 2015/11/28のJJUG CCC Fall...
View ArticleAsakusa on Sparkのコーディング上の注意点
Asakusa Framework Advent Calendar 2015およびApache Spark Advent Calendar 2015の5日目です。 アドベントカレンダー4日目で、Asakusaアプリケーションをリコンパイルするだけで、Hadoop版とSpark版の実行用バイナリー(jarファイル等)が生成できる(Asakusa on...
View ArticleAsakusaFWが苦手な処理
Asakusa Framework Advent Calendar 2015の6日目です。 2015/11/28のJJUG CCC Fall 2015で「AsakusaFWが苦手な事は何か」という質問がありました。 例として挙げられていたものを一部ど忘れしてたんですが、思い出しました^^;ついでにその後思い付いたものも挙げておきます。 結合は可能...
View ArticleAsakusaFW0.7.6 confluent+MasterJoin
Asakusa Framework Advent Calendar 2015の7日目です。 2015/12/2にAsakusa Framework0.7.6がリリースされていました。→リリースノート0.7.5が出てから間もないのに次がリリースされたのは、大きめのバグ修正だからですかね。...
View ArticleJava8 Optinal・Scala・AsakusaFWの類似点・相違点
Asakusa Framework Advent Calendar 2015およびScala Advent Calendar 2015の8日目です。 2015/11/28のJJUG CCC Fall 2015にて『Java8 Stream API・Apache Spark・Asakusa Frameworkの類似点・相違点』というタイトルで発表してきましたが、そのOptional版ですw...
View ArticleJavaBeans・Scala case class・AsakusaFWの類似点・相違点
Asakusa Framework Advent Calendar 2015の10日目です。 RDBのテーブルのデータをJavaで扱う場合、テーブルレイアウトと同等なプロパティー(フィールド)とセッター・ゲッターメソッドを持つJavaBeansのようなクラスを使うことがあるかと思います。 Scalaでは、そういう場合はcase...
View ArticleShafu Gradleエラー
Asakusa Framework Advent Calendar 2015およびG*(Gradle)Advent Calendar 2015の11日目です。 Asakusa...
View ArticleJava8 DateTime API・Scala・AsakusaFWの類似点・相違点
Asakusa Framework Advent Calendar 2015の12日目です。 Java8では、日付を扱う新しいクラス群であるDate&Time APIが導入されました。日付・時刻といった「ある時点」を扱うクラスの他に、期間を表すPeriod・Durationといったクラスも追加になっています。...
View ArticleJJUG CCC Fall 2015ボツネタ
カノジョできないエンジニア Advent Calendar 2015の13日目です。 JJUG CCC Fall 2015で発表した際の資料の「自己紹介」か「まとめ」に ゆとりさんが欲しがっているのと同じもの(別インスタンス)が欲しいです とか書こうかどうか迷っていましたが、書かなくてよかったと思います。 以上です。
View ArticleJava・Scala Tuple・AsakusaFWの類似点・相違点
Asakusa Framework Advent Calendar 2015の13日目です。 Scalaには「タプル」というものがあります。複数の値を組にしてデータを保持するもの(クラス)で、メソッドから複数の値を返したい場合に便利です。Object配列を使ったりするのとは違い、データの個数や型が規定できるのが良いです。 Javaには今のところタプルはありません。OptionalやStream...
View Article