AWS Glueに異動しました

LinkedInをじっくり見ていた方はすでにお気づきかもしれませんが、今年の4月からAWS Glueに異動しました。引き続きSDE (Software Development Engineer) をやっています。

Amazon EMRにいた頃はApache Hadoopだけに限らずApache Oozie、Apache Flinkなどの面倒を見ていたし、customerからのエスカレーション対応もしてきました。技術領域としては想定していたとおり自分の経験をフルに発揮できるもの (例えばEMRで提供している複数のOSSプロダクトを跨ぐclasspath conflictの解決や、Oozieのflaky job failureの修正: OOZIE-3652) でしたが、あまりにもマッチしすぎていてやや退屈であったこと、あるいはここでは書くことのできないいくつかの理由によりAWS Glueに異動することにしました。幸運にもAmazonではinternal transferは通年で実施されており、しかも入社してから一定の期間は利用できないといった縛りもないので、入社してからわずか半年足らずでAWS GlueのSpark teamに運良く拾ってもらえることになりました (SDEのままなので給料は変わらず。やった！)。ということで、ここ3ヶ月はApache Spark周りのあれやこれやを担当しています。

Sparkと自分の関わりを振り返ってみると、前職前々職では同僚がSparkを触っているところを近くでただ見ていただけでした。そこからようやく自分も触ることになり、そしてScalaに苦しんでいます。なんなんだあの言語は。EMRにいたころもある程度学びがあったのですが、今の部署ではさらに学びが多く、いつも学ばせてもらってばかりです。とはいえ、社内で学ぶ機会が多いので逆に社外の情報収集がおろそかになってくる問題があるし、outputもしていかないといけないと思うところはあります。

ところで、EMRにいたころは同僚と上司はインドにいましたが、Glueでは同僚と上司はアメリカにいます。ここで、インドのチームで働いていたときにはそれほど問題にならなかったタイムゾーンの問題がつきまとってくるのですが、うまい解決策、あるいは妥協案を追求しているところです。自分は早起きではないタイプなので、日本より3.5時間遅いインドとやりとりするのは全く苦にならなかったのですが、アメリカだと話は全く変わりますね・・・

わたくしの今後の活躍にご期待ください。

Bias for Action, Learn and Be Curious.