2011年7月3日日曜日

ソフトウェア見積り―人月の暗黙知を解き明かす を読んでの感想

見積りってどうやるのが業界標準なの?と長年疑問に思っていたので「ソフトウェア見積り―人月の暗黙知を解き明かす」を手にとって見た。



プロジェクトの工数見積りって要件もざっくりとしか決まっていない時点で6ヶ月で納品とかよく算出されるけれど、以前から「これってみんなは何を根拠に出しているのだろう」と前々から疑問に思っていた。自分の場合は、ほんとにざっくりとこんな機能がいるよね~、で、この機能は大体5日~、10日~、のような感じで算出するのだけれど、これってほんとあいまいだなぁ、と常々考えていた。

で、本書。そんな不安な思いを打ち消してくれる役立つ内容てんこ盛りだった。中でも自分的になるほど~と感心した点を以下にまとめておく。

不確実性のコーン
プロジェクトの初期では要求さえ明確ではないので正確な見積りを行うことがほぼ不可能で、その振れ幅は4倍~0.25倍にもなる。ただ、詳細設計が完了する段階までくるとその振れ幅は1.25倍~0.80倍になり、それ以降もプロジェクトの収束に向かって見積りの正確性は向上していく。

判断するな。数えろ。
恣意的な判断で、これは5日ぐらい、という判断をするのではなく、判断の基準となる過去のデータを調べて予測すること。その参考とする過去のデータってなんなのよ?という詳しい説明は本書でなされている。

範囲での見積り
シングルポイントで5ヶ月です、というような見積りをするのではなく、7ヶ月から+-2ヶ月です。というような範囲で見積りを出すようにし、プロジェクトの進行とともにその範囲が狭まっていくようにする。またそれぞれの見積りごとに正確性の割合を出すと良い。5ヶ月でリリースできる確立は15%ですが9ヶ月でリリースできる確立は90%です、のような感じ。

上記のほかにも、ステークホルダーにどのように見積りを認めさせるのか、など交渉のヒントにも言及されている。

本書を読むといくつかのすぐに使える技法を学ぶことは可能だが、だからと言って翌日からすぐに正確な見積りができるようになるわけではない。というのも、基本的に正確な見積りを行うようになるには組織全体として取り組む必要があるので、中長期的な視野にたってそのことを煮詰めていく必要がある(過去のデータを収集するあたりなどとくに)。ただ、正確な見積りのためには開発者個々人の見積りに対する高い意識も必要とされるので、そういうのを根付かせるための材料として本書を使うこともできるなと感じた。


--------------------
以下、本書を読んでいないと意味不明だと思うけれど、自分的メモ用に気になった公式をいくつか抜粋。
最良ケースと最悪ケースの見積りを考えるようにする。何も言わないと開発者は大体最良ケースに近い一点見積りを行う。
期待ケース1=[最良ケース + (4*最有力ケース) +最悪ケース]/6
期待ケース2=[最良ケース + (3*最有力ケース) +(2*最悪ケース)]/6
MRE(Magnitude of relative error)=[(実際の結果-見積り結果)/実際の結果]の絶対値
標準偏差=(最悪ケースの見積りの和 - 最良ケースの見積りの和)/6

2011年7月2日土曜日

LambdaExpressionで動的な検索条件を作る

最近の仕事で固定の検索条件ではなく動的に検索条件を作りたいという仕様があり、それもあってExpression周りをいじくりまわしていて楽しかったので解説する。

今回のサンプルコードはこちらからダウンロードできる。


Linqを使用する場合に動的に検索条件を作るためにはExpression Treeと戯れる必要がある。Linq To SqlであればDynamic Linqという文字列を解析してExpression Treeに変換してくれる拡張関数群が公開されているので、文字列をいじくるのを苦にしなければかなり簡単に動的な検索条件を作成することが可能だ。しかし、Linq To Entityだとそうはいかないのでちょっと込み入ったことをしなくてはならない。

動的検索条件と言っても、すべての検索条件がAnd条件であるならば、単純にWhereメソッドを下記のように順々に呼び出していけばよいだろう。

if ( 条件1 )
  query = query.Where(c => c.Name == "四郎" );

if ( 条件2)
  query = query.Where(c => c.Age > 15 );

※今回の解説の仕様として、等号などのオペレーターや対象プロパティは事前に決まっていてどの条件を組み合わせるかのみ動的に設定できる、という設定とする。オペレーターやプロパティもすべてを動的に作る場合にはParameterExpressionなどを使ってさらに深くExpression Treeをいじる必要があるのでその解説は次回以降行う、かもしれない。

しかし、Or検索が間に入ってくると話が変わってくる。前述の方法ではWhereメソッド間はAnd条件になるので動的なOr検索を行うことはできない。というわけで、LambdaExpressionの登場だ。こいつを上手に使ってやると下記のような条件を簡単に動的に組み立てることができる。

query.Where(c => (c.Name.Contains("白") || c.Bushous.Any(b => b.Age > 36)) && c.Name.EndsWith("城"));

今回使用するモデルは下記。DBの作成はEF Code First4.1に全部任せている。
public class Bushou
{
    public int Id { get; set; }
    public string Name { get; set; }
    public int Age { get; set; }
    public int CastleId { get; set; }
    public Castle Castle { get; set; }
}

public class Castle
{
    public int Id { get; set; }
    public string Name { get; set; }
    public virtual IList<Bushou> Bushous { get; set; }
}
    
public class Ikusa : DbContext
{
    public DbSet<Bushou> Bushous { get; set; }
    public DbSet<Castle> Castles { get; set; }
}

前述の各条件を表すLambdaExpressionは下記になる。

Expression<Func<Castle, bool>> condition1 = c => c.Name.Contains("白");
Expression<Func<Castle, bool>> condition2 = c => c.Bushous.Any(b => b.Age > 36);
Expression<Func<Castle, bool>> condition3 = c => c.Name.EndsWith("城");

このままでは各LambdaExpressionはばらばらなので一つにまとめる必要がある。その際に注意が必要なのだが、LambdaExpressionを統合するには同一の引数を使用するように変更してやらなければならない。上記の定義を見てもらえば分かると思うけれど、各LambdaExpressionにはcという引数が定義されている。Expression Tree的にはcondition1のcとcondition2、condition3のcはまったくの別物なので、こいつらを一つにまとめる必要がある。

で、そんな面倒なことを行う際に便利なクラスがC#4.0から提供されている。それがExpressionVisitorクラスだ。このクラスの使いどころは次のような場合だ。Expressionには多種多様なタイプが用意されている。go toステートメントを表すGoToExpression、ループを表すLoopExpression、メンバーアクセスを表すMemberExpressionなどなど数十種類に及ぶ。で、今回は引数をいじくる必要があるのでParameterExpressionが対象になる。しかしExpression Treeを順々にたどっていって任意のExpressionを探すのは骨が折れる。なのでそんなときはExpressionVisitorクラスを使用する。

使い方はExpressionVisitorクラスを継承し、自分が気になるタイプのExpressionを引数としているメソッドをオーバーライドするだけだ。今回はParameterExpressionをいじくるのでVisitParameterがオーバーライドするメソッドになる。

class ParameterVisitor : ExpressionVisitor
{
    private ReadOnlyCollection<ParameterExpression> _fromParams, _toParams;
    public ParameterVisitor(ReadOnlyCollection<ParameterExpression> from, ReadOnlyCollection<ParameterExpression> to)
    {
        _fromParams = from;
        _toParams = to;
    }

    protected override Expression VisitParameter(ParameterExpression node)
    {
        for (var i = 0; i < _fromParams.Count; i++)
        {
            if (node == _fromParams[i])
                return _toParams[i];
        }
        return node;
    }
}

ParameterVisitorクラスは変更元の引数コレクションと変更先の引数コレクションを保持し、ParameterExpressionが見つかるたびに、その見つかった引数(上記で言うところのnode)が変更元の引数と同一かをチェックし、同一であれば、変更先の引数を返却している。変更先の引数を返却することで変更元のExpression Treeは差し替えられている。つまり、変更元の引数の数と、変更先の引数の数が異なる場合はアボンするということなので注意が必要だ。ParameterVisitorクラスのコンストラクタにそれようのチェックコードを入れるのも良いだろう。

実際にParameterVisitorクラスの使用方法は下記になる。

class Helper
{
    public static Expression<Func<T, bool>> AndAlso<T>(Expression<Func<T, bool>> left, Expression<Func<T, bool>> right)
    {
        var newExp = new ParameterVisitor(right.Parameters, left.Parameters).Visit(right.Body);
        return Expression.Lambda<Func<T, bool>>(Expression.AndAlso(left.Body, newExp), left.Parameters);
    }

    public static Expression<Func<T, bool>> OrElse<T>(Expression<Func<T, bool>> left, Expression<Func<T, bool>> right)
    {
        var newExp = new ParameterVisitor(right.Parameters, left.Parameters).Visit(right.Body);
        return Expression.Lambda<Func<T, bool>>(Expression.OrElse(left.Body, newExp), left.Parameters);
    }
}

各メソッドともに、まずはVisitメソッドを呼び出し、二個目の引数のLambdaExpressionの引数を一個目の引数のLambdaExpressionの引数で差し替えている。その後にAndAlso、またはOrElseを呼び出しExpressionの統合を行っている。

Helperクラスの使い方は下記になる。

var condition = Helper.AndAlso(Helper.OrElse(condition1, condition2), condition3);

そうしてできたLambdaExpressionをWhereメソッドに渡してやれば下記と同等の記述になる。

query.Where(c => (c.Name.Contains("白") || c.Bushous.Any(b => b.Age > 36)) && c.Name.EndsWith("城"));

query = query.Where(condition);

かなり冗長になるけれど、上記の方法以外にも下記のようにWhereメソッドを呼び出すこともできる。

var resultExp = Expression.Call(typeof(Queryable),
                                "Where",
                                new Type[] { typeof(Castle) },
                                query.Expression,
                                Expression.Quote(condition));
query = query.Provider.CreateQuery<Castle>(resultExp);

今回の例では下のほうの呼び出し方をする必要はまったくないけれど、オペレーターやプロパティも含めてすべてを動的で行う場合などで、Anyやら何やらを動的に呼び出す必要がある場合は、最後に解説したような呼び出し方をしなければならない。

2011年6月5日日曜日

ピープルウエアを読んでの感想

デッドラインを読んでもいまいちピンと来なかったので補足として『ピープルウエア 第2版 - ヤル気こそプロジェクト成功の鍵』を読んでみた。



デッドラインは小説仕立てで読みやすいのは良かったけれど、たまに得心のいかない法則が出てくるときもあり「?」となる場合があったけれど、ピープルウェアはデッドラインと同じような素材を扱いながらも違う視点から切り出してあるのでデッドラインで学んだ法則の理解を補強するのに役立った。それに各章ごとに内容にそった小話的な実話がちょこちょこ挿入されているので読んでいて飽きない工夫がされているのも良かった。

全6部構成で各部それぞれ下記のようなことが学べる。

第1部 管理するとは
やってはいけない管理方法がわかる。

第2部 オフィス環境を整えることの重要性
思考を電話などによって頻繁に中断されることがいかに頭脳労働にたいして悪影響かがわかる。
オフィスのレイアウト周りの話なんかはあまり興味がないけれど、オフィス移転を考えているような人には良い参考になると思う。

第3部 人材をそろえる、維持する方法
人材をそろえる効果的な方法や退職に伴うコストなどが解説されている。
下記の企業側からみた退職のコストの考え方は意識したことも無かったので目からうろこで面白かった。
--------------
退職のコスト=4~5月分の人件費
内訳:人材紹介会社への報酬、人事部門の費用、プロジェクトになれるための教育コスト(本人が学ぶ分とその他の教える人達の分)などなど
--------------

第4部 生産性の高いチームを作る方法
チームの効果を高める方法について、良い方法、悪い方法が解説されている。
要はやる気ということで、それをどのように高めるかというお話。

第5部 仕事を楽しくするには~
とくに感想なし。

第6部
1~5部それぞれの小さな続編。

2011年6月4日土曜日

デッドラインを読んでの感想

手を動かすほうが好きなので管理とかにはあんまり興味がないのだけれど、後学のために『デッドライン―ソフト開発を成功に導く101の法則』を読んだので感想とか内容の覚書とか。



技術系の本は読むけれど、こういうノウハウ系の本はあまり手にとったことがなかった私にとってこの本の内容は「ものすごくためになった!」とか「明日から即実践しよう!」とかそういう感動系のたぐいではなく、「あぁ管理ってこういうものなんだ、へー」という感じに曖昧模糊としていたものの理解を助けてくれたり、「あぁこういう問題が起こりえてそういうときはこういう風に対処すれば良いのね」という先駆者の知恵を授けてくれた。

内容は小説仕立てで、各章の最後にその章で主人公が学んだことを法則として小説のなかから抜き出してまとめてくれるので、さくさくと読んでいけてあっという間に読み終わる。そのままにしてしまうと脳みそからすぐ抜け落ちてしまうことは確実なので、101個の法則のなかから気にいった法則を下記にまとめておいた(結構な数になったけど)。法則だけ読んでも意味不明なところが多々あると感じるかもしれないけれど小説を通して読めば前後の文脈があるので理解できる。

基本
  • 適材適所
  • 士気を高める
  • Teamの結束を強め維持する
  • 変更はプロジェクト成功のために必要不可欠である
  • 人は安全が保証されないと変更を受け入れない
  • リスクをさけるとそれに伴う利益も逃がす
  • どれほど強く脅しても最初に割り当てた時間が足りなければ仕事は完成しない
  • 管理は、心、腹、魂、鼻でやるもの。心で指揮をとり、自分の腹(直感)を信じ、組織に魂をふきこみ、くだらないものをかぎ分ける鼻
  • 戦闘が始まるときには管理者のほんとうの仕事はすでに終わっている

採用
  • 採用には心、魂、腹、鼻すべてを使う(腹が大部分)
  • 一人でやろうとするな。二つの腹には一つの腹の2倍以上の力がある
  • 新しく採用した人材は、能力実証済みレベルのプロジェクトを任せ目標を拡大するのは次回以降とする
  • 意見をもとめよ。優れた人材は優れた人材を知っている可能性が高い
  • 話すよりも聞け

生産性
  • 短期的に生産性を高める方法などない。生産性は長期的な投資によって向上する
  • 短期的な効果を約束するものはいんちきである可能性が高い

リスク管理
  • リスクを管理してプロジェクトを管理せよ
  • プロジェクトごとにリスク調査の方法を確立して継続せよ
  • 最終的な望まざる結果だけでなく、日常のリスクに注意せよ
  • それぞれのリスクの実現する確率と予想コストを評価せよ
  • リスクが現実になる前の初期の兆候を予測せよ
  • 悪い話が上層部に伝わりやすい経路を作っておくこと(匿名メールなど)

人材管理
  • 成功を最大化するより失敗を抑えることによって全体的な成績を高めることができる
  • 失敗した作業は早く打ち切る勇気をもつ
  • チームの結束については既存のチームを探して利用したほうが楽だったりする
  • 結束力のあるチームはばらさずに維持する(本人たちが望めば)。そうすると後継者たちが困らない
  • 新しい仕事を引き受ける意欲のある結束の固いチームはプロジェクトの成果の一つとみなす
  • プロジェクト初期に無駄にする一日も末期に無駄にする一日も等しく打撃になる
  • 一日をむだにする方法はいくらでもあるが、一日を取り戻す方法はひとつもない

開発プロセスのモデリングとシミュレーション
  • 仕事を完成させるプロセスに関する直感をモデル化する
  • 仲間と対話しつつプロセスの進行に関する考えを伝えたり修正したりするためにモデルを使う
  • モデルを使って結果をシミュレートする
  • 実際の結果と照らし合わせてモデルを調整する

理想と現実
  • 病んだ政治=政治的な理由からくるむちゃくちゃな要求(機能はそのままで納期を半分にしろなど)
  • いつでもクビをかける覚悟が必要である
  • それでも病んだ政治の影響を受けないとは限らない
  • 病んだ政治はもっとも健全な組織にも出現する可能性がある

プロジェクトの数量化
  • すべての製品のサイズを測定せよ
  • 単位は気にするな。客観的な尺度ができるまで主観的な単位を使えばよい
  • 手に入るすべての基本要素(ソフトウェアの数量化可能な特徴)をもとに合成尺度を作成する
    -この法則のトレンドライン周りの話はピンとこなかった(最近の開発にはあてはまらない気がする)

プロセスとプロセス改良
  • 優れたプロセスとプロセスを絶えず改良することは立派な目標である。それらはまたごく自然な目標でもある。すぐれた技術労働者は指示があろうとなかろうとそれらに焦点をあてる
  • 形式的なプロセス改良プログラムには時間と金がかかる。一つのプロセス改良プログラムのためにプロジェクトが後退することもありうる。生産性の向上が実現したとしても、そのプログラムを受け入れたプロジェクトでプロセス改良のために費やされた時間を相殺できる可能性は低い(次以降に効力を発揮する)
  • プロセスは注意深く選んだひとつの手順改良によってその変更に投資した時間と金に報いるだけの利益を期待できることがある
  • プロジェクトの期間中に二つ以上の手順改良に順応することは現実には期待できない
  • 標準的なプロセスの危険な点は人々が懸命な省略を行う機会を失わせることである。とくに、人員過剰のプロジェクトの場合、標準的なプロセスによって全員に行き渡るだけの仕事が発生するなら(役にたとうがたつまいが)、標準的なプロセスが厳密に守られてしまう

設計とデバッグの関係
  • デバッグの時間を大幅に減らさなければ、プロジェクトの成績を通常より大幅に高める方法はない
  • 優れたプロジェクトはデバッグに費やす時間の割合がはるかに低い
  • 優れたプロジェクトは設計に費やす時間の割合がはるかに高い

プレッシャーの効果
  • プレッシャーをかけても思考は速くならない
  • 残業時間を増やすのは生産性を落とす方法である
  • 一時的なプレッシャーや残業は人々の焦点を定めその仕事が重要であるという認識を高めるには有効な方法かもしれないが、プレッシャーをかけすぎるとかならず失敗する

いかれる管理者
  • 管理者の怒りと侮辱は伝染する。上の管理者が怒鳴ると下の管理者も同様の行動をとるようになる(虐待された子供が自分の子供を虐待するようなもの)
  • 管理者が部下を侮辱してだれかの業績がよくなるという証拠はあるの?
  • 管理者が部下を刺激するのに侮辱を使うことは部下ではなく管理者の能力不足のしるしである

あいまいな仕様書
  • 仕様書があいまいなのはシステムの利害関係者の間で対立が解決されていないしるしである
  • 入出力の完全なリストのない仕様書は見込みなしである。使用を明確にする最初の一歩にもならない

対立
  • 開発に複数の当事者がかかわっている限り、利害の対立は避けられない
  • システムの構築と導入の事業にはとくに対立が多い
  • システム開発組織のほとんどは対立解決能力に乏しい
  • 対立は尊重すべきである
  • 全員の勝利条件を尊重することをあらかじめ宣言しておく。あらゆるレベルで勝利条件を引き出すようにする
  • 交渉は難しいが、仲裁は簡単だ
  • 勝利条件が相容れないか、または部分的に相容れない場合でも関係者が対立解決のために仲裁に移行するようにあらかじめ準備しておく
  • われわれは味方同士である。敵は問題そのものだ
  • 触媒のような人格というものがある。そのような人はチームがまとまって結束し、なおかつ健全性と生産性を維持できるようにすることでプロジェクトに貢献する。触媒の役割は重要で貴重である
  • 仲裁は触媒の役割の特殊なケースである。仲裁はわざうかな投資で学習できる
  • 「あなたたちの仲裁をさせてもらえますか」というささやかな儀式の開始が対立解決の本質的な第一歩になることがある

スタッフの人数
  • 初期に人数が多すぎるとプロジェクトは重要な設計作業を省略せざるをえない(全員に仕事を与えるため)。設計が完成する前に大勢に仕事を割り当てると、人や作業グループの間のインタフェースを最小化できない
  • このため相互依存性が高まり、会議が増え、やり直しがふえ、フラストレーションがたまる
  • 理想の人数配分はプロジェクト期間の大部分を少人数のコアチームで行い、プロジェクトの終盤(最後の6ぶんの1ぐらい)に人数を大幅に増やすというものである

プロジェクトの社会学
  • 会議は重要ではない人物が出席しなくても心配のないように小さくする必要がある。欠席者が安心するための最も簡単な方法は、議事予定表を発行しそれに厳密に従うことである
  • 罵倒などの怒りから人々を守るために手を打つ
  • 怒りは恐怖である。部下に対して罵倒などの怒りの行動をとる管理者は、ほとんどの場合、怖いからそうしているのである(失敗するのではないか、期待に背くのではないか、などなど)
  • 怒りが恐怖であることをすべての人が理解すれば、その人が怒っているのは怖がっているからだと周りの人間は理解でき、周りの人間の悩みは軽減できるだろう

病んだ政治
  • 病んだ政治を下から治療することはできない。むだな努力で時間を浪費したり、自分の立場を危険にさらす必要はない
  • 問題が自然に解決するか、行動するチャンスが来るのを待つしかない場合もある

倹約精神
  • 倹約精神とは、失敗した企業の中でその失敗の責任者が作った公式である

2011年5月20日金曜日

Google App EngineにC#プログラムからログインする方法

今回はGoogle App Engine(GAE)にC#プログラムからログインする方法を解説する。

GAEで特定のUrlに対して、特定のユーザのみにアクセスを許可する場合はapp.yamlで下記のように設定をすればよい。

app.yaml
- url: /do/something/
  script: something.py
  login: required

これでGAEアプリのユーザのみが上記Urlへのアクセスが可能となる。ユーザではない、または未ログインのものが上記UrlにアクセスするとGoogleアカウント(またはOpen Id)のログインページへとリダイレクトされる。そこでユーザ名とパスワードを入力してログインすれば上記のUrlへとリダイレクトバックされる。これがブラウザ上の動作であれば問題はないが、プログラム上から認証を必要とするUrlへとアクセスする場合は困る。

認証を必要とするGAEアプリのUrlに対してリクエストを行う場合は下記の手順で行う必要がある。

  1. ClientLoginサービスにログインしAuthトークンを取得する
  2. 取得したAuthトークンを利用しGAEアプリにログインしCookieを取得する
  3. 取得したCookieとともにHttpGETやらHttpPOSTを行う

各項目を順を追って説明する。

ClientLoginサービスにログインしAuthトークンを取得する
string GetAuth()
{
    var request = (HttpWebRequest)WebRequest.Create("http://www.google.com/accounts/ClientLogin");
    var content = "Email=test@gmail.com&Passwd=testpass&service=ah&accountType=HOSTED_OR_GOOGLE";
    var byteArray = Encoding.UTF8.GetBytes(content);
    request.ContentLength = byteArray.Length;
    request.ContentType = "application/x-www-form-urlencoded";
    request.Method = "POST";
    var dataStream = request.GetRequestStream();
    dataStream.Write(byteArray, 0, byteArray.Length);
    dataStream.Close();
    var response = (HttpWebResponse)request.GetResponse();
    var stream = response.GetResponseStream();
    var reader = new StreamReader(stream);
    var loginStuff = reader.ReadToEnd();
    reader.Close();

    var auth = loginStuff.Substring(loginStuff.IndexOf("Auth")).Replace("Auth=", "").TrimEnd('\n');
    return auth;
}
まずhttp://www.google.com/accounts/ClientLoginへと必要な情報をポストする。各項目の詳細な説明は下記を参照して欲しい。
ClientLogin for Installed Applications

今回は最終的にGAEアプリへとログインしたいのでserviceはahとなる。これがカレンダーであればclなどそれぞれに対応したものへと変わる。ログインに成功するとSID、LSIDとともにAuthが返却されるのでAuthのみ取得する。他の二つは不要。

取得したAuthトークンを利用しGAEアプリにログインしCookieを取得する
CookieContainer GetCookies(string auth)
{
    var cookies = new CookieContainer();
    var url = string.Format("http://test.appspot.com/_ah/login?auth={0}",
                            System.Web.HttpUtility.UrlEncode(auth));
    var request = (HttpWebRequest)WebRequest.Create(url);
    request.AllowAutoRedirect = false;
    request.CookieContainer = cookies;
    request.ContentType = "application/x-www-form-urlencoded";
    request.Method = "GET";
    var response = (HttpWebResponse)request.GetResponse();
    var stream = response.GetResponseStream();
    var reader = new StreamReader(stream);
    var result = reader.ReadToEnd(); 
    reader.Close();
    return cookies;
}
先ほど取得したAuthトークンを使用しGAEアプリへとログインする。実際にはhttp://test.appspot.comの部分をアクセスしたいGAEアプリのUrlへと変更して欲しい。ログインに成功するとACSIDというクッキーが返却されているはずだ。余談ながらGAEアプリへのログイン後、POSTではなくGETでよい場合は、下記のようにリクエストすれば指定のUrlへとリダイレクトされる。

http://test.appspot.com/_ah/login?auth={0}&continue=http://test.appspot.com/do/something/

ただ今回はPOSTでリクエストしたいのでAllowAutoRedirect=falseで自動リダイレクトを無効化している。


取得したCookieとともにHttpGETやらHttpPOSTを行う
void PostToGAE()
{
    var auth = GetAuth();
    var cookies = GetCookies(auth);

    var url = string.Format("http://test.appspot.com/do/something/");
    var content = "testvalue=test";
    var request = (HttpWebRequest)WebRequest.Create(url);
    request.KeepAlive = false;
    request.CookieContainer = cookies;
    var byteArray = Encoding.UTF8.GetBytes(content);
    request.ContentLength = byteArray.Length;
    request.ContentType = "application/x-www-form-urlencoded";
    request.Method = "POST";
    var dataStream = request.GetRequestStream();
    dataStream.Write(byteArray, 0, byteArray.Length);
    dataStream.Close();
    HttpWebResponse response = (HttpWebResponse)request.GetResponse();
    var stream = response.GetResponseStream();
    var reader = new StreamReader(stream);
    var result = reader.ReadToEnd();
    reader.Close();
}
取得したCookieをそれ以降のリクエストと一緒に送ってやれば認証されたユーザとしてサーバサイドで認識される。

※見て分かると思うけれど、上記方法は中間でトラフィックを監視している人物がいた場合に、その人物がクッキーを使いまわすだけで簡単になりすましが可能となる。そのため繊細な情報などを扱う場合はhttpsを使用するのが望ましい。httpsを使用した場合は返却されるクッキー名がSACSIDとなる。


仕組みが分かれば至極単純なのが理解できたと思う。上記のコードは動作テスト用に組んだものなので例外処理などまったくの手付かずなので使用される場合は随時手を加えてもらいたい。


余談
私がこの動作テストを行ったときに正常に動作させるまで二日ほどかかってしまった。その要因はサーバサイドのハンドラーをDjango-nonrelで実装していたのだが、POSTリクエストがcsrf protectionに引っかかっていたせいだった。ずっとGAEの認証側の問題だと考えてそちらばかり追っかけていたので、Djangoのほうまで頭が回らなかった。気付いてしまえば単純な問題だけれど、はまるときははまる。仮にDjango-nonrelを使用する場合は忘れずにハンドラーへ@csrf_exemptを付与するようにしてほしい。

下記、はまっているときにstackoverflowへ質問した内容。
Programmatically login to google app engine c#

2011年5月19日木曜日

Google App Engineで開発してみた感想とか環境とか

Google App Engine(GAE)でガリガリと開発し始めて2週間ぐらいたったので、今回は開発の感想とか現在の開発環境とか。

発端~準備
チヌかかり釣りMEGAのSNS要素としてコミュニティ機能が欲しかったので、どうせデータのスケーリングを視野にいれるならGAEでやってみんべ、と思い立って始めたのが3月末。以前からPythonには興味があったのでついでに勉強しようとPythonを言語として選択。Pythonの勉強用にDive Into Python 3という大変すばらしい資料がネットに転がっていたのでそれでPython的なものを理解した。ただPythonは3と2で言語仕様の互換性が途絶しているため実際にGAEで開発するときはそこらへんを考慮しなくてはいけなかった(まぁ今までのところほとんど意識することはなかったのだけれども)。

で、Pythonをぼんやりと理解したので次いで背景も含めたGAEの理解に努めた。資料的にはGetting Started: PythonからApp Engine Python Overviewまわりの全部、それと内部的な動作を理解するのにMastering the datastoreもすべて目を通した。あとIndexまわりを理解するためにもBigtable: A Distributed Storage System for Structured Dataの出だし数ページには目を通しておいたほうが良いと感じた。

開発はじめ
開発環境はEclipse 3.6 Heliosを採用。GAEのページにEclipse用のプラグインがあるのでそれを使えば簡単に開発環境が構築できる。ただ、GAEそのままで開発を始めるとすぐに不便なことに突き当たる。GAEはDjangoのテンプレート機能を標準でサポートしてくれているが、それ以外の機能はない(それ以外にももしかしたらあるのかもしれないけれど知らない)。たとえばユーザ機能(GAE標準としてはGoogle AccountとOpen Idが用意されている)だったり、管理者機能、セッション機能なんかも当然ない。セッション機能とかはGAE用にgae-sessionsなどを開発してくれている人がいるけれどもどうせならここらへんの機能はフレームワークとして用意されているほうが好ましい。また生のGAEで困ったのがフォームの検証機能なんかも全然サポートされていない。これはかなり困った。ということでGAE上でDjangoを使用できるようにポートしてくれているDjango-nonrelを使用することにした。

Django-nonrelを使うことでModelFormやUser機能などDjangoの恩恵をすべて享受しているのに、さらにGAEのデータストアをラップしてくれているModel機能のお陰でBigtableも意識せずに使えちゃうというヘブン状態に突入できた。ただ当たり前なのだけれどもデータのjoinができないなどのGAEのデータ特性はそのままなのでそこらへんは注意しなければならない。

環境とか
Django-nonrelはほとんど素のDjangoと変わらずに開発できる(素のDjangoを触ったことがないので実際には分からないけど)のでストレスなくサクサク開発できるようになった。そこで更なる開発効率を達成するために下記のプラグインやらフレームワークやらを導入した。

Aptana Studio 3
これを入れるとPyDevが手に入り、さらにEclipse用のDjangoプラグインが手に入る。さらにさらにDjango Template Editorも手に入るのでマストゲットな一品。

Lettuce
Behavior Driven Development用のテストフレームワーク。これはかなり良い。C#用のMSpecとかよりも断然開発しやすい。MSpecが駄目というよりもDjango自体が自動テストで開発するのに向いてる環境だと実感した。

Selenium
ブラウザの挙動をそのままトレースできるツール。かなりのポテンシャルを感じるけれど、Lettuceとの相性がいまいちなのでいまいち把握していない。複雑なUIをぐりぐり作り始めたらちゃんと調査するつもり。

現在の開発環境は下記
Eclipse 3.6
PyDev
Django-nonrel
Lettuce

感想
GAEで開発しているという感じはほぼなく、Djangoで開発していると感じる。それと環境をしっかりと整えればかなり開発しやすいと感じた。まだまだTransaction周りなど、Django-nonrelがどのようにラップしているか正確に把握していないので手探りしながらなのは否めないけれど、大枠問題がない。あとPythonでの開発は楽しい。コンパイラが無いのはうっとうしいけれど、その分しっかりとテストコードを書いておけばいいのだし、もっとしっかりやるならコードカバレッジも併用すればよいんでしょ(まだ使ったことないけど)。

2011年5月5日木曜日

pipとかLettuceとかのセットアップ覚書 for Windows 7

Djangoアプリ用にBDDスタイルのテストフレームワークを探していたらLettuceがよさげだったのでインストールしてみた。その際に色々苦労したので今後のためのメモ。

まずpipをインストールする。
手順は下記を参考。
How to install pip on windows?

ついでLettuce。このTutorialどおりにpipを使ってのインストールから最初のテスト実行までを行う。
が、Lettuceを実行してみると表示がおかしい。本文以外に変な文字がたくさん出力される。


LettuceはWindowsに配慮されていないのでこういう悲しいことになっているようなのだが、それを解決する方法は下記の3. Fixing the Outputを参照のこと。
How to Install Lettuce in Windows

上記の方法を適用すると下記のように正しく表示される。


ここまででやっとスタートラインに立てた。でもまだDjangoと統合したり、Django-nonrelと一緒に使ってみたり、splinterも評価してみようかなーとか思ってるので道半ば。