XAP ファイルにもハンドラマッピングが必要
.svc の件と同じですが、Silverlight 2.0 から加わった .xap ファイルもハンドラマッピングの追加が必要です。まぁ、これは .svc を解決した後だったのですぐにわかりました。
<add name="XapHandler" path="*.xap" verb="*" type="System.Web.StaticFileHandler" />
最近は新しい技術が増えてきて、新しい拡張子も出てきてますが、 404 がでたときなどはこのあたりを一度疑ってみるのがベターですね。