仕事でお客さんのサイトの構成を確認するに当たって、どういうページが内包されているかサイトマップを作ろうと思いましたが、あまりにもページ数が多く手につかないので、なんとか自動でできないか調べてみました。
「Website Explorer」を使う
一番多かったのはフリーウェア（カンパウェア）で提供されている「Website Explorer」を使う、というものでした。
リンク追跡機能により指定されたウェブサイトを探査し、 その階層構造とファイル構成をエクスプローラ形式で表示するソフトです。 また、取得されたデータをもとにサイトの更新状況、外部リンク一覧、リンクエラー一覧を表示します。 ウェブサイトにおいて使用されているファイルの抽出を実行すると共に、サイト全体のアウトラインが明らかになります。
（出典：Website Explorer 公式サイト）
Vista時代から開発されているようで、スペックは全然必要なさそうです。
＜システム要件＞
ダウンロードする前に、お使いのコンピュータが以下のシステム要件を満たしているかどうか、 ご確認下さい。1. Pentium 以上のプロセッサを搭載したPC
2. Windows 7/8.1/10 のいずれかの OS が動作していること
3. Microsoft Internet Explorer ver.5 以上がインストールされていること（ビューアー表示に必要）
4. 64 MB 以上の RAM
5. 56 Kbps モデムまたはそれ以上のインターネット接続環境（512 Kbps 以上のブロードバンド環境を推奨）
6. キーボードおよびマウス、またはこれと互換のポインティング デバイス
7. Super VGA（800 x 600 ピクセル以上）、24 ビット以上の True Color ディスプレイ
8. 最低 5.8 MB 以上のハードディスク空きスペース（これはあくまでインストールのための最低要件です。）
（出典：Website Explorer 公式サイト）
ただ、最終アップデートが2017年5月でWindows 10対応と謳われているのですが、自分の環境（Win10)ではメニュー類が全て文字化けしてしまい、動くには動いたのですが、結局使えず仕舞いでした…他の環境でも試してみたいと思いますが、とりあえず次に進みます。
Site Map Proを使う
海外のツールで、XMLサイトマップとHTMLサイトマップを作れるようです。
Site Map Pro quickly and effectively generates a single page HTML or XML sitemap. Simply place this file on your website to let visitors and search engines navigate and find all the pages on your site!
（出典：Site Map Pro website）
有料ですが（$59）、評価目的で無償で使えるので試してみました。
次々とリンクを辿って構造を収集してくれます（サイト内にリンクが多く１時間くらいかかりました）。
HTMLで吐き出せますが、そのまま開くと日本語は文字化けます。
エンコードをUTF-8にすることで読めましたが、若干ビットがズレるのか行頭の文字化けは起こりました。
解析終了時になんとなく予感はしていたのですが、下記の但し書きが出てきました。
評価版では6リンクまでしか取得してくれず、後のリンクは全てSite Map Proの登録リンクとなってしまいます。
（http://www.sitemappro.com/register.html）
まあリンクはともかく構造は取得してくれたので良いのですが、お客さんのページ1,000ページ以上あることが判明しました…結果をExcelに貼り付けることにします。
（リンクの分だけ、ページを2重・３重に拾われてしまうようので、成形は必要そうです）
もう少し評価版で試してみます。
その他（未検証）
「Site Map ON」というツールを見つけたのですが、Excelでサイト構成を吐いてくれるツールのようです。
Site Map ON
ファイル構成をディレクトリツリーで吐き出してくれたり、タイトル、メタ、ディスクリプションも並べてくれるなど、なかなか期待できそうなのですが、登録＋審査（！２営業日かかるようです）があり、なおかつポイント制で料金がよくわかりません…
（調べてみたところ1pt≒108円とのこと）
格安・激安・無料、超低価格の料金表｜HARMONY TOOLS（ハーモニー・ツールズ）｜株式会社ＨＡＲＭＯＮＹ（ハーモニー）
今回は急ぎなので見送ります！
