WWWサーバの運用

この文書の位置づけ

この文書は学内向けにWWWサーバの運用に関する情報をまとめたものです。 内容は既にかなり古くなっています。 また間違いも含んでいます。 コメントをお願いします。

• １．はじめに
• ２．WWW とは
• ３．URL とは
• ４．HTTPとは
• ５．HTTPサーバの種類
  • GN
  • NCSA httpd
  • CERN httpd
  • Plexus
  • その他のサーバ
• ６．HTTPサーバのインストール
  • ６．１．HTTPサーバのコンパイル
  • ６．２．コンフィギュレーションファイルの設定
  • 自分自身のページを持ちたいとき
• ７．CGI
  • ７．１．一般的な CGI スクリプト
  • ７．２．NPH-Scripts
  • ７．３．ISMAP (Clickable Map)
  • ７．４．ISINDEX (Search)
  • ７．５．FORM (Fill-Out Form)
• ８．proxy 機能
  • ８．１．firewall
  • ８．２．proxy
• ９．おわりに

これは、言い換えれば、利用者が同時にサービスの提供者でもあるこ とを示しています。サービス提供の機会がすべての利用者に均等に与え られているのがインターネットの特色なのです。

ここではインターネットへの情報発信の手段として、WWW サーバの 運用について解説します。

２．WWW とは

この基本となるハイパーテキストとは、読者が文書のある部分に関連 する情報を容易に入手できるよう、文書のその部分に関連する情報への 「ポインタ」を埋め込んだものです。一般の文書なら、それが参照して いる別の文書を入手するのにある程度の手間がかかりますが、ハイパー テキストでは、それを「読む」ためのソフトウェア (ブラウザ、 NCSA Mosaic 等) を使用することにより、例えばその部分をマウスで「クリッ ク」する程度で関連する文書に「リンク」できます。

分散ハイパーメディアシステムとは、 インターネット上に散在する 様々な情報 (資源と呼びます) をハイパーテキストを使って互いに関連づ けようとするものです。 この記述には HTML (HyperText Markup Language) を用います。

WWW においてリンクされる情報は、インターネットを介してアクセ ス可能なものなので、実際の所在は問いません。また種類もハイパーテ キストやプレーンテキストに限らず、プログラムやデータベース、画像 や音声、動画なども含んだ、まさにハイパーなものです。

３．URL とは

アクセス方法://ホスト:ポート/パス

file

ローカルマシン上のファイル (ホスト名が localhost でな ければ ftp と同じ)

file://localhost/usr/local/src/X11R5/RELNOTE.TXT

ftp

anonymous ftp サーバ上のファイル

ftp://luna.eco.wakayama-u.ac.jp/README

telnet

telnet によるログイン (パス名は付けない)

telnet://dra.com

news

ネットワークニュースの記事 (ニュースグループ名や Message-Id を使う)

news:wadai.talk.misc, news:<Message-Id>

wais

WAIS のデータベース (ソース)

wais://rfc-wais.dit.co.jp/rfc

gopher

gopher サービスのメニュー

gopher://www.wakayama-u.ac.jp/

http

HTTP サーバ上の資源

http://www.wakayama-u.ac.jp/img/gif/wadai_s.gif

これらのアクセス方法のうち WWW の中心となるのは HTTP ですが、 WWW の目指しているものは HTTP に限らずインターネット上の様々な 資源を集約することです。WWW のサーバ、すなわち HTTP のサーバ自 体は当然 HTTP でしかアクセスできませんが、ブラウザがこれらのもの に対する統一的なインタフェースを提供します。このためブラウザは非 常に大きなソフトウェアです。

但し、ブラウザが上に挙げたすべてのアクセス方法をサポートしてい るとは限りません。例えば、 Macintosh や Windows 上のブラウザでは、 WAIS をサポートするためのパッケージ public domain に存在しないた め、現時点ではそれらからは直接 WAIS のサーバにはアクセスできませ ん。しかし UNIX 上に用意されている WAIS と HTTP のゲートウェイを 介すればアクセスすることができます。

４．HTTPとは

		                host: www.wakayama-u.ac.jp
http://www.wakayama-u.ac.jp/ → port: 80 (HTTP の well-known port)
		                uri:  /
	                     ↓
                       request: "GET / CrLf"

Method URL ProtocolVersion CrLf
Header CrLf
CrLf
data ....

Method には GET の他 HEAD や POST などいくつかのものがあります。 GET の応答は FullRequest に対してはデータの先頭にサーバの情報や データの詳細 (作成時間や有効期限など) を示す RFC822 形式の ヘッダを付加したものになります。 また HEAD はそのヘッダだけを取り出します。

５．HTTPサーバの種類

#!/bin/sh
read get docid version
cat /server_root/`echo $docid | tr -d '\015'` # strip trailing CR

/etc/services

www 80/tcp

/etc/inetd.conf

www stream tcp nowait nobody /this/script script

追記：現実にこんな方法でサーバを動かしたら、 セキュリティ上とてつもなくでっかい穴を空けることになります。 決して真似しないでください :-P

GN

インストールは多分これが一番簡単で、筆者の luna に "すら" ほとん ど手を加えずにインストールできました。ややこしい設定ファイルも ありません。

NCSA httpd

CERN httpd

Plexus

その他のサーバ

６．HTTPサーバのインストール

% zcat cern_httpd.tar.Z | tar xf -

% cd WWW
% make

% setenv WWW_MACH プラットホーム名
% ./BUILD

なお、サポートされていないプラットホームインストールしようとす るとき、それが BSD 系の OS なら、上の手順の "プラットホーム名" を unix に設定してみてください。なお SONY の NEWS-OS 4.x はリンク時 に strftime と mktime がないというエラーがでます。 これらは glibc などのパッケージに含まれているので、 持ってきて一緒にコンパイル／リンクすればいいでしょう。

６．２．コンフィギュレーションファイルの設定

httpd -r /usr/local/etc/httpd.conf

httpd.conf

標準的な HTTP サーバの設定

prot.conf

アクセス制御を行う場合の HTTP サーバの設定

proxy.conf

データのキャッシングをしない場合の proxy サーバの設定

caching.conf

データのキャッシングを行う proxy サーバの設定

ServerRoot /usr/local/lib/httpd

httpd 関係の各種ファイルを置くディレクトリ。 server_root.tar.Z を展開して、そこを指定すればいいと思 います。

Port 80

http のサービスを受け付ける TCP のポート番号。80 が標 準ですが、proxy 専用のサーバにしたいときは、本来の HTTP サーバと区別するために他の番号 (8080 など) が指 定されます。これは httpd の -p オプションで変更するこ とができます。

UserId nobody

httpd が動作するときの user id。普通 nobody を指定しま す。

GroupId nogroup

httpd が動作するときの group id。普通 nogroup を指定し ます。

AccessLog /var/log/httpd

httpd のアクセス履歴を保存するファイル。サンプルでは コメントアウトしてあるので、ログをとる必要があれば 設定します。wusun では /var/log/http。

ErrorLog /var/log/httpd-err

httpd のエラーを記録するファイル。これもサンプルでは コメントアウトしてあるので、ログをとる必要があれば 設定します。wusun では /var/log/http.err。

LogFormat Common

ログファイルの書式。Common のままでいいと思いま す。昔の形式にする場合は Old に設定します。

LogTime LocalTime

ログファイルに記載する時刻の時間帯。グリニッジ標準 時を使いたいときは GMT、現地時間を使うときは LocalTime を設定します。

UserDir public_html

http://host/~user/ という URL でアクセスしたときに、検 索される user のホームディレクトリのディレクトリ名。 wusun では public_html に設定されているので、この URL では ~user/public_html が検索されます。

Exec /cgi-bin/* /usr/local/lib/httpd/cgi-bin/*

CGI スクリプトの起動を許す URL のパターンと、実際に CGI スクリプトが置かれているディレクトリとの対応を 指定します。上の例では http://localhost/cgi-bin/date とい う URL に対して /usr/local/lib/httpd/cgi-bin/date を起動しま す。

Pass /* /pub/*

ドキュメントの参照を許す URL のパターンと、実際にド キュメントが置かれているディレクトリとの対応を指定 します。上の例では http://localhost/file という URL に対 して /pub/file が参照されます。ドキュメントを公開する ディレクトリの指定です。

Pass http:*

Pass gopher:*

Pass ftp:*

Pass wais:*

URL が完全な形式、つまり proxy サーバへのリクエスト だったとき、それを実際のサーバに転送することを指定 します。

Caching On

proxy サーバにおいてデータのキャッシングを行うかど うかを指定します。キャッシングを行わないときは Off を指定します。

CacheRoot /var/spool/httpd

キャッシングしたデータを保存するディレクトリを指定 します。

CacheSize 10

キャッシングするデータの上限を設定します。単位は MB です。

CacheClean * 2 months

指定した URL のパターンにマッチするキャッシュデータ の保存期限の上限を設定します。この例ではいかなる URL のキャッシュデータの保存期間を最長で２箇月間に 設定します。months を付けなければ単位は日になりま す。

CacheUnused http:* 2 weeks

CacheUnused ftp:* 1 week

CacheUnused gopher:* 1 weeks

指定した URL のパターンにマッチするキャッシュデータ が参照されなかったときに消去されるまでの期間を設定 します。week(s) を付けなければ単位は日になります。

CasheDefaultExpiry ftp:* 10 days

CasheDefaultExpiry gopher:* 2 days

キャッシュした元のデータのヘッダ情報からデータの有 効期限や最終修正時刻などの情報が得られなかったとき のデフォルトの有効期限を指定します。HTTP に関して はデータがプログラムによって生成される場合があるの で、これは指定しません。

Gc On

ガベージコレクションを行う設定です。行わない場合は Off を指定してください。

GcDailyGc 3:00

ガベージコレクションを行う時刻を指定します。

NoCaching http://www.wakayama-u.ac.jp/*

キャッシングを行わない URL のパターンを設定します。 CERN httpd 3.0 では URL のパターンに複数のワイルド カー(*)が使えるそうなので、"*://www.wakayama-u.ac.jp/*" というパターンも使えると思います。

他にも多数のディレクティブが用意されています。一部を紹介しま す。

Welcome index.html

URL がディレクトリ指していたときに参照される、その ディレクトリ内のファイル名。デフォルトでは Welcome.html、welcome.html、及び index.html のいずれか です。index.html は NCSA の httpd との互換性のために用 意されています。

DirAccess on

URL がディレクトリ指しており、かつ Welcome ディレ クティブで指定されたファイルが存在しないとき、その ディレクトリの一覧を作成するかどうかを設定します。 デフォルトは on で、作成しないときは off 指定します。 selective を指定したときは、そのディレクトリ内に .www_browsable というファイルがあるときのみ作成しま す。

DirReadme top

ディレクトリの検索を許しているときに、そのディレク トリ内にある README ファイルをディレクトリ一覧と 組み合わせて表示するかどうかを指定します。デフォル トは top で、README ファイルの内容をディレクトリの 一覧より前に表示します。後ろに表示するときは bottom、 表示しないときは off 指定します。

Search /usr/local/lib/httpd/cgi-bin/search

ISINDEX や FORM を使ったときにデフォルトで起動す るスクリプト。

このディレクトリの下に Welcome.html か welcome.html あるいは index.html という HTML 文書を置けば、それが http://www.server.host/~user/ という URL でアクセスできます。

HTML を知らなくても、単にこのディレクトリにファイルを置くだけ で、サーバが自動的にファイルの一覧を HTML 形式で作成してブラウザ に送ってくれます。その際そこに README ファイルがあれば、ディレ クトリ一覧の先頭にその内容を表示してくれます。

７．CGI

７．１．一般的な CGI スクリプト

#!/bin/sh
echo "Content-Type: text/html"
echo ""
echo "<HEAD>HTML output</HEAD>"
echo "<BODY>"
echo "<H1>This is a sample HTML output</H1><P>"
echo "</BODY>"

#!/bin/sh
echo "Content-Type: text/plain"
echo ""
echo "This is a sample PLAIN output"

CGI スクリプトにデータを渡すには、引数と環境変数を用います。い ま、sh スクリプトで書かれた CGI スクリプト /cgi-bin/script を、下のよ うな URL を用いて起動した場合を考えます。ドキュメントを公開する ディレクトリは /usr/doc/WWW とします。空の変数やURL によって内 容が変化しない変数は省略しています。

http://host/cgi-bin/script/file/path

$# = 0

$PATH_INFO = /file/path

$PATH_TRANSLATED = /usr/doc/WWW/file/path

http://host/cgi-bin/script?arg1+arg2

$# = 2

$1 = arg1

$2 = arg2

$QUERY_STRING = arg1+arg2

http://host/cgi-bin/script/file/path?arg1+arg2

$# = 2

$1 = arg1

$2 = arg2

$PATH_INFO = /file/path

$PATH_TRANSLATED = /usr/doc/WWW/file/path

$QUERY_STRING = arg1+arg2

http://host/cgi-bin/script/file/path?string1=hello&string2=world

$# = 0

$PATH_INFO = /file/path

$PATH_TRANSLATED = /usr/doc/WWW/file/path

$QUERY_STRING = string1=hello&string2=world

なお、このように区切り文字として使われている /, ?, +, =, & や |, <, >, (, ), !, # , % など多くのの特殊記号は、 URL の中で使うことができません。 このような文字を引き数などで使用したい場合は、% に続けた文字 コードの 16 進表記で表現します。

#!/bin/sh
cat << 'EOT'
HTTP/1.0 200 Script results follow
Server: MyScript/1.0 via CERN/3.0
Content-Type: text/html

<HEAD>NPH-Script output</HEAD>
<BODY>
<H1>This is a sample NPH-Script output</H1><P>
</BODY>
EOT

７．３．ISMAP (Clickable Map)

<A HREF="http://host/path">
<IMG SRC="/img/sample.gif" ISMAP>
</A>

http://host/path?x+y

CERN の httpd にはこれをサポートするために htimage というユーティ リティーが付属しています (NCSA httpd にも imagemap という同様な ユーティリティーが付属しています)。これを使用するには、まずイメー ジ上のクリック位置とリンクする URL を対応付ける設定ファイルを作 ります。

default URL

未定義部分をクリックしたときにリンクする URL。必須 です。

circle (x,y),r URL

(x,y) を中心とし半径 r の園内をクリックしたとき

rectangle (x1,y1) (x2,y2) URL

２点 (x1,y1), (x2,y2) を結ぶ線分を対角線とする矩形領域 内をクリックしたときにリンクする URL。

polygon (x1,y1) (x2,y2) ... (xn,yn) URL

n 個の点 (x1,y1) ... (xn,yn) に囲まれた多角形領域内をク リックしたときにリンクする URL。始点 (x1,y1)と終点 (xn,yn)は一致していなくても構いません。

<A HREF="/cgi-bin/htimage/maps/sample.map">
<IMG SRC="/images/sample.gif" ISMAP>
</A>

htimage や imagemap のようなユーティリティーを自作するのは容易だ と思います。単に他のURL にリンクするだけでなく、アイデア次第でい ろんな応用が考えられると思います。

７．４．ISINDEX (Search)

ここにキーワードをタイプし改行すると、キーワードを引き数にして もう一度同じ HTML 文書にリンクしようとします。

1. HTML 文書が CGI スクリプトにより生成されたものなら、その CGI スクリプトがもう一度実行されます。下は検索結果を表示す る画面に入力欄を表示しないようにする例です。

   #!/bin/sh
   echo "Content-Type: text/html"
   echo ""
   case $# in
   0)
   	echo "<ISINDEX>"
   		…
   	;;
   *)
   	echo "<TITLE>Search Results</TITLE>"
   		…
   	;;
   esac
   

2. HTML 文書が実行できない普通の文書なら、httpd のコンフィギュ レーションファイルにおいて Search ディレクティブ で指定された CGI スクリプトが実行されます。
3. HTML 文書において ISINDEX に対して ACTION が指定されてい れば、その CGI スクリプトが実行されます (例: <ISINDEX ACTION="/cgi-bin/script">)。

QUERY_STRING からキーワードを切り出すには、CERN httpd に付属 している cgiparse というユーティリティーを使うと便利です。これは "%16進数" の形にエンコードされた文字のデコードも行ってくれます。

#!/bin/sh
echo "Content-Type: text/plain"
echo ""
n=0
for i in `cgiparse -keywords`   # QUERY_STRING からキーワードを切り出す
do
        n=`expr $n + 1`
        echo "arg[$n]=$i"
done

<FORM METHOD="POST" ACTION="/cgi-bin/script">

Fill-Out Form の開始です。METHOD は省略すると GET になります。POST を指定したときは、httpd のコンフィ ギュレーションファイルの POST-Script ディレクティブ において、これを処理するスクリプトを指定しておく必 要があります。また PUT を使用するときは、 PUT-Script ディレクティブの設定に加えて、"Enable POST" や認証 などの設定も必要になります。ACTION に関しては ISNDEX と同様です。

<INPUT TYPE="text" NAME="username" MAXLENGTH="20">

一行の文を入力する欄を作成します。MAXLENGTH は 文の長さの上限です。

<INPUT TYPE="checkbox" NAME="switch" VALUE="on">

チェックボックス。この例ではブラウザ上でチェックさ れたとき switch=on が設定されます。

<INPUT TYPE="hidden" NAME="status" VALUE="high">

隠れた欄。ブラウザ上には現れませんが、状態を保存し ておいてサーバに返すような用途にしようできます。

<SELECT NAME="fruit" MULTIPLE><OPTION>orange<OPTION>apple</SELECT>

選択肢を作ります。<OPTION> に続く label が選択項目 としてブラウザ上に表示されます。MULTIPLE を指定し なければ、選択肢はポップアップメニューになります。

<TEXTAREA NAME="comment" COLS=48 ROWS=10>text</TEXTAREA>

数行にわたる大きな入力欄を作ります。COLS は欄の 幅、ROWS は行数を示します。text はこの欄にあらかじ め入れておく文章です。

<INPUT TYPE="reset" VALUE="Cancel">

入力欄をすべて初期状態に戻すボタンを作ります。 VALUE はボタンに付けるラベルで、省略すると "reset" になります。

<INPUT TYPE="submit" VALUE="Send This Form">

Fill-Out Form を終了しデータをサーバに送るボタンを作 ります。VALUE はボタンに付けるラベルで、省略する と "submit" になります。

</FORM>

Fill-Out Form の終わりです。

username=tokoi&switch=on&status&fruit=orange&comment=good bye joe

QUERY_STRING から要素を切り出すには、この場合も cgiparse が使 えます。要素を一つ一つ切り出すには -value オプションを使います。ま た -form オプションを付けたときの cgiparse の出力は下のようになりま すから、これを sh スクリプト等で eval するだけでシェル変数として使 用できます。

FORM_username='tokoi'; FORM_switch='on'; FORM_fruit='orange'; ...

#!/bin/sh
echo "Content-Type: text/plain"
echo ""
cgiparse -value username        # tokoi を出力
cgiparse -value switch          # on を出力
eval `cgiparse -form`           # 全部をシェル変数に

ネットワーク内のコンピュータが一つでも不正侵入されると、同じ ネットワークに接続された他のコンピュータも破られる危険性が非常に 高まるため、インターネットに接続している機関のシステム管理者は、 その機関が所有するすべてのコンピュータに対して、侵入の足がかりと なるような問題点 (セキュリティーホール) を持たないよう常に注意を払 わなければなりません。しかしコンピュータの数が増えるに従って、こ のような体制による管理は困難になってきます。そこでインターネット と LAN の接点部分で外部からの侵入を阻止しようとするアイデアが firewall (防火壁) です。

インターネットと LAN のように異なるネットワークを相互に接続す るには、ルータという装置が使われます。ルータには専用機もあります が、複数のネットワークインタフェースを持つワークステーションも ルータとして使用されます。

後者のタイプのルータにおいて、例えば片方のネットワークからもう 一方のネットワークへの通信を中継しないようにすれば、外部のネット ワークからルータを越えて直接内部のネットワークにアクセスすること が不可能になります。同様に内部のネットワークからも直接外部にアク セスすることができなくなりますが、ルータ自身は双方のネットワーク にアクセス可能なので、内部からは一旦これを経由することで外部への アクセスが可能になります。

当然外部からもこのルータを経由すれば内部へのアクセスが可能なの で、ルータは不正侵入の矢面に立たされることになりますが、管理者は 不正侵入を防止するためにこのルータだけに注目していれば済むので、 セキュリティー監視の労力が大幅に軽減されます。

このような措置をとっても、電子メールやネットワークニュースのよ うに「蓄積再送型」の通信では一旦ルータを経由させるような設定が容 易にできるので、使い勝手にはほとんど影響しません。しかし telnet や ftp、それに WWW などは、先方との間で直接コネクションを張る必要 があるため、これらを利用するには利用者は一旦ルータにログインする 必要があり不便です。また外部へのアクセスを要求する利用者をすべて ワークステーションルータに登録することは、手間がかかるだけでな く、利用者数の増加によるセキュリティーの低下も引き起こします。

８．２．proxy

SOCKS

HTTP proxy

proxy に対応したブラウザ (Mosaic-2.4 等) は、proxy の設定がされていれば、与えられた URL に記述されたホスト に直接接続するかわりに、proxy サーバに指定された httpd にアクセス方 法やホスト名を省略しない完全な URL をもったリクエストを送りま す。httpd はブラウザから送られてきたリクエストの URL が完全なもの なら、それに従って先方のサーバにリクエストを送り応答をブラウザに 中継します。

なお中継の際にデータを proxy サーバでも保存しておき、以後同じ URL に対するリクエストがあったときには、先方に接続するかわりに保 存していたデータをブラウザに送り返すことによって、データのキャッ シングを実現することもできます。これによってインターネット上のト ラフィックを軽減することができるほか、利用者に対しても良好な応答 速度を実現することができます。

CERN の httpd 自身も proxy クライアントの機能を持ち、他の proxy サーバに接続することができます。これによって、多段の proxy を構成 することができます。

DeleGate

DeleGate で漢字コードの変換を行うには、例えば次のようにします。

delegated -P8090 PROXY=www.wakayama-u.ac.jp:80\
                 SERVER=http://www.wakayama-u.ac.jp\
                 CHARSET=SJIS

Mosaic http://emily0.emily.eco.wakayama-u.ac.jp:8090

setenv http_proxy http://emily0.emily.eco.wakayama-u.ac.jp:8090

和歌山大学の場合、購読しているカテゴリはそれほど多くないにもか かわらず、現在１日あたり 150MB〜200MB の記事が流入してきます。 この大半は読まれることなく捨てられています。64Kbps の回線は１日あ たり最大でも 700MB 弱しか転送できませんから、他のサービスによる トラフィックを考えると、これは結構危機的な状況なのではないかと感 じています。

また一方で、和歌山大学が購読していないカテゴリもたくさんありま す。その中にもおもしろそうなものがあるので手を広げたい欲求はある のですが、現状を考えるととてもその気にはなれません。

この無駄をどう考えるかは議論のあるところですが、少なくとも現在 の方式は、データ転送方式として UUCP を用いていたため記事を全部 バッチ式にコピーする必要があり、また記事の流量もそれが可能な程度 しかなかった頃に開発されたもので、インターネットで全世界が結ば れ、記事の流量も膨大なものになってきた現在の状況に十分適応できて いるかどうかは疑問です。

WWW の問題点はキャッシュや階層的なデータ管理の仕組みさえ整備 すれば解決可能なのではないかと思います。将来はこのような方式が ニュースシステムにも適用されて、オンデマンドであらゆるニュースが 購読できるようになるかも知れません。