富士通グループの研究開発機能を担う富士通研究所は2012年7月30日、「レプリカ数動的調整機構」と呼ぶ独自のサーバー負荷分散技術を開発したと発表した。分散ストレージ環境において、人気コンテンツへのアクセス集中を自動的に検知・解消して、アクセス遅延を防ぎ、ユーザーの利便性を向上させるものだ。
富士通研究所の実験によれば、同じハードウエア環境でも、新技術適用の有無によって、アクセス時間に10倍以上の差が出るという。8月1日から鳥取市で開催される研究者向けイベント「SWoPP鳥取2012」において、新技術の詳細を発表する。その後、さらに技術の改良と実証実験を進め、2013年度中の製品化を目指す。
Webサイトなどで膨大なコンテンツを蓄積・提供する際には、HDDやSSDを多数備えた複数の物理サーバーを組み合わせて、全体を1つのストレージ装置として使う「分散ストレージ」環境が広く利用されている。複数のサーバーがデータのレプリカ(複製)を同時に持つため、アクセスが集中した場合でもさばきやすい。ところが事前に予測できない出来事が起き、突発的にアクセス数が増大すると、レプリカを保持している全てのサーバーにアクセスが集中し、反応速度が低下してしまう(図1)。
富士通研究所の新技術「レプリカ数動的調整機構(Adaptive Replication Degree)」は、ニュース記事や特定の画像など人気コンテンツへのアクセス集中が起きた時に、その状況を自動的に検出し、状況に応じてレプリカ数を増減させる。
自動検出には、「人気度推定エンジン」と呼ぶアルゴリズムを使う。単にアクセス数を計測するのではなく、最近のアクセスに重みを付けた「重み付け人気度」を計測し、メモリーを浪費することなく、高い精度でコンテンツの人気度を推定できる。
次に推定した人気度に応じてコンテンツのレプリカ数を、適切に増減させる。アクセス頻度が大きい人気コンテンツのレプリカを一気に増やすことで、1サーバー当たりの負荷を分散させる(図2)。
世界的歌手の大ニュース時を再現し、効果検証
富士通研究所は過去のアクセス集中時を再現し、新技術の効果を検証した。具体的には、2009年に実際にあった著名な米国人歌手の大ニュース発生時のアクセス実績(Page view statistics for Wikimedia projectsの2009年6月24日から26日のデータ)を基に、64台のサーバーでアクセス集中時の挙動を再現した。
このなかでサーバーごとのアクセス頻度の変化を時刻ごとに調べると、従来方式では人気コンテンツを持つサーバーだけにアクセス集中が起き、アクセス頻度の増加率は2.3倍にも達した。新技術では、アクセス頻度の増加率は0.7倍まで低減・平準化された。
アクセス集中時の人気コンテンツへのアクセス時間については、従来方式では平常時の15倍の時間がかかるのに対し、新技術では平常時の1.4倍程度に収まるという実験結果を得た。