SlideShare a Scribd company logo
Scaling? Cybozu Labs, Inc. Kazuho Oku
What is Scaling? 「スケール」とはどういうことなのか 自分の過去を振り返った値をピックアップ details may vary 2009 年 9 月 25 日 Scaling?
演算速度 ムーアの法則 18 ヶ月〜 24 ヶ月でトランジスタの集積度は 2 倍になる Gordon E. Moore, Founder of Intel Corporation 1989 年 : 80286 @ 12MHz / 1MB 2 MIPS? 2009 年 : Core 2 Quad @ 3GHz / 4GB 60,000 MIPS? 2009 年 9 月 25 日 Scaling?
2010 年には 20GHz? http://pc.watch.impress.co.jp/docs/2003/1105/intel.htm 2009 年 9 月 25 日 Scaling?
フラッシュメモリ ファンの法則 フラッシュメモリの容量は 12 ヶ月で 2 倍 黄昌圭  Samsung Electronics  社長 1998 年 : 4-8MB (MemoryStick 発売時 ) 2009 年 : 1-32GB (SD カード ) 2009 年 9 月 25 日 Scaling?
HDD 1989 年 : 40MB 2009 年 : 500GB 2009 年 9 月 25 日 Scaling?
インターネット回線 1999 年 : 56Kbps-128Kbps (ADSL 直前 ) 2009 年 : 1.5Mbps-100Mbps 2009 年 9 月 25 日 Scaling?
スケールしないものもある HDD のレイテンシ ≒ 回転数 20 年で約 ½ インターネットのレイテンシ 東京〜サンフランシスコは約 8,300km 光の速度で  55msec (RTT) 2009 年 9 月 25 日 Scaling?
4Gbps  って速いの ? 2009 年 9 月 25 日 Scaling?
¥ 4,350- のハブでも 12Gbps 「スイッチング・ファブリック  12Gbps 」 4Gbps  なら¥ 1,450- 2009 年 9 月 25 日 Scaling?
Perl  で書いた  HTTP  サーバで  10Gbps Plack::Impl::Standalone::Prefork HTTP  パーサ部分は  C ベンチマーク条件 linux 2.8.27 (x86_64; Core 2 Quad @ 3GHz) 約  2MB  の画像を  HTTP GET 2009 年 9 月 25 日 Scaling?
HDD からランダムリードなら ... HDD から平均 1KB のデータをランダムリードしているなら 0.5Gbytes/sec ÷ 1024bytes ÷ 240io-ops./sec   = 約 2,000 台 2009 年 9 月 25 日 Scaling?
遅いのは HDD? HDD  にアクセスするソフトウェア RDBMS ファイルストレージ SSD  は部分的解決策 問題点は価格 他に  CPU intensive  な処理もある 例 : XML  のパース 2009 年 9 月 25 日 Scaling?
なぜ「スケールアウト」が流行るのか スケールアウトは 2000 年代のトレンド ソフトウェア製品からソフトウェアサービスへ マスメディアからコミュニケーションツールへ 例 : Yahoo! vs. Mixi 多人数間の、疎なソーシャルグラフ ユーザーが 1,000 万人いても、友達は 100 人とか 規模は増大したが、グラフは疎になった ↓ ( 従来よりも ) スケールアウトが容易な課題 2009 年 9 月 25 日 Scaling?
代表的な「スケールアウト」技術 RDB Sharding MapReduce / Hadoop もしくは Web クローラ等 KVS memcached, Flare, kumofs, ... Message Queue ActiveMQ, AMQP, Q4M, ... 2009 年 9 月 25 日 Scaling?
3 層構成 HTTP  サーバ 静的コンテンツのハンドリング アプリケーションサーバへの中継 アプリケーションサーバ プログラマの作業をここに集中 生産性の高さが重要 ストレージ RDBMS, memcached, MQ, ... 2009 年 9 月 25 日 Scaling?
「スケールアップ」の逆襲 規模の拡大  vs.  ムーアの法則 2009 年 9 月 25 日 Scaling?

More Related Content

What's hot (20)

OSC 2011 Tokyo/Fall 自宅SAN友の会 (Infinibandお試し編)
OSC 2011 Tokyo/Fall 自宅SAN友の会 (Infinibandお試し編)OSC 2011 Tokyo/Fall 自宅SAN友の会 (Infinibandお試し編)
OSC 2011 Tokyo/Fall 自宅SAN友の会 (Infinibandお試し編)
Satoshi Shimazaki
 
osoljp201105_ZFSjiman_nslope
osoljp201105_ZFSjiman_nslopeosoljp201105_ZFSjiman_nslope
osoljp201105_ZFSjiman_nslope
Noriyasu Sakaue
 
Next-L Enju ワークショップ #86
Next-L Enju ワークショップ #86Next-L Enju ワークショップ #86
Next-L Enju ワークショップ #86
Kosuke Tanabe
 
Chainer と Microsoft Azure 広がる応用 (Chainer Meetup #5)
Chainer と Microsoft Azure 広がる応用 (Chainer Meetup #5)Chainer と Microsoft Azure 広がる応用 (Chainer Meetup #5)
Chainer と Microsoft Azure 広がる応用 (Chainer Meetup #5)
Hirono Jumpei
 
Rubyによるお手軽分散処理
Rubyによるお手軽分散処理Rubyによるお手軽分散処理
Rubyによるお手軽分散処理
maebashi
 
Monitoring Intelligence
Monitoring IntelligenceMonitoring Intelligence
Monitoring Intelligence
netopscoding
 
CfnClusterを使って10分強でHPC環境を構築する
CfnClusterを使って10分強でHPC環境を構築するCfnClusterを使って10分強でHPC環境を構築する
CfnClusterを使って10分強でHPC環境を構築する
Daisuke Nagao
 
Net opscoding#4発表資料
Net opscoding#4発表資料Net opscoding#4発表資料
Net opscoding#4発表資料
Kenta Hattori
 
NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1
NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1
NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1
NVIDIA Japan
 
Cloud Foundry varz
Cloud Foundry varzCloud Foundry varz
Cloud Foundry varz
Uemura Yuichi
 
「Windows Azureで HPC 」 for JAZUG 2013年9月
「Windows Azureで HPC 」 for JAZUG 2013年9月「Windows Azureで HPC 」 for JAZUG 2013年9月
「Windows Azureで HPC 」 for JAZUG 2013年9月
幸智 Yukinori 黒田 Kuroda
 
AWS re:Invent2017で見た AWSの強さとは
AWS re:Invent2017で見た AWSの強さとは AWS re:Invent2017で見た AWSの強さとは
AWS re:Invent2017で見た AWSの強さとは
NTT Communications Technology Development
 
OSSで実現するハイブリッドクラウド4ノードクラスタ ~Pacemakerのチケット機能で災害対策~
OSSで実現するハイブリッドクラウド4ノードクラスタ ~Pacemakerのチケット機能で災害対策~OSSで実現するハイブリッドクラウド4ノードクラスタ ~Pacemakerのチケット機能で災害対策~
OSSで実現するハイブリッドクラウド4ノードクラスタ ~Pacemakerのチケット機能で災害対策~
tkomachi
 
CephとGluster次期バージョンでの新機能
CephとGluster次期バージョンでの新機能CephとGluster次期バージョンでの新機能
CephとGluster次期バージョンでの新機能
Emma Haruka Iwao
 
Juju/MAASで作る Kubernetes + GPU
Juju/MAASで作る Kubernetes + GPUJuju/MAASで作る Kubernetes + GPU
Juju/MAASで作る Kubernetes + GPU
VirtualTech Japan Inc.
 
請求書からみるAwsとgcpの比較
請求書からみるAwsとgcpの比較請求書からみるAwsとgcpの比較
請求書からみるAwsとgcpの比較
Shogo Suzuki
 
NVIDIA GPU 技術最新情報
NVIDIA GPU 技術最新情報NVIDIA GPU 技術最新情報
NVIDIA GPU 技術最新情報
IDC Frontier
 
NVIDIA ディープラーニング最新情報
NVIDIA ディープラーニング最新情報NVIDIA ディープラーニング最新情報
NVIDIA ディープラーニング最新情報
Hirono Jumpei
 
EC2に対するcloudwatchのアクション設定がポリシーで使えないときの代替策
EC2に対するcloudwatchのアクション設定がポリシーで使えないときの代替策EC2に対するcloudwatchのアクション設定がポリシーで使えないときの代替策
EC2に対するcloudwatchのアクション設定がポリシーで使えないときの代替策
Daisuke Nagao
 
機械学習とこれを支える並列計算: ディープラーニング・スーパーコンピューターの応用について
機械学習とこれを支える並列計算: ディープラーニング・スーパーコンピューターの応用について機械学習とこれを支える並列計算: ディープラーニング・スーパーコンピューターの応用について
機械学習とこれを支える並列計算: ディープラーニング・スーパーコンピューターの応用について
ハイシンク創研 / Laboratory of Hi-Think Corporation
 
OSC 2011 Tokyo/Fall 自宅SAN友の会 (Infinibandお試し編)
OSC 2011 Tokyo/Fall 自宅SAN友の会 (Infinibandお試し編)OSC 2011 Tokyo/Fall 自宅SAN友の会 (Infinibandお試し編)
OSC 2011 Tokyo/Fall 自宅SAN友の会 (Infinibandお試し編)
Satoshi Shimazaki
 
osoljp201105_ZFSjiman_nslope
osoljp201105_ZFSjiman_nslopeosoljp201105_ZFSjiman_nslope
osoljp201105_ZFSjiman_nslope
Noriyasu Sakaue
 
Next-L Enju ワークショップ #86
Next-L Enju ワークショップ #86Next-L Enju ワークショップ #86
Next-L Enju ワークショップ #86
Kosuke Tanabe
 
Chainer と Microsoft Azure 広がる応用 (Chainer Meetup #5)
Chainer と Microsoft Azure 広がる応用 (Chainer Meetup #5)Chainer と Microsoft Azure 広がる応用 (Chainer Meetup #5)
Chainer と Microsoft Azure 広がる応用 (Chainer Meetup #5)
Hirono Jumpei
 
Rubyによるお手軽分散処理
Rubyによるお手軽分散処理Rubyによるお手軽分散処理
Rubyによるお手軽分散処理
maebashi
 
Monitoring Intelligence
Monitoring IntelligenceMonitoring Intelligence
Monitoring Intelligence
netopscoding
 
CfnClusterを使って10分強でHPC環境を構築する
CfnClusterを使って10分強でHPC環境を構築するCfnClusterを使って10分強でHPC環境を構築する
CfnClusterを使って10分強でHPC環境を構築する
Daisuke Nagao
 
Net opscoding#4発表資料
Net opscoding#4発表資料Net opscoding#4発表資料
Net opscoding#4発表資料
Kenta Hattori
 
NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1
NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1
NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1
NVIDIA Japan
 
OSSで実現するハイブリッドクラウド4ノードクラスタ ~Pacemakerのチケット機能で災害対策~
OSSで実現するハイブリッドクラウド4ノードクラスタ ~Pacemakerのチケット機能で災害対策~OSSで実現するハイブリッドクラウド4ノードクラスタ ~Pacemakerのチケット機能で災害対策~
OSSで実現するハイブリッドクラウド4ノードクラスタ ~Pacemakerのチケット機能で災害対策~
tkomachi
 
CephとGluster次期バージョンでの新機能
CephとGluster次期バージョンでの新機能CephとGluster次期バージョンでの新機能
CephとGluster次期バージョンでの新機能
Emma Haruka Iwao
 
請求書からみるAwsとgcpの比較
請求書からみるAwsとgcpの比較請求書からみるAwsとgcpの比較
請求書からみるAwsとgcpの比較
Shogo Suzuki
 
NVIDIA GPU 技術最新情報
NVIDIA GPU 技術最新情報NVIDIA GPU 技術最新情報
NVIDIA GPU 技術最新情報
IDC Frontier
 
NVIDIA ディープラーニング最新情報
NVIDIA ディープラーニング最新情報NVIDIA ディープラーニング最新情報
NVIDIA ディープラーニング最新情報
Hirono Jumpei
 
EC2に対するcloudwatchのアクション設定がポリシーで使えないときの代替策
EC2に対するcloudwatchのアクション設定がポリシーで使えないときの代替策EC2に対するcloudwatchのアクション設定がポリシーで使えないときの代替策
EC2に対するcloudwatchのアクション設定がポリシーで使えないときの代替策
Daisuke Nagao
 
機械学習とこれを支える並列計算: ディープラーニング・スーパーコンピューターの応用について
機械学習とこれを支える並列計算: ディープラーニング・スーパーコンピューターの応用について機械学習とこれを支える並列計算: ディープラーニング・スーパーコンピューターの応用について
機械学習とこれを支える並列計算: ディープラーニング・スーパーコンピューターの応用について
ハイシンク創研 / Laboratory of Hi-Think Corporation
 

Similar to Scaling (20)

インフラ野郎AzureチームProX
インフラ野郎AzureチームProXインフラ野郎AzureチームProX
インフラ野郎AzureチームProX
Toru Makabe
 
OSC 2012 Hokkaido でのプレゼン資料
OSC 2012 Hokkaido でのプレゼン資料OSC 2012 Hokkaido でのプレゼン資料
OSC 2012 Hokkaido でのプレゼン資料
Shin-ya Koga
 
2013 1019osc-fallnetmf
2013 1019osc-fallnetmf2013 1019osc-fallnetmf
2013 1019osc-fallnetmf
Atomu Hidaka
 
IBM Cloudのデータベース
IBM CloudのデータベースIBM Cloudのデータベース
IBM Cloudのデータベース
IBM Analytics Japan
 
[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)
[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)
[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)
Insight Technology, Inc.
 
[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...
[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...
[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...
Insight Technology, Inc.
 
JAWS-UG HPC #17 - HPC on AWS @ 2019
JAWS-UG HPC #17 - HPC on AWS @ 2019JAWS-UG HPC #17 - HPC on AWS @ 2019
JAWS-UG HPC #17 - HPC on AWS @ 2019
Daisuke Miyamoto
 
20210731_OSC_Kyoto_PGStrom3.0
20210731_OSC_Kyoto_PGStrom3.020210731_OSC_Kyoto_PGStrom3.0
20210731_OSC_Kyoto_PGStrom3.0
Kohei KaiGai
 
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
griddb
 
ITpro EXPO版「データセンター視点で比較したクラウドの内側」
ITpro EXPO版「データセンター視点で比較したクラウドの内側」ITpro EXPO版「データセンター視点で比較したクラウドの内側」
ITpro EXPO版「データセンター視点で比較したクラウドの内側」
Atsushi Nakada
 
Db2 Warehouse on Cloud Flex ご紹介資料 2020年3月版
Db2 Warehouse on Cloud Flex ご紹介資料 2020年3月版Db2 Warehouse on Cloud Flex ご紹介資料 2020年3月版
Db2 Warehouse on Cloud Flex ご紹介資料 2020年3月版
IBM Analytics Japan
 
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDB
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDBDXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDB
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDB
griddb
 
Oracle Cloud Infrastructure 最新情報(Oracle Cloudウェビナーシリーズ: 2020年7月30日)
Oracle Cloud Infrastructure 最新情報(Oracle Cloudウェビナーシリーズ: 2020年7月30日)Oracle Cloud Infrastructure 最新情報(Oracle Cloudウェビナーシリーズ: 2020年7月30日)
Oracle Cloud Infrastructure 最新情報(Oracle Cloudウェビナーシリーズ: 2020年7月30日)
オラクルエンジニア通信
 
Scale flux roi&performance_acri
Scale flux roi&performance_acriScale flux roi&performance_acri
Scale flux roi&performance_acri
直久 住川
 
第26回「インメモリー・コンピューティングの現状と将来」(2013/05/23 on しすなま!)
第26回「インメモリー・コンピューティングの現状と将来」(2013/05/23 on しすなま!)第26回「インメモリー・コンピューティングの現状と将来」(2013/05/23 on しすなま!)
第26回「インメモリー・コンピューティングの現状と将来」(2013/05/23 on しすなま!)
System x 部 (生!) : しすなま! @ Lenovo Enterprise Solutions Ltd.
 
2014 1018 OSC-Fall Tokyo NETMF
2014 1018 OSC-Fall Tokyo NETMF2014 1018 OSC-Fall Tokyo NETMF
2014 1018 OSC-Fall Tokyo NETMF
Atomu Hidaka
 
Share pointを支えるsql server2014最新情報 tokyo_公開用
Share pointを支えるsql server2014最新情報 tokyo_公開用Share pointを支えるsql server2014最新情報 tokyo_公開用
Share pointを支えるsql server2014最新情報 tokyo_公開用
Yukio Kumazawa
 
第6回インターネットと運用技術シンポジウム WIPセッション
第6回インターネットと運用技術シンポジウム WIPセッション第6回インターネットと運用技術シンポジウム WIPセッション
第6回インターネットと運用技術シンポジウム WIPセッション
Hiroki Kashiwazaki
 
Gmo media.inc 第9回西日本ossの普及を考える会
Gmo media.inc 第9回西日本ossの普及を考える会Gmo media.inc 第9回西日本ossの普及を考える会
Gmo media.inc 第9回西日本ossの普及を考える会
Dai Utsui
 
45分で理解する 最近のスパコン事情 斉藤之雄
45分で理解する 最近のスパコン事情 斉藤之雄45分で理解する 最近のスパコン事情 斉藤之雄
45分で理解する 最近のスパコン事情 斉藤之雄
Yukio Saito
 
インフラ野郎AzureチームProX
インフラ野郎AzureチームProXインフラ野郎AzureチームProX
インフラ野郎AzureチームProX
Toru Makabe
 
OSC 2012 Hokkaido でのプレゼン資料
OSC 2012 Hokkaido でのプレゼン資料OSC 2012 Hokkaido でのプレゼン資料
OSC 2012 Hokkaido でのプレゼン資料
Shin-ya Koga
 
2013 1019osc-fallnetmf
2013 1019osc-fallnetmf2013 1019osc-fallnetmf
2013 1019osc-fallnetmf
Atomu Hidaka
 
[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)
[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)
[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)
Insight Technology, Inc.
 
[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...
[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...
[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...
Insight Technology, Inc.
 
JAWS-UG HPC #17 - HPC on AWS @ 2019
JAWS-UG HPC #17 - HPC on AWS @ 2019JAWS-UG HPC #17 - HPC on AWS @ 2019
JAWS-UG HPC #17 - HPC on AWS @ 2019
Daisuke Miyamoto
 
20210731_OSC_Kyoto_PGStrom3.0
20210731_OSC_Kyoto_PGStrom3.020210731_OSC_Kyoto_PGStrom3.0
20210731_OSC_Kyoto_PGStrom3.0
Kohei KaiGai
 
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
griddb
 
ITpro EXPO版「データセンター視点で比較したクラウドの内側」
ITpro EXPO版「データセンター視点で比較したクラウドの内側」ITpro EXPO版「データセンター視点で比較したクラウドの内側」
ITpro EXPO版「データセンター視点で比較したクラウドの内側」
Atsushi Nakada
 
Db2 Warehouse on Cloud Flex ご紹介資料 2020年3月版
Db2 Warehouse on Cloud Flex ご紹介資料 2020年3月版Db2 Warehouse on Cloud Flex ご紹介資料 2020年3月版
Db2 Warehouse on Cloud Flex ご紹介資料 2020年3月版
IBM Analytics Japan
 
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDB
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDBDXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDB
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDB
griddb
 
Oracle Cloud Infrastructure 最新情報(Oracle Cloudウェビナーシリーズ: 2020年7月30日)
Oracle Cloud Infrastructure 最新情報(Oracle Cloudウェビナーシリーズ: 2020年7月30日)Oracle Cloud Infrastructure 最新情報(Oracle Cloudウェビナーシリーズ: 2020年7月30日)
Oracle Cloud Infrastructure 最新情報(Oracle Cloudウェビナーシリーズ: 2020年7月30日)
オラクルエンジニア通信
 
Scale flux roi&performance_acri
Scale flux roi&performance_acriScale flux roi&performance_acri
Scale flux roi&performance_acri
直久 住川
 
2014 1018 OSC-Fall Tokyo NETMF
2014 1018 OSC-Fall Tokyo NETMF2014 1018 OSC-Fall Tokyo NETMF
2014 1018 OSC-Fall Tokyo NETMF
Atomu Hidaka
 
Share pointを支えるsql server2014最新情報 tokyo_公開用
Share pointを支えるsql server2014最新情報 tokyo_公開用Share pointを支えるsql server2014最新情報 tokyo_公開用
Share pointを支えるsql server2014最新情報 tokyo_公開用
Yukio Kumazawa
 
第6回インターネットと運用技術シンポジウム WIPセッション
第6回インターネットと運用技術シンポジウム WIPセッション第6回インターネットと運用技術シンポジウム WIPセッション
第6回インターネットと運用技術シンポジウム WIPセッション
Hiroki Kashiwazaki
 
Gmo media.inc 第9回西日本ossの普及を考える会
Gmo media.inc 第9回西日本ossの普及を考える会Gmo media.inc 第9回西日本ossの普及を考える会
Gmo media.inc 第9回西日本ossの普及を考える会
Dai Utsui
 
45分で理解する 最近のスパコン事情 斉藤之雄
45分で理解する 最近のスパコン事情 斉藤之雄45分で理解する 最近のスパコン事情 斉藤之雄
45分で理解する 最近のスパコン事情 斉藤之雄
Yukio Saito
 
Ad

More from Kazuho Oku (20)

HTTP/2で 速くなるとき ならないとき
HTTP/2で 速くなるとき ならないときHTTP/2で 速くなるとき ならないとき
HTTP/2で 速くなるとき ならないとき
Kazuho Oku
 
QUIC標準化動向 〜2017/7
QUIC標準化動向 〜2017/7QUIC標準化動向 〜2017/7
QUIC標準化動向 〜2017/7
Kazuho Oku
 
HTTP/2の課題と将来
HTTP/2の課題と将来HTTP/2の課題と将来
HTTP/2の課題と将来
Kazuho Oku
 
TLS 1.3 と 0-RTT のこわ〜い話
TLS 1.3 と 0-RTT のこわ〜い話TLS 1.3 と 0-RTT のこわ〜い話
TLS 1.3 と 0-RTT のこわ〜い話
Kazuho Oku
 
Reorganizing Website Architecture for HTTP/2 and Beyond
Reorganizing Website Architecture for HTTP/2 and BeyondReorganizing Website Architecture for HTTP/2 and Beyond
Reorganizing Website Architecture for HTTP/2 and Beyond
Kazuho Oku
 
Recent Advances in HTTP, controlling them using ruby
Recent Advances in HTTP, controlling them using rubyRecent Advances in HTTP, controlling them using ruby
Recent Advances in HTTP, controlling them using ruby
Kazuho Oku
 
Programming TCP for responsiveness
Programming TCP for responsivenessProgramming TCP for responsiveness
Programming TCP for responsiveness
Kazuho Oku
 
Programming TCP for responsiveness
Programming TCP for responsivenessProgramming TCP for responsiveness
Programming TCP for responsiveness
Kazuho Oku
 
Developing the fastest HTTP/2 server
Developing the fastest HTTP/2 serverDeveloping the fastest HTTP/2 server
Developing the fastest HTTP/2 server
Kazuho Oku
 
TLS & LURK @ IETF 95
TLS & LURK @ IETF 95TLS & LURK @ IETF 95
TLS & LURK @ IETF 95
Kazuho Oku
 
HTTPとサーバ技術の最新動向
HTTPとサーバ技術の最新動向HTTPとサーバ技術の最新動向
HTTPとサーバ技術の最新動向
Kazuho Oku
 
ウェブを速くするためにDeNAがやっていること - HTTP/2と、さらにその先
ウェブを速くするためにDeNAがやっていること - HTTP/2と、さらにその先ウェブを速くするためにDeNAがやっていること - HTTP/2と、さらにその先
ウェブを速くするためにDeNAがやっていること - HTTP/2と、さらにその先
Kazuho Oku
 
Cache aware-server-push in H2O version 1.5
Cache aware-server-push in H2O version 1.5Cache aware-server-push in H2O version 1.5
Cache aware-server-push in H2O version 1.5
Kazuho Oku
 
HTTP/2時代のウェブサイト設計
HTTP/2時代のウェブサイト設計HTTP/2時代のウェブサイト設計
HTTP/2時代のウェブサイト設計
Kazuho Oku
 
H2O - making the Web faster
H2O - making the Web fasterH2O - making the Web faster
H2O - making the Web faster
Kazuho Oku
 
H2O - making HTTP better
H2O - making HTTP betterH2O - making HTTP better
H2O - making HTTP better
Kazuho Oku
 
H2O - the optimized HTTP server
H2O - the optimized HTTP serverH2O - the optimized HTTP server
H2O - the optimized HTTP server
Kazuho Oku
 
JSON SQL Injection and the Lessons Learned
JSON SQL Injection and the Lessons LearnedJSON SQL Injection and the Lessons Learned
JSON SQL Injection and the Lessons Learned
Kazuho Oku
 
JSX 速さの秘密 - 高速なJavaScriptを書く方法
JSX 速さの秘密 - 高速なJavaScriptを書く方法JSX 速さの秘密 - 高速なJavaScriptを書く方法
JSX 速さの秘密 - 高速なJavaScriptを書く方法
Kazuho Oku
 
JSX の現在と未来 - Oct 26 2013
JSX の現在と未来 - Oct 26 2013JSX の現在と未来 - Oct 26 2013
JSX の現在と未来 - Oct 26 2013
Kazuho Oku
 
HTTP/2で 速くなるとき ならないとき
HTTP/2で 速くなるとき ならないときHTTP/2で 速くなるとき ならないとき
HTTP/2で 速くなるとき ならないとき
Kazuho Oku
 
QUIC標準化動向 〜2017/7
QUIC標準化動向 〜2017/7QUIC標準化動向 〜2017/7
QUIC標準化動向 〜2017/7
Kazuho Oku
 
HTTP/2の課題と将来
HTTP/2の課題と将来HTTP/2の課題と将来
HTTP/2の課題と将来
Kazuho Oku
 
TLS 1.3 と 0-RTT のこわ〜い話
TLS 1.3 と 0-RTT のこわ〜い話TLS 1.3 と 0-RTT のこわ〜い話
TLS 1.3 と 0-RTT のこわ〜い話
Kazuho Oku
 
Reorganizing Website Architecture for HTTP/2 and Beyond
Reorganizing Website Architecture for HTTP/2 and BeyondReorganizing Website Architecture for HTTP/2 and Beyond
Reorganizing Website Architecture for HTTP/2 and Beyond
Kazuho Oku
 
Recent Advances in HTTP, controlling them using ruby
Recent Advances in HTTP, controlling them using rubyRecent Advances in HTTP, controlling them using ruby
Recent Advances in HTTP, controlling them using ruby
Kazuho Oku
 
Programming TCP for responsiveness
Programming TCP for responsivenessProgramming TCP for responsiveness
Programming TCP for responsiveness
Kazuho Oku
 
Programming TCP for responsiveness
Programming TCP for responsivenessProgramming TCP for responsiveness
Programming TCP for responsiveness
Kazuho Oku
 
Developing the fastest HTTP/2 server
Developing the fastest HTTP/2 serverDeveloping the fastest HTTP/2 server
Developing the fastest HTTP/2 server
Kazuho Oku
 
TLS & LURK @ IETF 95
TLS & LURK @ IETF 95TLS & LURK @ IETF 95
TLS & LURK @ IETF 95
Kazuho Oku
 
HTTPとサーバ技術の最新動向
HTTPとサーバ技術の最新動向HTTPとサーバ技術の最新動向
HTTPとサーバ技術の最新動向
Kazuho Oku
 
ウェブを速くするためにDeNAがやっていること - HTTP/2と、さらにその先
ウェブを速くするためにDeNAがやっていること - HTTP/2と、さらにその先ウェブを速くするためにDeNAがやっていること - HTTP/2と、さらにその先
ウェブを速くするためにDeNAがやっていること - HTTP/2と、さらにその先
Kazuho Oku
 
Cache aware-server-push in H2O version 1.5
Cache aware-server-push in H2O version 1.5Cache aware-server-push in H2O version 1.5
Cache aware-server-push in H2O version 1.5
Kazuho Oku
 
HTTP/2時代のウェブサイト設計
HTTP/2時代のウェブサイト設計HTTP/2時代のウェブサイト設計
HTTP/2時代のウェブサイト設計
Kazuho Oku
 
H2O - making the Web faster
H2O - making the Web fasterH2O - making the Web faster
H2O - making the Web faster
Kazuho Oku
 
H2O - making HTTP better
H2O - making HTTP betterH2O - making HTTP better
H2O - making HTTP better
Kazuho Oku
 
H2O - the optimized HTTP server
H2O - the optimized HTTP serverH2O - the optimized HTTP server
H2O - the optimized HTTP server
Kazuho Oku
 
JSON SQL Injection and the Lessons Learned
JSON SQL Injection and the Lessons LearnedJSON SQL Injection and the Lessons Learned
JSON SQL Injection and the Lessons Learned
Kazuho Oku
 
JSX 速さの秘密 - 高速なJavaScriptを書く方法
JSX 速さの秘密 - 高速なJavaScriptを書く方法JSX 速さの秘密 - 高速なJavaScriptを書く方法
JSX 速さの秘密 - 高速なJavaScriptを書く方法
Kazuho Oku
 
JSX の現在と未来 - Oct 26 2013
JSX の現在と未来 - Oct 26 2013JSX の現在と未来 - Oct 26 2013
JSX の現在と未来 - Oct 26 2013
Kazuho Oku
 
Ad

Scaling

  • 1. Scaling? Cybozu Labs, Inc. Kazuho Oku
  • 2. What is Scaling? 「スケール」とはどういうことなのか 自分の過去を振り返った値をピックアップ details may vary 2009 年 9 月 25 日 Scaling?
  • 3. 演算速度 ムーアの法則 18 ヶ月〜 24 ヶ月でトランジスタの集積度は 2 倍になる Gordon E. Moore, Founder of Intel Corporation 1989 年 : 80286 @ 12MHz / 1MB 2 MIPS? 2009 年 : Core 2 Quad @ 3GHz / 4GB 60,000 MIPS? 2009 年 9 月 25 日 Scaling?
  • 4. 2010 年には 20GHz? http://pc.watch.impress.co.jp/docs/2003/1105/intel.htm 2009 年 9 月 25 日 Scaling?
  • 5. フラッシュメモリ ファンの法則 フラッシュメモリの容量は 12 ヶ月で 2 倍 黄昌圭 Samsung Electronics 社長 1998 年 : 4-8MB (MemoryStick 発売時 ) 2009 年 : 1-32GB (SD カード ) 2009 年 9 月 25 日 Scaling?
  • 6. HDD 1989 年 : 40MB 2009 年 : 500GB 2009 年 9 月 25 日 Scaling?
  • 7. インターネット回線 1999 年 : 56Kbps-128Kbps (ADSL 直前 ) 2009 年 : 1.5Mbps-100Mbps 2009 年 9 月 25 日 Scaling?
  • 8. スケールしないものもある HDD のレイテンシ ≒ 回転数 20 年で約 ½ インターネットのレイテンシ 東京〜サンフランシスコは約 8,300km 光の速度で 55msec (RTT) 2009 年 9 月 25 日 Scaling?
  • 9. 4Gbps って速いの ? 2009 年 9 月 25 日 Scaling?
  • 10. ¥ 4,350- のハブでも 12Gbps 「スイッチング・ファブリック 12Gbps 」 4Gbps なら¥ 1,450- 2009 年 9 月 25 日 Scaling?
  • 11. Perl で書いた HTTP サーバで 10Gbps Plack::Impl::Standalone::Prefork HTTP パーサ部分は C ベンチマーク条件 linux 2.8.27 (x86_64; Core 2 Quad @ 3GHz) 約 2MB の画像を HTTP GET 2009 年 9 月 25 日 Scaling?
  • 12. HDD からランダムリードなら ... HDD から平均 1KB のデータをランダムリードしているなら 0.5Gbytes/sec ÷ 1024bytes ÷ 240io-ops./sec = 約 2,000 台 2009 年 9 月 25 日 Scaling?
  • 13. 遅いのは HDD? HDD にアクセスするソフトウェア RDBMS ファイルストレージ SSD は部分的解決策 問題点は価格 他に CPU intensive な処理もある 例 : XML のパース 2009 年 9 月 25 日 Scaling?
  • 14. なぜ「スケールアウト」が流行るのか スケールアウトは 2000 年代のトレンド ソフトウェア製品からソフトウェアサービスへ マスメディアからコミュニケーションツールへ 例 : Yahoo! vs. Mixi 多人数間の、疎なソーシャルグラフ ユーザーが 1,000 万人いても、友達は 100 人とか 規模は増大したが、グラフは疎になった ↓ ( 従来よりも ) スケールアウトが容易な課題 2009 年 9 月 25 日 Scaling?
  • 15. 代表的な「スケールアウト」技術 RDB Sharding MapReduce / Hadoop もしくは Web クローラ等 KVS memcached, Flare, kumofs, ... Message Queue ActiveMQ, AMQP, Q4M, ... 2009 年 9 月 25 日 Scaling?
  • 16. 3 層構成 HTTP サーバ 静的コンテンツのハンドリング アプリケーションサーバへの中継 アプリケーションサーバ プログラマの作業をここに集中 生産性の高さが重要 ストレージ RDBMS, memcached, MQ, ... 2009 年 9 月 25 日 Scaling?
  • 17. 「スケールアップ」の逆襲 規模の拡大 vs. ムーアの法則 2009 年 9 月 25 日 Scaling?