メモリ4.3T確保は無理。畳み込んでも15G?5年か10年先かなあ。

考えてたアルゴリズム。
素直に実装すると、メモリの量がとんでもないことになる。
ディスクにスワップされたらいつ終わるかわかんないと思うので、
配列で確保したいメモリ量がフルスペックでテラ単位に。

畳み込んでもギガ。

こりゃ根本的に現実的な解決策を・・・と思うんだけど、

普通のシステムになってしまう。

減らす方法がないでもない。
が、どう減らすかをアルゴリズム組んで自動化しないといかん。

というわけで考えるのでありました。

どんなんにするのが「面白いのか」という感じで考えてるのでいかんね。

12 comments

  1. シバ says:

    https://cloud.watch.impress.co.jp/docs/news/1101779.html
    現実として手が出せるのはコレかな。

    VM用途だから、インターフェイス兼表面演算に安いブレードも一台。
    電源とラック諸々で200万くらいかな?

    CPUのEPYCは現状では万能で最良の部類だけど、
    あさんの用途推測するにRadeon Instinctって
    ディープラーニング演算に向いたヤツを待ちたいところだね。

    https://cloud.watch.impress.co.jp/docs/special/1133756.html

    とりあえず100万くらい出資すればいい?

  2. シバ says:

    マツへ

    SSD最高速(WD Black NVMe)でシーケンシャル3.4GB/秒

    上記のサーバなどの安全なDDR4/2666でランダム21.3GB/秒

    実行的にはSSDはCPUの演算に使うとなると、
    NVMe経由としてもランダムの実行は1GB/秒出れば凄い早い

    ランダム1GB/秒以下となるとDDRイチの200より下、
    ペンⅡ時代のSDRAM程度。

    なおかつレイテンシは二桁違っちゃう。

    演算に利用する場合は
    おおよそDDR4メモリで一般的SSDの数百倍、
    最高速SSDとNVMeで30〜100倍程度違うと思っていい。

    レイテンシを考えると、
    今のCPUだとデータ来なくて待ちぼうけしてる
    アイドルタイムのが長くなる。

  3. あさ says:

    さくらの高火力を借りるのが早いかなと、思ったり。

    でも、カネがかかるんだなぁ。

    賢いプログラム考えなきゃ。

  4. あさ says:

    スタート時は密な行列が、刈り込まれていくのを考えるんだけど、
    どういう方法とるかで、さらにメモリ食いのCPU回さないといけないという悪循環に。

    で、メモリのボトルネック超えられれば、ラズパイのクラスタで・・・。
    とも思ったんだけど、甘くないんだな。全く。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

CAPTCHA