私の場合、1台のパソコンを数年（現在使用中のものは6、7年）使うことを前提に考えます。
そのためCPUとメモリを、まず重視します。他に処理速度に関連するもので、チップセットであるとか、グラフィック性能などもありますが、これらは後回しにします。
CPUはメインの処理を行うところですから、なるべくランクが上の周波数の高いものを選びます。
たとえば、Intelであれば、CeleronよりPentiumを選ぶという感じです。メーカーものですと、それなりの技術がなければ、CPUの交換はできませんし、保証期間中にこれをやると保証対象外になります。
ですから、CPUは予算の許す限り、性能の高いものを選びます。個人的には、デュアルコアのものがいいなあと思っています。
デュアルコアとは、1つのCPUの中に2つのCPUが入っているもの、と思ってください。PentiumD、CoreDuo、Athlon64×2などが、これにあたります。どのていど処理速度が違ってくるかは、CPUだけの話ではないので一概に何倍とは言えませんが、Pentium4とPentiumDでおなじ周波数（クロック周波数といいます）であれば、PentiumDのほうが確実に速いです。
そのかわり値段が大部違ってきます。ノートパソコンでいえば、ほぼおなじ約1．6GHｚのCeleronMのものと、CoreDuoのものとでは数万円以上違ってきます。（ノートパソコンのカテゴリーにのせてあるものを比べてみてください）
次にメモリですが、これは最低でも512MBはほしいところです。そして、最大メモリ容量は、1GB以上増設（できれば2GB）できるものがオススメです。
なぜかといえば、WindowsやOfficeなどをバージョンアップしていくと、どんどん高いCPU性能、多いメモリ容量を求められるようになるからです。
ただ動けばいいと思っていても、パソコンの起動に数分、下手をすると10分以上かかったり、WordやExcelのファイルがなかなか開かないような状態になると、せっかく買ったパソコンを使う気にならなくなります。
それでは、新機種はいくらでも出てきますし、新しいパソコンを買うしかないのかといえば、もともと安い買い物ではありませんから、なかなか手が出ません。
そのために、最初からできるだけ性能のよいCPUのパソコンを買っておけば、メモリを増設するだけで、速度はかなり違ってきます。2GBまでメモリを増設できれば、だいぶ長く1台のパソコンを使っていくことができます。
ただ、メモリにもいろいろな規格があり、古い機種になると、そのパソコンに使えるメモリを見つけることが大変になります。しかし、古い規格のメモリでも、増設してみようと思われたとき、いろいろネットで調べると、見つかるときがあります。オークションでも結構見つかります。
これはあくまでも私の主観ですが、安いパソコンをどんどん買い換えていくより、最初にきついかもしれませんが、性能のよいものを買っておいて、メモリ増設、大容量HD交換などで対応していくほうが、金額は安くあがると思います。パソコンにも愛着がでてきますし。（私だけですか）
改造ができる技術をもたれている方には、この考え方は当てはまりませんが。
あとグラフィック性能ですが、グラフィック用のチップなどによるところが大きい面はありますが、普通なかなかわかりません。ですから、ビデオメモリ、ビデオRAM、VRAMなどいろいろ呼び方はありますが、これらのメモリ容量の大きいものがよいと思います。私のパソコンは自作キットなので、64MBのものから128MBのものにかえたら、アイコンの表示や動画の表示がだいぶ速くなりました。（グラフィック用チップなどの差も当然ありますが）
以上のことは、あくまでも私の主観であり、皆さんにこの考え方を押し付ける気はありませんが、何かの参考になればうれしいです。