a w jakim folderze odpalasz te polecenia?
No w folderze aplikacji
Gemfile jest zakładany w momencie tworzenia nowej aplikacji dla Rails 3, więc musi być jeśli go nie skasowałeś
a "sudo gem install rails "
Też mi to na trolling wygląda. 
W każdym razem, jak instalowałem RoR na swoim Maku, to poszło całkiem gładko z tym poradnikiem: http://eddorre.com/posts/rails-ultimate-install-guide-on-os-x-snow-leopard-using-rvm-homebrew-and-passenger