相传，很久很久以前，黄河里有一位河神，人们叫他河伯。河伯站在黄河岸上，望着滚滚的河水由西而来，又奔腾跳跃向东流去，兴奋地说：“黄河真大呀，世上没有哪条河能和它相比。我就是最大的水神啊！”有人告诉他：“你的话不对，在黄河的东面有个地方叫北海，那才真叫大呢。”河伯说：“我不信，北海再大，能大得过黄河吗？”那人说：“别说一条黄河，就是几条黄河的水流进北海，也装不满它。”河伯固执地说：“我没见过北海，我不信。”那人无可奈何，告诉他：“有机会你去看看北海，就明白我的话了。”
　　秋天到了，连日的暴雨使大量溪水都汇集到黄河里，黄河的水面顿时阔大起来，隔河望去，连对岸的牛马都分辨不出来了，十分壮观。这一下，河伯更得意了，以为天下最壮观的景色都在自己这里。他在自得之余，想起了有人跟他提起的北海，于是决定去那里看看。
　　河伯顺流东下，到了北海。河伯向东望去，见海水茫茫无际，大惊失色，不禁“望洋向若而叹”（若，海神）：“俗话说：‘道理懂得多一点的人，便以为自己比谁都强。’说的就是我啊！我如果不到你这里来看一看，那就糟糕了，我将永远被那些有学问、有见识的人讥笑。”
　　后来，人们就用“望洋兴叹”来比喻自己能力不够而感到惭愧甚至无可奈何。