正規表現ベースの字句解析器を書くときは、narcissusというJSベースのJS処理系のコードを見るといいです

http://mxr.mozilla.org/mozilla/source/js/narcissus/jsparse.js

面倒な正規表現の模範解答が載ってます。下手に自分で考えて誤爆するより、一流の人が書いたものを使いましょう

• 正規表現リテラル /^\/((?:\\.|[^\/])+)\/([gimy]*)/
• 文字列（ダブルクォート、シングルクォート共）/^"(?:\\.|[^"])*"|^'(?:[^']|\\.)*'/ → 訂正
• Cスタイルコメント（一行、ブロック共） /^\/(?:\*(?:.|\n)*?\*\/|\/.*)/

↓narcissusについてはyukobaさんのプレゼンを(去年のShibuya.es)

http://accelart.jp/shibuyajs/Narcissus.ppt