逆引きUNIXコマンド/grepでタブを検索する方法 - Linuxと過ごす より、 $'\t' を指定してやればよい。

$ grep $'column1\tcolumn2'

クォート
       クォート (quoting) を使うと、特定の文字や単語のシェルに対する特別な意味を取り除けます。クォー
       ト を用いると、特殊文字の特殊な扱いを無効にすることや、予約語が予約語として識別されることを防
       いだり、パラメータの展開を防げます。
<snip>
        $’string’ の形式を持つ単語は特殊な扱いを受けます。この単語は string に展開され、それから ANSI
       C 標準で仕様が決められている、バックスラッシュでエスケープされている文字に置き換えられます 。
       バックスラッシュエスケープシーケンスは、 (もし存在すれば) 以下のようにデコードされます:
              \a     警告 (ベル)
              \b     バックスペース
              \e     エスケープ文字
              \f     フォームフィード文字
              \n     改行文字
              \r     復帰文字
              \t     水平タブ文字
<snip>