[対象: 全員]
robots.txtのファイルサイズは500KB以内に収めるべきで、それ以降の行は省略されてしまい望んだように読み取ってもらえなくなるかもしれない。
上のように、GoogleのJohn Mueller(ジョン・ミューラー)氏がGoogle+で投稿を共有しました。
「500KBを超えるテキストファイルってどんなだ？」を疑問に思わざるを得ませんが（ちなみに僕のは4KB）、きわめて稀ではあるけれど実際に存在するそうです。
robots.txtを自動生成するCMSがあることをミューラー氏は例に挙げています。
あるいは超巨大なサイトで、ワイルドカードを使わずに1つ1つのURLを記述していったらそうなってしまうことがひょっとしたらありそうです。
特別心配するほどでもない情報ですが豆知識ということで紹介しました。