Ну, классика – стиль против скорости! Во-первых, убедись, что детектор краев работает за один проход – двухпроходный Canny слишком тяжёлый для реального времени. Бери простой Sobel-фильтр, потом пороговую обработку, чтобы получить чёткие контуры. Во-вторых, забудь про выборку перекрёстной решётки по каждому пикселю – лучше заранее отрисуй текстуру решётки в низком разрешении и используй текстурный просмотр вместо циклов линий. В-третьих, перенеси всю тяжёлую математику в вершинный шейдер – вычисли нормали в мировом пространстве и скалярное произведение с источниками света один раз, а потом интерполируй. И, наконец, если всё равно не получается, подумай о проходе с низким разрешением, который будет обновляться только при движении камеры, а между обновлениями пусть фронтальный буфер показывает кадр в полном разрешении. Контуры делай резкими, а решётку – ленивой – это и есть баланс между красотой и производительностью.