OpenGL ES 2.0/3.0 中的折射。 大像素纹理

Question

尝试在 OpenGL ES 2.0/3.0 中实现折射。 使用了以下着色器：

顶点着色器：

#version 300 es
precision lowp float; 
uniform mat4 u_mvMatrix;

in vec4 a_position;  
in vec3 a_normal;
...
out mediump vec2 v_refractCoord;

const mediump float eta = 0.95;

void main() {
    vec4 eyePositionModel = u_mvMatrix * a_position;

    // eye direction in model space
    mediump vec3 eyeDirectModel = normalize(a_position.xyz - eyePositionModel.xyz);

    // calculate refraction direction in model space
    mediump vec3 refractDirect = refract(eyeDirectModel, a_normal, eta);

    // project refraction
    refractDirect = (u_mvpMatrix * vec4(refractDirect, 0.0)).xyw;

    // map refraction direction to 2d coordinates
    v_refractCoord = 0.5 * (refractDirect.xy / refractDirect.z) + 0.5;
    ...
}

片段着色器：

...
in mediump vec2 v_refractCoord;
uniform samplerCube s_texture; // skybox

void main() {
    outColor = texture(s_texture, vec3(v_refractCoord, 1.0));
}

加载纹理的方法：

@JvmStatic
fun createTextureCubemap(context: Context, rowID: Int) {
    val input = context.resources.openRawResource(rowID)
    val bitmap = BitmapFactory.decodeStream(input)

    val textureId = IntArray(1)
    glGenTextures(1, textureId, 0)
    glBindTexture(GL_TEXTURE_CUBE_MAP, textureId[0])

    GLUtils.texImage2D(GL_TEXTURE_CUBE_MAP_POSITIVE_X, 0, bitmap, 0)
    GLUtils.texImage2D(GL_TEXTURE_CUBE_MAP_NEGATIVE_X, 0, bitmap, 0)
    GLUtils.texImage2D(GL_TEXTURE_CUBE_MAP_POSITIVE_Y, 0, bitmap, 0)
    GLUtils.texImage2D(GL_TEXTURE_CUBE_MAP_NEGATIVE_Y, 0, bitmap, 0)
    GLUtils.texImage2D(GL_TEXTURE_CUBE_MAP_POSITIVE_Z, 0, bitmap, 0)
    GLUtils.texImage2D(GL_TEXTURE_CUBE_MAP_NEGATIVE_Z, 0, bitmap, 0)

    glTexParameteri(GL_TEXTURE_CUBE_MAP, GL_TEXTURE_MIN_FILTER, GL_NEAREST)
    glTexParameteri(GL_TEXTURE_CUBE_MAP, GL_TEXTURE_MAG_FILTER, GL_NEAREST)
    return textureId[0]
}

但是纹理是通过大像素获得的，例如：

这可能是什么原因？ 也许这对于低聚 model 来说是正常的？ 似乎纹理太接近了。

注意：多边形越少 - 质量就越低。

提前感谢您的任何评论/回答！

图片来自 goodfon.ru

解决方案：在@Rabbid76 的建议下，我更改了正常数据。 事实证明，在 Blender 中，您需要将 object 的 Shading 设置为平滑（不平坦） - 这会在导出为 *.obj 格式时增加法线数量： Why OBJ export writes face normals instead of vertex normals

另外，在@Rabbid76 的建议下，我改变了这一行：

vec3 eyeDirectModel = normalize(- eyePositionModel.xyz);

结果，像素化消失了：

此外，在顶点着色器中计算折射时也可能出现像素伪影，因此我将计算转移到片段着色器中。 这是修改后的着色器代码：

顶点着色器：

#version 300 es
precision lowp float;
uniform mat4 u_mvpMatrix;
uniform mat4 u_mvMatrix;

in vec4 a_position; 
in vec3 a_normal;

out vec3 v_normal;
out lowp float SpecularIntensity;

out vec3 v_eyeDirectModel;

float getSpecularIntensity(vec4 position, vec3 a_normal, vec3 eyeDirectModel) {
    float shininess = 30.0;
    vec3 lightPosition = vec3(-20.0, 0.0, 0.0);
    mediump vec3 LightDirModel = normalize(lightPosition - position.xyz);
    mediump vec3 halfVector = normalize(LightDirModel + eyeDirectModel);
    lowp float NdotH = max(dot(a_normal, halfVector), 0.0);
    return pow(NdotH, shininess);
}

void main() {
    v_normal = a_normal;
    vec4 eyePositionModel = u_mvMatrix * a_position;
    // Eye direction in model space
    vec3 eyeDirectModel = normalize(- eyePositionModel.xyz);
    // specular lighting
    SpecularIntensity = getSpecularIntensity(a_position, a_normal, eyeDirectModel);
    v_eyeDirectModel = eyeDirectModel;
    gl_Position = u_mvpMatrix * a_position;
}

片段着色器：

#version 300 es
precision lowp float;
uniform mat4 u_mvpMatrix;

in vec3 v_normal;
in lowp float SpecularIntensity;
in vec3 v_eyeDirectModel;

out vec4 outColor; 
uniform samplerCube s_texture; // skybox

const float eta = 0.65;
void main() {
    // Calculate refraction direction in model space
    vec3 refractDirect = refract(v_eyeDirectModel, normalize(v_normal), eta);
    // Project refraction
    refractDirect = (u_mvpMatrix * vec4(refractDirect, 0.0)).xyw;
    // Map refraction direction to 2d coordinates
    vec2 refractCoord = 0.5 * (refractDirect.xy / refractDirect.z) + 0.5;

    vec4 glassColor = texture(s_texture, vec3(refractCoord, 1.0));
    outColor = glassColor + SpecularIntensity;
    outColor.a = 0.8; // transparent
}

Answer 1

首先，着色器代码中有一个错误。 a_position.xyz - eyePositionModel.xyz没有任何意义，因为a_position是 model 空间中的顶点坐标，而eyePositionModel是视图空间中的顶点坐标。
您必须计算视图空间中refract的入射矢量。 那是从眼睛 position 到顶点的向量。 由于视空间中的眼睛 position 为 (0, 0, 0)，因此为：

vec4 eyePositionView = u_mvMatrix * a_position;

// eye direction in model space
mediump vec3 eyeDirectView = normalize(- eyePositionView.xyz);

---

此外，它是法线向量属性的问题。 问题是由于法向量是按面计算的，而不是针对每个顶点单独计算的。
请注意，折射方向 ( refractDirect ) 取决于顶点坐标 ( eyeDirectModel ) 和法线向量 ( a_normal )：

mediump vec3 refractDirect = refract(eyeDirectModel, a_normal, eta);

由于相邻曲面之间的法线向量不同，您可以在网格面之间看到明显的边缘。

如果每个顶点计算法向量，则相邻面共享顶点坐标和相应的法向量。 这将导致从面对面的平稳过渡。