Buenas noches.\nEntiendo que la diferencia en los leaderboards obedece al split 30/70 de los resultados enviados.\nPero me interesaría saber cual es la clave a tener en cuenta para próximas competencias dado que pase del puesto 17 al 150+ :P
\n\nIntuyo que tiene que ver conque al usar un 30% de los resultados la mayoría de los casos no eran conversiones y por lo tanto caían dentro del campo de los True Negative. Al usar la muestra del 70% restante los True Positive tuvieron mas impacto y fue ahí donde mi modelo no ha sido efectivo.\nAl final los CV scores eran correctos, dado que estaban un par de puntos por debajo de lo que decía el leaderboard.
\n\nAlgún consejo?
", "messages": [ { "id": "627424", "postDate": "09/16/2019 00:29:09", "content": "Buenas noches.\nEntiendo que la diferencia en los leaderboards obedece al split 30/70 de los resultados enviados.\nPero me interesaría saber cual es la clave a tener en cuenta para próximas competencias dado que pase del puesto 17 al 150+ :P
\n\nIntuyo que tiene que ver conque al usar un 30% de los resultados la mayoría de los casos no eran conversiones y por lo tanto caían dentro del campo de los True Negative. Al usar la muestra del 70% restante los True Positive tuvieron mas impacto y fue ahí donde mi modelo no ha sido efectivo.\nAl final los CV scores eran correctos, dado que estaban un par de puntos por debajo de lo que decía el leaderboard.
\n\nAlgún consejo?
", "rawMarkdown": "Buenas noches.\nEntiendo que la diferencia en los leaderboards obedece al split 30/70 de los resultados enviados.\nPero me interesaría saber cual es la clave a tener en cuenta para próximas competencias dado que pase del puesto 17 al 150+ :P\n\nIntuyo que tiene que ver conque al usar un 30% de los resultados la mayoría de los casos no eran conversiones y por lo tanto caían dentro del campo de los True Negative. Al usar la muestra del 70% restante los True Positive tuvieron mas impacto y fue ahí donde mi modelo no ha sido efectivo.\nAl final los CV scores eran correctos, dado que estaban un par de puntos por debajo de lo que decía el leaderboard.\n\nAlgún consejo?", "votes": null }, { "id": "627433", "postDate": "09/16/2019 00:56:04", "content": "En el caso particular de esta competencia, los 1 eran poquisimos, estimo que cerca de los 400. Por eso diminutos cambios en la semilla, parametros o variables, hacia que el auc varie bastante. Por eso creo que ensamblar varios modelos, parametros muy conservadores, como por ejemplo arboles de amplitudes cortas, han podido lidiar con eso. De hecho que mi envio final fue un ensamblado que saco resultados algo similares en publica y privada.
\n\nSiempre confia en los resultados de tu validacion cruzada, contradictoriamente es algo que no lo hise muy bien en esta competencia, tenia un envio con unas resultados en validacion cruzada de 88 auc, pero debido a su baja posicion y score en la tabla publica (84 auc), lo descarte como envio final. Si lo hubiese elegido, hubiese sacado 85.6 en la tabla privada y hubiese ganado la competencia. Pero bueno, es parte de la competencia, saber identificar tus resultados mas generalizables.
", "rawMarkdown": "En el caso particular de esta competencia, los 1 eran poquisimos, estimo que cerca de los 400. Por eso diminutos cambios en la semilla, parametros o variables, hacia que el auc varie bastante. Por eso creo que ensamblar varios modelos, parametros muy conservadores, como por ejemplo arboles de amplitudes cortas, han podido lidiar con eso. De hecho que mi envio final fue un ensamblado que saco resultados algo similares en publica y privada.\n\nSiempre confia en los resultados de tu validacion cruzada, contradictoriamente es algo que no lo hise muy bien en esta competencia, tenia un envio con unas resultados en validacion cruzada de 88 auc, pero debido a su baja posicion y score en la tabla publica (84 auc), lo descarte como envio final. Si lo hubiese elegido, hubiese sacado 85.6 en la tabla privada y hubiese ganado la competencia. Pero bueno, es parte de la competencia, saber identificar tus resultados mas generalizables.", "votes": null }, { "id": "627799", "postDate": "09/16/2019 11:53:38", "content": "Hola! Si a mi me pasó lo mismo, pero creo que es por la poca cantidad de conversiones. Debería haber dejado modelos que sabía que eran más generalizadores pero que daban mucho menos AUC en el 30% que se usa para publicar. Bueno al fin y al cabo fue mi primera competencia y aprendí un montón! Va a haber algún encuentro para compartir que se hizo, y entender en qué cosas puedo mejorar?
", "rawMarkdown": "Hola! Si a mi me pasó lo mismo, pero creo que es por la poca cantidad de conversiones. Debería haber dejado modelos que sabía que eran más generalizadores pero que daban mucho menos AUC en el 30% que se usa para publicar. Bueno al fin y al cabo fue mi primera competencia y aprendí un montón! Va a haber algún encuentro para compartir que se hizo, y entender en qué cosas puedo mejorar?", "votes": null }, { "id": "627981", "postDate": "09/16/2019 16:54:44", "content": "Hola! Yo cometí el error de guiar mi juicio por los valores de referencia que tenia en el tablero publico. Y eso introduce un sesgo oculto. Por que con el diario del lunes, tengo mejores resultados que los usados en la tabla pública.\nMás alla del resultado, aprendí un monton y creo que esta es solo mi primer competencia.
", "rawMarkdown": "Hola! Yo cometí el error de guiar mi juicio por los valores de referencia que tenia en el tablero publico. Y eso introduce un sesgo oculto. Por que con el diario del lunes, tengo mejores resultados que los usados en la tabla pública.\nMás alla del resultado, aprendí un monton y creo que esta es solo mi primer competencia.", "votes": null } ], "comments": [ { "id": 627433, "author_name": "icfstat", "author_url": "", "post_date": "09/16/2019 00:56:04", "content": "En el caso particular de esta competencia, los 1 eran poquisimos, estimo que cerca de los 400. Por eso diminutos cambios en la semilla, parametros o variables, hacia que el auc varie bastante. Por eso creo que ensamblar varios modelos, parametros muy conservadores, como por ejemplo arboles de amplitudes cortas, han podido lidiar con eso. De hecho que mi envio final fue un ensamblado que saco resultados algo similares en publica y privada.
\n\nSiempre confia en los resultados de tu validacion cruzada, contradictoriamente es algo que no lo hise muy bien en esta competencia, tenia un envio con unas resultados en validacion cruzada de 88 auc, pero debido a su baja posicion y score en la tabla publica (84 auc), lo descarte como envio final. Si lo hubiese elegido, hubiese sacado 85.6 en la tabla privada y hubiese ganado la competencia. Pero bueno, es parte de la competencia, saber identificar tus resultados mas generalizables.
", "votes": null, "replies": [] }, { "id": 627799, "author_name": "xlisouski2", "author_url": "", "post_date": "09/16/2019 11:53:38", "content": "Hola! Si a mi me pasó lo mismo, pero creo que es por la poca cantidad de conversiones. Debería haber dejado modelos que sabía que eran más generalizadores pero que daban mucho menos AUC en el 30% que se usa para publicar. Bueno al fin y al cabo fue mi primera competencia y aprendí un montón! Va a haber algún encuentro para compartir que se hizo, y entender en qué cosas puedo mejorar?
", "votes": null, "replies": [] }, { "id": 627981, "author_name": "lucille", "author_url": "", "post_date": "09/16/2019 16:54:44", "content": "Hola! Yo cometí el error de guiar mi juicio por los valores de referencia que tenia en el tablero publico. Y eso introduce un sesgo oculto. Por que con el diario del lunes, tengo mejores resultados que los usados en la tabla pública.\nMás alla del resultado, aprendí un monton y creo que esta es solo mi primer competencia.
", "votes": null, "replies": [] } ], "raw_markdown_by_id": { "627424": "Buenas noches.\nEntiendo que la diferencia en los leaderboards obedece al split 30/70 de los resultados enviados.\nPero me interesaría saber cual es la clave a tener en cuenta para próximas competencias dado que pase del puesto 17 al 150+ :P\n\nIntuyo que tiene que ver conque al usar un 30% de los resultados la mayoría de los casos no eran conversiones y por lo tanto caían dentro del campo de los True Negative. Al usar la muestra del 70% restante los True Positive tuvieron mas impacto y fue ahí donde mi modelo no ha sido efectivo.\nAl final los CV scores eran correctos, dado que estaban un par de puntos por debajo de lo que decía el leaderboard.\n\nAlgún consejo?", "627433": "En el caso particular de esta competencia, los 1 eran poquisimos, estimo que cerca de los 400. Por eso diminutos cambios en la semilla, parametros o variables, hacia que el auc varie bastante. Por eso creo que ensamblar varios modelos, parametros muy conservadores, como por ejemplo arboles de amplitudes cortas, han podido lidiar con eso. De hecho que mi envio final fue un ensamblado que saco resultados algo similares en publica y privada.\n\nSiempre confia en los resultados de tu validacion cruzada, contradictoriamente es algo que no lo hise muy bien en esta competencia, tenia un envio con unas resultados en validacion cruzada de 88 auc, pero debido a su baja posicion y score en la tabla publica (84 auc), lo descarte como envio final. Si lo hubiese elegido, hubiese sacado 85.6 en la tabla privada y hubiese ganado la competencia. Pero bueno, es parte de la competencia, saber identificar tus resultados mas generalizables.", "627799": "Hola! Si a mi me pasó lo mismo, pero creo que es por la poca cantidad de conversiones. Debería haber dejado modelos que sabía que eran más generalizadores pero que daban mucho menos AUC en el 30% que se usa para publicar. Bueno al fin y al cabo fue mi primera competencia y aprendí un montón! Va a haber algún encuentro para compartir que se hizo, y entender en qué cosas puedo mejorar?", "627981": "Hola! Yo cometí el error de guiar mi juicio por los valores de referencia que tenia en el tablero publico. Y eso introduce un sesgo oculto. Por que con el diario del lunes, tengo mejores resultados que los usados en la tabla pública.\nMás alla del resultado, aprendí un monton y creo que esta es solo mi primer competencia." }, "source": "meta" }