Testende Spieler / Spieler-Test

[Mitsune]

Ja definitiv- direkt nach dem Einspielen des "Brett vor dem Kopf."
Wozu das gut sein soll erschliesst sich mir eh nicht. An wem dieser Hinweis auf der Startseite vorbeigeht, den erreicht das so auch nicht? Oder zu dem Preis nicht -Minderbemittelte zu penetrieren. Ich finde es furchtbar!

Aber den Fehler hatte es schonmal, genau den. Vielleicht weiss jemand noch woran es gelegen hat.

Was mir auch noch aufgefallen ist. Wenn man einen geparkten Char aus der Arena holt und dann wieder abstellt, taucht er nicht mehr als Anwesend auf. Das scheint ähnlichen Ursprunges zu sein. Man ist einfach nicht mehr da. Mit dem simple skin hab ich es nicht mehr überprüft, weil ich mich einfach zu sehr ärger.

Mal grundsätzlich gefragt: Wäre es möglich und zumutbar vor Änderungen am liveserver zu überprüfen, ob man gerade im Begriff ist irgendwas Relevantes zu erschiessen?
lg

[zolthan]

Jetzt komm mal wieder runter. Das ist dafür doch noch eine Entwicklungsversion!

Natürlich werden die Änderungen vorher überprüft. Aber soll ich das Spiel von vorne bis hinten durchspielen, bevor ich etwas hochlade, was eigentlich gar keine Auswirkungen auf den Chat haben sollte? Es wird momentan aus irgendeinem Grund die Session nicht korrekt gesetzt. Wir versuchen gerade den Fehler zu ergründen.

[Tommek]

Genau dafür ist die Testversion da!

Wir entwickeln in zügiger Abfolge und stellen es nach einem KURZEM Test bereit. Dann sollen die Alpha-Tester - und das ist jeder Spieler - das auf eventuell andere Sachen prüfen.
Programmierzeit ist nicht unendlich vorhanden.

[Askaian]

Jeo kann mich dem auch nur anschließen. Auch wenn ich hier für die Bugs nicht verantwortlich bin. Aus eigener Arbeit kann ich sagen, dass viele Bugs erst nach intensivem Testen auffallen. Und dazu macht man alpha und beta Versionen. Das Rechenspiel ist einfach:

Wenn man ca: 100 Stunden benötigte um über einen nicht vorhersehbaren Bug zu stolpern, kann entweder der Programierer 100 Stunden nichts machen um sicher zu gehen, dass der Bug niemanden belästigt, oder er vertraut darauf, dass früher oder später ein Spieler drüber stolpert. Weil Spieler nicht gezielt testen dauert das Pro person zwar länger, aber Spieler gibt es ja viel mehr.

Von demher sind Spieler in Entwicklungsversionen immer auch Versuchskaninchen. Auch wenn man sie das nicht spüren lässt.

PS: Irgendwann stand einmal in einer Testversion, die NASA würde bei ihrem Tests neuer Software immer noch 4 Fehler auf 10.000 Zeilen Code finden. Also auch dort ist das Prinzip üblich.

[Mitsune]

Vielleicht war es undiplomatisch formuliert.
Aber wenn ich mich nicht irre, dann gibt es eine Art Testumgebung? Ich würde mich gerne dazu bereit erklären, entsprechend auszuprobieren ob grobe Käfer drin sind. Vermutlich würden sich da noch andere Spieler anschliessen.
Letzlich wäre es doch für alle Beteiligten besser, wenn man möglichst wenig bugs auf den Liveserver spielt, oder ist das jemand anderer Meinung?
Das hat mit runterkommen rein gar nichts zu tun. Das man alle Fehler im voraus eliminieren kann, behaupte ich ja nicht, aber dass z.B. Tavernen- und Ordenschats von einer Änderung betroffen sind, wäre - denke ich - bei so einem kurzen Testlauf vermutlich aufgefallen.
Das Programmierzeit rar ist, ist ja keine Frage. Wäre doch insofern keine schlechte Idee ein paar Leute für einen "Vortest" zu gewinnen, bevor das update auf den Liveserver geht?
Bevor ich jetzt runterkomme , frage ich nochmal: Wäre es möglich und zumutbar vor Änderungen am Liveserver zu überprüfen, ob man gerade im Begriff ist irgendwas Relevantes zu erschiessen? Ich wäre gerne bereit, relevante Spielfunktionen selbst mit auszuprobieren.

[Coen]

Tust du doch. Du spielst in der Alphaversion des Spiels. Das ist die Testversion die du haben willst.

Edit:
Die Testumgebungen die ich kenne, haben mit dem eigentlichen Programm eher weniger zu tun und verlangen zumindest fortgeschrittene Kenntnisse in der jeweiligen Programmiersprache. Und außerdem hat man so an Einblicke in Spielfunktionen, die den normalen Spieler eigentlich nichts angehen. Wie gesagt, bei den Testumgebungen die ich kenne.

[Tommek]

So eine gesonderte Testumgebung für ausgewählte Spieler wird es in einer zukünftigen Version des Spiels geben.
Derzeit ist alles Testumgebung, das liegt mit daran, dass es noch zu häufigen Datenbankänderungen kommt, die man ungern ständig mehrfach abgleichen muss.

[janb]

Wäre es möglich und zumutbar vor Änderungen am Liveserver zu überprüfen, ob man gerade im Begriff ist irgendwas Relevantes zu erschiessen? Ich wäre gerne bereit, relevante Spielfunktionen selbst mit auszuprobieren.

Hi ,

Es häufig etwas schwierig voraus zu sehen wo Nebenwirkungen auftreten.Jeder von uns testet natürlich in seiner lokalen Testumgebung.
Definierte Testfälle, also zum Beispiel, wenn du eine neue AOQML-Funktion geschrieben oder das css geändert hast, dann:
1) Teste den Markt
2) Teste die Gaststätten
3) Teste ob man noch alle Berufe annehmen kann.
....
gibt es nicht. Das wäre auch ein so hoher Aufwand das die Weiterentwicklung des Spiels und auch das Beheben von anderen Bugs daran scheitern würde.
Natürlich möchte sich keiner von uns sich mit Bugs herum ärgern und ich sehe die Spieler nicht in erster Linie als Bugtester, aber wenn schwer vorhersehbare Fehler, wie der in diesem Fall aufgetretene, vorkommen, dann ist das wohl der Preis den wir dafür zahlen ein Spiel in einer Alphaversion zu spielen das sich weiter entwickelt.

Das ist natürlich ärgerlich ....

Aber schwer zu vermeiden.

Schöne Grüße,
der Jan

[Mitsune]

Aber schwer zu vermeiden.

Darauf zielte meine Frage eigentlich auch ab. Dieses

"Teste Markplatz,
Teste Tavernen,
Teste Arena"

also die wichtigsten Funktionen, könnte man auch deligieren. Wie gesagt würde ich mich da mithelfen, wenn es gewünscht ist. Irgendwann(tm) scheint das ja laut Tommek auch der Fall zu sein.
lg Mai

[janb]

Darauf zielte meine Frage eigentlich auch ab. Dieses

"Teste Markplatz,
Teste Tavernen,
Teste Arena"

also die wichtigsten Funktionen, könnte man auch deligieren. Wie gesagt würde ich mich da mithelfen, wenn es gewünscht ist. Irgendwann(tm) scheint das ja laut Tommek auch der Fall zu sein.

Hmm .... naja du musst bedenken das die Anzahl solcher Tests leicht in die Hunderte gehen kann.
Da es uns schwer fallen wird sie zu automatisieren, müssten sich tatsächlich Menschen finden die das durch testen.
Man müsste dann im Prinzip in jeder Revision die neu auf dem Server deployed wird alle Tests durchgehen.
Bei der momentanen Schlagzahl von 1-3 Revisionen pro Tag, würde das bedeuten, pro Tag ~3-4 Stunden allein fürs testen investiert werden müssten.
Es wird schwer sein jemanden zu finden, der regelmäßig so viel Zeit investiert.

Trotzdem ist die Anregung natürlich nicht falsch .
Wenn du Ideen dazu hast wie man das verbessern könnte, sollten wir das dann aber gesammelt in einem eigenen Thread diskutieren. (vielleicht unter Spielentwicklung) ???

Schöne Grüße

der Jan

[proser]

Für so etwas kämen eventuell automatisierte Tests in Frage. Solche einzurichten (kA, ob und inwieweit das überhaupt mit PHP funktioniert) würde freilich wieder Aufwand bedeuten.

[zolthan]

Es ist eine Sache, automatisierte PHP-Tests einzuführen (mittels PHPUnit) oder aber sich vor den Browser zu setzen und das System in seiner Gänze zu testen (also Javascript im Zusammenspiel mit CSS und PHP). Diesen Browsertest wirst du nicht automatisieren können, da hier die Browser total unterschiedlich sind.

Wenn das Spiel mal die Test-Phase überwunden hat, wird es einen getrennten Testserver geben, auf den nur wenige Spieler Zugriff haben. Dort wird dann getestet und dann werden im Live-Spiel auch keine 3 Revisionen mehr täglich hochgeladen sonden vielleicht eine in der Woche oder Monat oder so.

[zardoz]

Ob man die letzten Beiträge vielleicht ausschneiden und unter nem neuen Thread aufbauen könnte? Da geht es ja um "Spielentwicklung: Testende Spieler / Spieler-Tests" und nicht um Fehler bei der Darstellung. In der Zwischenzeit möchte ich noch einen draufsetzen:

Darauf zielte meine Frage eigentlich auch ab. Dieses

"Teste Markplatz,
Teste Tavernen,
Teste Arena"

also die wichtigsten Funktionen, könnte man auch deligieren. Wie gesagt würde ich mich da mithelfen, wenn es gewünscht ist. Irgendwann(tm) scheint das ja laut Tommek auch der Fall zu sein.

Hmm .... naja du musst bedenken das die Anzahl solcher Tests leicht in die Hunderte gehen kann.
Da es uns schwer fallen wird sie zu automatisieren, müssten sich tatsächlich Menschen finden die das durch testen.

Warum auch nicht! Ich bin selbst in der Softwareentwicklung tätig, da ist es eigentlich üblich, mindestens einen Qualitätsprüfer zu beschäftigen, der nichts anderes macht als die von den Entwicklern für fertig gehaltenen Programme zu testen. Und auch dabei wird oftmals was übersehen.
Ich hab hier durchaus das Gefühl, dass es mit der Testerei durch die Spieler funktioniert - es werden doch Bugs gemeldet (bzw. es wird drüber gemeckert - nun ja...). Bestimmt könnte man das verbessern (und beschleunigen), indem den Spieler(-Tester)n neue Features (zumindest die beabsichtigten Auswirkungen) "zeitnah" mitgeteilt werden. Vielleicht könnte man ja dieses neue Banner dazu nutzen?

Auf eine Änderung aufmerksam gemacht, könnten die Spieler vielleicht etewas gezielter bestimmte Sachen "routinemäßig" durchspielen, wie Besuch auf dem Markt, Waren(ver)kauf dortselbst, Chats, Ordensfunktionen usw. Ohne diese Info wird das ja nur gemacht, wenn der Spieler/Held gerade Bedarf hat, dadurch dauert das Aufdecken von Bugs natürlich länger. (Das könnte den reinen Spielspaß zwar etwas beeinträchtigen, da die Spieler bestimmte Sachen nicht mehr nur zufällig entdecken, aber wenn die Spieler eh Versuchskaninchen sein sollen, könnten sie das gut und gern auch "aktiv" sein. Außerdem wäre ja niemand gezwungen, sich auf Bugsuche zu begeben )

Man müsste dann im Prinzip in jeder Revision die neu auf dem Server deployed wird alle Tests durchgehen.
Bei der momentanen Schlagzahl von 1-3 Revisionen pro Tag, würde das bedeuten, pro Tag ~3-4 Stunden allein fürs testen investiert werden müssten.
Es wird schwer sein jemanden zu finden, der regelmäßig so viel Zeit investiert.

XD wieviel Zeit wird fürs Programmieren investiert? Je nach Sensibilität der Anwndung wird bei den Profis die doppelte oder dreifache Programmier-Zeit fürs Testen veranschlagt Aber selbst dabei erwischt man nicht alles. Auf manches kommt man einfach nicht.

Unausgegorene Idee: Sagt mal, kann dieses Forum eigentlich Polls/Abstimmungen oder wären die anderweitig machbar? Wenn ja - wäre es möglich, bei jeder Revision einen Poll zu machen, wo die Spieler ankreuzen können:
[_] Markt getestet, kein Fehler
[_] Ordenshaus-Funktionen getestet, kein Fehler
[_] Straßenchat-Funktionen getestet, kein Fehler
[_] Tavernen getestet, kein Fehler
[_] Arena getestet, kein Fehler
...
[_] Fehler gefunden (der wird dann in einem Extra-Thread genauer beschrieben)
Das könnte eine Statistik ergeben, welche Funktionsgruppe von wievielen Leuten getestet wurde, und für jedes Kreuzchen bei Fehler gefunden müsste es dann eine Fehlermeldung geben. Wenn die Statistik für die Spieler sichtbar wäre, könnten die sehen, wo noch kaum Tests stattgefunden haben und also noch getestet werden müsste/könnte. Mit der Zeit könnte die Liste um die Funktionsgruppen erweitert werden, auf die man inzwischen gekommen ist. Und wer als Spieler mal auf einen "interessanten" Fehler gestoßen ist, könnte diesen gezielt immer wieder testen, wenn eine neue Rev. eingespielt wurde (Regressionstests).
Irgendwie so in der Art, je nach Machbarkeit, mit möglichst geringem Aufwand.

Mit automatisierten Tests lassen sich ausschließlich die Sachen testen, an die schon mal jemand gedacht hat. Gut gegen Regressionen (wenn denn technisch machbar), nicht so gut gegen neue Bugs - da sind Menschen besser.

Viele Grüße
zardoz


Edith: grrrrf - there is always one more typo

[janb]

Für so etwas kämen eventuell automatisierte Tests in Frage. Solche einzurichten (kA, ob und inwieweit das überhaupt mit PHP funktioniert) würde freilich wieder Aufwand bedeuten.

Es ist eine Sache, automatisierte PHP-Tests einzuführen (mittels PHPUnit) oder aber sich vor den Browser zu setzen und das System in seiner Gänze zu testen (also Javascript im Zusammenspiel mit CSS und PHP). Diesen Browsertest wirst du nicht automatisieren können, da hier die Browser total unterschiedlich sind.

Wenn das Spiel mal die Test-Phase überwunden hat, wird es einen getrennten Testserver geben, auf den nur wenige Spieler Zugriff haben. Dort wird dann getestet und dann werden im Live-Spiel auch keine 3 Revisionen mehr täglich hochgeladen sonden vielleicht eine in der Woche oder Monat oder so.

Ich kenne PHPUnit nicht, und könnte mir vorstellen das es einen großen Aufwand bedeutet Tests für alle alten Funktionen zu schreiben, aber bei Neuentwicklungen geht oder Dinge die sowieso gerade überarbeitet werden (z.B. der AOQML-Engine von mir), könnte man durchaus darüber nachdenken.

:o_O: Ob man die letzten Beiträge vielleicht ausschneiden und unter nem neuen Thread aufbauen könnte? Da geht es ja um "Spielentwicklung: Testende Spieler / Spieler-Tests" und nicht um Fehler bei der Darstellung.

Ist hiermit geschehen .

Warum auch nicht! Ich bin selbst in der Softwareentwicklung tätig, da ist es eigentlich üblich, mindestens einen Qualitätsprüfer zu beschäftigen, der nichts anderes macht als die von den Entwicklern für fertig gehaltenen Programme zu testen. Und auch dabei wird oftmals was übersehen.

Man muss natürlich abwägen, auf der einen Seite hätte man eine größere Stabilität, auf der anderen Seite eine gebremste Spielentwicklung. Es ist die Frage ob wir das in unserer Alphaversion bereits möchten.

Ich hab hier durchaus das Gefühl, dass es mit der Testerei durch die Spieler funktioniert - es werden doch Bugs gemeldet (bzw. es wird drüber gemeckert - nun ja...).

Klar aber das ist nicht verpflichtend und meiner Meinung auch gut so .

Bestimmt könnte man das verbessern (und beschleunigen), indem den Spieler(-Tester)n neue Features (zumindest die beabsichtigten Auswirkungen) "zeitnah" mitgeteilt werden. Vielleicht könnte man ja dieses neue Banner dazu nutzen?

Ich glaube im Banner würde es etwas stören, aber vielleicht könnten wir an anderer Stelle die letzten Kommentare die mit dem Commit eines Release gemacht wurden einblenden. (Da weiß ich jetzt nicht in wie weit das technisch möglich ist).

Auf eine Änderung aufmerksam gemacht, könnten die Spieler vielleicht etewas gezielter bestimmte Sachen "routinemäßig" durchspielen, wie Besuch auf dem Markt, Waren(ver)kauf dortselbst, Chats, Ordensfunktionen usw. Ohne diese Info wird das ja nur gemacht, wenn der Spieler/Held gerade Bedarf hat, dadurch dauert das Aufdecken von Bugs natürlich länger. (Das könnte den reinen Spielspaß zwar etwas beeinträchtigen, da die Spieler bestimmte Sachen nicht mehr nur zufällig entdecken, aber wenn die Spieler eh Versuchskaninchen sein sollen, könnten sie das gut und gern auch "aktiv" sein. Außerdem wäre ja niemand gezwungen, sich auf Bugsuche zu begeben )

Klingt gut . In AOQML könnte man langfristig darüber nachdenken ob man den Spielern direkt in Antamar einen Link anbietet über den sie Fehler melden können. Da ich aber im Moment mit anderem (Gruppenquests, Einbrüchen, Gruppenreisen) ziemlich ausgelastet bin muss das noch etwas warten. Ihr seht schon das grundsätzliche Problem .

XD wieviel Zeit wird fürs Programmieren investiert? Je nach Sensibilität der Anwndung wird bei den Profis die doppelte oder dreifache Programmier-Zeit fürs Testen veranschlagt Aber selbst dabei erwischt man nicht alles. Auf manches kommt man einfach nicht.

Wir sind aber kein professionelles Produkt das bei Auslieferung fehlerfrei sein muss,sondern ein Projekt das auf eine dynamischere inkrementelle Entwicklung setzt.
Ein vollständiges Testen aller Funktionen würde meiner Meinung nach die Entwicklung von Antamar zum Stillstand bringen. Gegen Unit-Tests und das Testen wichtiger Funktionen durch die Spieler spricht dagegen meiner Meinung nach nichts.

Unausgegorene Idee: Sagt mal, kann dieses Forum eigentlich Polls/Abstimmungen oder wären die anderweitig machbar? Wenn ja - wäre es möglich, bei jeder Revision einen Poll zu machen, wo die Spieler ankreuzen können:
[_] Markt getestet, kein Fehler
[_] Ordenshaus-Funktionen getestet, kein Fehler
[_] Straßenchat-Funktionen getestet, kein Fehler
[_] Tavernen getestet, kein Fehler
[_] Arena getestet, kein Fehler
...
[_] Fehler gefunden (der wird dann in einem Extra-Thread genauer beschrieben)
Das könnte eine Statistik ergeben, welche Funktionsgruppe von wievielen Leuten getestet wurde, und für jedes Kreuzchen bei Fehler gefunden müsste es dann eine Fehlermeldung geben.
Wenn die Statistik für die Spieler sichtbar wäre, könnten die sehen, wo noch kaum Tests stattgefunden haben und also noch getestet werden müsste/könnte. Mit der Zeit könnte die Liste um die Funktionsgruppen erweitert werden, auf die man inzwischen gekommen ist. Und wer als Spieler mal auf einen "interessanten" Fehler gestoßen ist, könnte diesen gezielt immer wieder testen, wenn eine neue Rev. eingespielt wurde (Regressionstests).
Irgendwie so in der Art, je nach Machbarkeit, mit möglichst geringem Aufwand.

Keine Ahnung wie aufwendig das ist, klingt aber gut .

[Decipher]

Dia Ansage von Tommek war doch klar, oder nicht?

Außerdem finde ich dein eigenmächtiges Verschieben ins Helferforum befremdlich janb.
zardoz kann deine Antwort hier nicht lesen und Moderator bist du meines Wissens auch nicht.