Wasserzeichen, Schlüsselprüfungen und langsame Logs

00:00:00: Passwort, der Heise Security

00:00:04: Podcast.

00:00:08: Hallo liebe Hörerinnen und Hörern.

00:00:10: willkommen zu einer neuen Folge von Passwort dem Podcast von Heise security.

00:00:16: mein Name ist Christopher Kunz von heise security

00:00:21: Und ich bin Silvester Tremmel vom Computerbange ziehen cd.

00:00:25: Ja es sind wieder zwei Wochen rum und das ist wieder viel passiert in der welt der security allerdings auch sehr viel wo Die magischen drei Buchstaben LLM dran stehen.

00:00:36: also ein kleiner Disclaimer Warnung, keine Ahnung Triggern Warnungen wie auch immer.

00:00:42: Es wird heute wieder ein bisschen um KI gehen und was die KI so macht aber eher als nachklar.

00:00:49: wir haben noch ein paar andere Themen.

00:00:51: Wir haben auch mal endlich wieder etwas zur PKI.

00:00:54: Ein Glück!

00:00:57: Ich freue mich schon auf den Tag an denen Mithos anfängt Acme, das Acme-Protokoll auseinanderzunehmen.

00:01:03: Dann wird es richtig witzig!

00:01:05: Oder ich habe das gesehen jetzt in dem Baxilla, als ich für die Folge recherchiert hab, gab's größere Spamangriffe von so Spammkommentaren, die irgendwelche komischen Webseiten bewaben.

00:01:16: Stell dir mal vor wenn diese ganzen Agenten anfangen beim CIA Browser Forum mit zu kommentieren in diesen CA Tickets?

00:01:23: Das wird ein Spaß.

00:01:24: da freue ich mich jetzt schon drauf.

00:01:27: Ja, mich erinnert es halt so ein bisschen an die Geschichten mit der IETF, die wir ja hier auch im Podcast hatten.

00:01:35: Also ich befürchte dass das drauf rauslaufen wird, dass man solche ganz offenen Communities wo jeder einfach sich ohne irgendeine Vorraussetzung oder Vorabsegelung sich beteiligen kann.

00:01:50: Mal schauen wie lange man sowas noch halten kann.

00:01:52: Bald

00:01:53: gibt's dann Bernsteinclaw oder DJBot, wenn der DJB einfach agentenlos schickt die ungefähr seinen Sentiment vertreten.

00:02:02: Denn sein Body of Work ist ja glaube ich auch ganz gut bei den LLMs indexiert.

00:02:06: Anyway wir haben... Ja

00:02:08: aber gerade heute habe ich eine Mail gesehen auf der OSS Security-Liste auf die Gregg Kroer Hartmann geantwortet hat Und aus der Antwort hat er dann geschlossen, dass er offen war mit einem Bot redet und die Segel gestrichen.

00:02:18: Also das geht halt glaube ich... Ich bin mir nicht mal sicher ob er da recht hat aber es geht halt schon los, dass sich Leute irgendwie überlegen.

00:02:26: Also diskutiere ich hier gerade überhaupt mit dem Gegenüber oder verschwende ich gerade Zeit in dem ich versuche den LLM von irgendjemandem was einzureden?

00:02:35: Das macht natürlich so eine Community kaputt!

00:02:38: Oh ja, ich sehe schon.

00:02:44: Witzig.

00:02:45: Ah, I'm talking to a bot.

00:02:46: Psy!

00:02:47: Sehr schön.

00:02:49: Genau,

00:02:50: tiefer so Stoß läuft's her.

00:02:51: Okay wir haben ein bisschen Feedback.

00:02:54: Wir arbeiten das kurz ab und zwar ging es einmal in der Folge mit den agentischen Angreifern um diese Constitution von Entropic oder die Entropic da referenziert hat Und wir waren ein bisschen verwirrt vor allem ich welcherlei Constitution das ist weil das auch so groß geschrieben wurde.

00:03:11: Die Constitution also die Verfassung der Vereinigten Staaten ist berühmte Pergament, auf das sich alle immer beziehen mit den vielen Verfassungsamendments.

00:03:20: Nicht eine Konstitution sondern DIE Konstitution!

00:03:23: Genau es ist aber nur eine Konstitution nämlich die Konstitution von Unchopic.

00:03:29: und diese Konstitution hat Unchopic aufgeschrieben.

00:03:33: da stehen Dinge drin die im Wesentlichen Binsen, Weisheiten für Menschen sind aber eben nicht für LLMs.

00:03:40: Ich habe das Dom für Gefühl wir werden auf diese Konstitution gleich nochmal zu sprechen kommen wenn wir ein paar Sachen in die wir gleich lernen gemeinsam dann nebenhalten und mal gucken wie sehr ist es denn eigentlich konform mit dieser Verfassung diesen Gesetzeswerk für Für LLM's und deren Erfüllungsgehilfen also die Agenten?

00:03:59: Also dazu hatte sich Ralf geäußert und dass klargestellt.

00:04:03: vielen Dank Ralf.

00:04:05: Wir haben die Constitution von, also Klorz-Constitution heißt sie genau, glaube ich.

00:04:10: Haben wir in die Shownotes getan da könnte sie nachlesen oder es einfach bleiben müssen und dann gibt's auch...

00:04:15: Und wenn ihr die andere Konstitution nachleset wollt, findet ihr zum Beispiel eine Wikipedia?

00:04:19: Ja noch, wer weiß wie lange die noch gültig ist in den Vereinigten Staaten.

00:04:24: Wir hatten auch Feedback Ihr indirektes feedback aus.

00:04:28: ermittler kreisen wie so schön heißt zu dieser etwas älteren geschichte mit diesen lka aktion

00:04:35: oder bk

00:04:36: aktion wo nachts bei irgendwelchen firmen leute vorgefahren sind am sonntag und gesagt haben ihr, update mal eure software da ging es um diese plm software von der firma windschild.

00:04:45: die hatte mehrere schwere sicherheit zur lücken die dann auch gepatched wurden und die.

00:04:51: Ermittlungsbehörden hatten einen was hier haben sie das genannt irgendwie konkrete Informationen auf bevorstehende Angriffe und da haben wir ja länglich drüber gesprochen, auch bei Dokumentär-Netzpolitik war ich damit.

00:05:05: Und das war ja so ein Kuriosum, weil es einfach so ein totaler Outlier war in der Bedrohungslandschaft aus den vielen Microsoft Lücken.

00:05:13: gerade heute gab's mal wieder einen Puff of Concept Exploit für eine fette Exploit Lücke die im Juni da hab' ich daneben gesessen als sie gefunden oder als die demonstriert wurde.

00:05:23: Also da geht dann jemand hin für so ein relativ nischiges Produkt, aber das hatte offensichtlich einen Hintergrund.

00:05:28: und der Hintergrund.

00:05:29: Das ist nun klar, weil es auf Screenshots gibt's aus der Pressermail... ...das war die Ransomware-Gruppe Klopp!

00:05:35: Die hat nichts mit dem Mutterstrainer zu tun sondern die schreibt sich CL-nullp.

00:05:40: Und die haben wohl groß im großen Stil diese Sicherheitslücke ausgenutzt um diesen Zeitraum herum wo sie nicht nur disclosed wurde sondern auch gepatched und diese akaktion waren.

00:05:52: und natürlich kann man im hinter also eben nachhinein immer schlecht sagen was es jetzt tatsächlich geholfen hat dass das aka auf dem parkplatz gestanden und die leute zum patchen gezwungen hat.

00:06:01: aber sicherlich hat es hier in deutschland größere aktion verhindert.

00:06:06: den anderen ländern hat dann also auch groß unternehmen zb schelle erwischt und da sind einiger an daten einiges an datum weggekommen.

00:06:12: ich habe mal auf die liegzeit geguckt und alle liegen dann mehrere.

00:06:16: Archive mit, weiß ich nicht.

00:06:17: Vierhundert, fünfhundert Gigabyte und die sind immer dergleichen Form.

00:06:21: Datenbank Zeichnungen Unterlagen oder so steht da drin was schon den Verdacht nahe liegt dass es sich da wirklich um Abzüge aus Winschel Kram handeln könnte.

00:06:31: aber da ich keinen Bock habe mehr Mit einem Sider vierhundert Gigabyte irgendwie gerenzelwerte Daten runterzuladen, muss ich da im Konjunktiv bleiben.

00:06:43: Also der Vollständigkeit.

00:06:44: teilweise hatte schon einen konkreten Hintergrund.

00:06:46: das haben wir damals aber auch nicht bestritten.

00:06:47: nur es hat uns halt keiner den Hintergrund so richtig erzählt.

00:06:49: und was wir ja hauptsächlich bemängelt haben war dass dieses Vorgehen einfach aus der Kalten kamen und man da auch erstens die Leute anders hätte informieren oder anders hätte vorgehen können und zum anderen würden sie durchaus vielleicht wünschen würden dass an die Artriburoses vorgehen auch bei bestimmten Redmond-Softwarekonzernen Angegangen wird, wenn mal wieder zehntausende Exchange Instanzen ungepatcht im Netz stehenden.

00:07:13: Darüber beschwert sich das PSI regelmäßig aber so richtig passieren tut er meiner Wahrnehmung nach nichts.

00:07:19: So

00:07:20: Ja es war ja auch kein einheitliches Vorgehen.

00:07:23: also ich meine ich halte das immer noch für überzogen.

00:07:26: Aber selbst wenn man sagen würde nein Nein Das war so schlimm und so brisant wir müssen da überall mit der polizei vorsteigern Dann muss man's halt auch überall machen.

00:07:34: das bringt ja wenig wenn paar Bundesländer das machen, ein paar andere Bundesländern schreiben halt eine Mail oder rufen da irgendeinem Montag an und so.

00:07:42: Also wenn schon denn schon.

00:07:45: So, das haben wir dann jetzt abgeschlossen und jetzt steigen wir voll... Oh Gott!

00:07:55: Wir fangen direkt mit KI an?

00:07:58: Dann kommt noch mal.

00:07:59: Ja, nicht so richtig!

00:08:01: Es ist ja also wir reden jetzt über was sozusagen im Zusammenhang mit KI steht aber das System selber ist ja... Also es ist zumindest kein KI-basiertes System.

00:08:11: sagen wir's mal so

00:08:12: Okay

00:08:13: Aber oder?

00:08:14: Schieß mal!

00:08:14: Kann man das doch verkaufen.

00:08:16: Genau ich muss eh ein bisschen.

00:08:17: also kleine Rechtfertigung Das ist jetzt nicht richtigen Security relevantes Thema.

00:08:22: es hat aber weit Es könnte weit reichende Implikationen haben und es ist einfach technisch interessant.

00:08:29: Und deswegen sorry, not.

00:08:30: sorry wir reden da jetzt drüber und zwar über

00:08:34: weil uns beide auch interessiert.

00:08:35: ich habe dich nämlich glaube ich sogar gefragt wie geht das?

00:08:39: Ich möchte mal gerne herausfinden wie das geht und jetzt erklärst du es mir.

00:08:42: Ich hab mich auch nicht gespickt.

00:08:43: Das heißt dass für mich genauso neu wie für euch als höre.

00:08:47: Okay cool wunderbar!

00:08:49: Es geht um die Wasserzeichen die jetzt Anthropik eingeführt hat insbesondere auf Text Und damit geht es schon los, also das heißt so.

00:08:59: Das ist auch nicht so, dass ein Topic mit diesem Begriff um die Ecke gekommen wäre aber in gewissen Sinne ist ein Wasserzeichen die falsche Assoziation weil ein Wasser Zeichen ja was ist, was man sehen kann indem man den Geldschein gegen das Licht hält oder so.

00:09:11: Worum's hier geht is', dass ein Text unsichtbar markiert wird sodass man eben nicht sehen kann, da er so einen Zeichen trägt.

00:09:22: Und dazu müssen wir kurz über was reden, was wir glaube ich schon mehr von Podcast angesprochen hatten aber noch nie so richtig das Thema hatten.

00:09:29: Wir vielleicht auch mal ein schönes Monothema für eine Folge und zwar Steganografie.

00:09:34: Das ist sozusagen

00:09:36: dieser Dinosaurier mit diesen Platten auf dem Rücken Steganograffosaurus.

00:09:43: Wer eigentlich cool wird sowas geben?

00:09:47: Ne da hat leider mit Dinosauern gar nichts zu tun.

00:09:51: Es ist so ein bisschen die Schwester der Kryptografie.

00:09:53: Also bei Kryptographie geht es ja darum Informationen unlesbar zu machen, die sind aber nach wie vor sichtbar.

00:10:01: also man sieht ja das dann in verstüsselte Text vorliegt Man kann ihn halt nur nicht lesen.

00:10:07: Bei der Steganografie geht's darum Text zu verstecken sodass man nicht mehr sieht dass da einer isst.

00:10:13: Vielleicht ein ganz klassisches, analogisches Beispiel ist so was wie unsichtbare Tinte.

00:10:21: Man schreibt den Brief mit normaler Tinte und dann schreibt man die geheime Botschaft mit Zitronensaft drauf und der ist halt nicht sichtbar.

00:10:27: Und nur wenn der Empfänger das weiß und das Papier erwärmt, dann sieht er halt die geheine Botschaft.

00:10:33: Die ist nicht verschlüsselt oder so aber die ist halt steganografisch geschützt weil einen Bösewicht ja den Brief erbeutet Irgendwie nicht mit ihm aus Hefte gelesen hat als Jugendlicher oder so, der weiß halt nicht dass man sowas erwärmen kann um da nach geheime Botschaften zu suchen.

00:10:52: Das klassische Beispiel aus der IT für Steganographie sind eigentlich Bilder weil man da sehr schön einen Spielraum hat wo man Daten verändern kann und zwar wenn man so ein Foto von irgendwas hat Und jetzt bei jedem Pixel an den niederwertigsten Bits rumspielte, das halt aus einem grünen Pixel ein gar nicht leicht anders grüner Pixel wird.

00:11:15: Dann ist es was man als Mensch wieder wahrnehmen kann noch wo irgendwie offensichtlich ist dass diese Emotion verändert worden ist ne?

00:11:24: Das ist ja sowieso sozusagen teilweise auch dem Rauschen des Bildsensors geschuldet was genau in diesen niederwärtigsten bits drin steht und so.

00:11:31: da hat man also Spielraum sozusagen an Informationen rum zu spielen, ohne dass irgendjemand sieht das da drum gespielt worden ist.

00:11:40: Und so würde man dann eben Steganographie betreiben, dass man sagt okay pass mal auf wir haben bei diesem Bild die Information steckt drin je nachdem wie halt die niedertwertigsten Bits verschoben worden sind oder nicht.

00:11:55: Die Frage ist jetzt, wenn man sich Texte anguckt.

00:11:57: Also es geht ja explizit um plaintext also nicht irgendwie den Word-Dokument wo man natürlich tausend Metadaten hat an denen man was machen könnte oder so oder auch einfach Informationen in Schriftarten und alles Möwliche steht drin.

00:12:12: Es geht expliziter um plain text also nur eine Kette von Buchstaben abstrahiert vom jeweiligen Dateiformat.

00:12:20: Wo könnte man da denn Informationen verstecken?

00:12:25: Und jetzt in Bezug auf Text, der von einem KI-Modell generiert worden ist, lautet die Antwort nachher in den genauen Wortwahl.

00:12:33: Und zwar ist es so dass KI's ja eh sozusagen nicht voll die terministischen Text generieren.

00:12:39: also wenn ihr einen Prompt in so ein KI-modell stopft dann kommt da halt eine Antwort raus.

00:12:42: und wenn du exakt den gleichen Prompt nochmal in frische Session reinstopft, dann kommt er nicht üblicherweise nicht exakt die gleiche Antwort raus.

00:12:51: Es hat eine Reihe von Gründen, warum das so ist.

00:12:53: Aber letztendlich spielt da halt einfach zufallene Rolle und es ist eben unter dem Strich auch so dass ein voll deterministisches Sprachmodell einfach schlechter funktioniert.

00:13:06: Man will da die gewisse Varianz drin haben.

00:13:09: man kann das oft auch einstellen.

00:13:11: dieser Parameter an den man da drehen muss der heißt möglicherweise dann Temperatur.

00:13:15: der stellt zur einen ein bisschen wie sehr das Modell seine Wortwahl variiert.

00:13:22: Ja,

00:13:22: ich überlege gerade.

00:13:23: Also das ist jetzt nur ein Nit-Pick aber wir können dann den Super Tangente daraus machen für zwei Minuten.

00:13:29: Gibt es dieses nicht voll deterministisch?

00:13:31: Also gibt es teilweise deterministische?

00:13:34: oder ist alles was nicht deterministisches also nicht vollständig Deterministisches nicht automatisch nicht deterministic?

00:13:41: So würde ich das sagen.

00:13:42: ja

00:13:42: und ich habe übrigens einen Stegranosaurus erstellen lassen durch eine LLM meiner Wahl

00:13:49: Und wenn du das gleich jetzt noch mal prompt ist, dann kommt wahrscheinlich ein anderer.

00:13:52: Richtig genau!

00:13:53: Also weil es nämlich aus meiner Sicht wirklich nicht deterministisch ist.

00:13:57: So also ich habe das heute auf Mastodon gepostet und ich hab mir versucht STL-Modelle für einen D-Drucker erstellen zu lassen wo immer dieselbe Geometrieänderung bei mehreren identischen Gegenständen braucht.

00:14:07: Also sagen wir mal Du hast eine Rohr und da sollen kleinere Rohre rein so wie ein Strohhalm oder sowas und dann willst du den Durchmesser des kleineren Rohres verändern, damit das Rohr stabiler wird.

00:14:18: Und das kriegt ja nicht in zwei aufeinander folgende Interaktionen gleich hin.

00:14:23: In dem Fall war es JETJBT insofern... Das ist schon sehr argnicht deterministisch.

00:14:31: Ja also es ging darum, dass habe ich wahrscheinlich irgendwie jetzt im Erzählen voll deterministische gesagt?

00:14:37: Nicht voll Deterministisch!

00:14:38: Also die sind gar nicht deterministischer.

00:14:41: Was ich halt damit

00:14:41: sagen wollte dass natürlich diese LLMs nicht völlig zufällig Wörter aneinander rein, das wäre ja auch total sinnlos.

00:14:48: Also wenn ihr sagt was ist welche Farbe hat der Himmel?

00:14:52: Dann kommt natürlich eine Antwort die mehr oder weniger ist.

00:14:55: Der Himmel ist blau.

00:14:57: Die muss aber halt nicht exakt so formuliert sein, aber die wird natürlich in aller Regel nicht lauten Buchstaben schrank kalt Das wäre eine völlig zufällige Antwort, das macht einen LLM ja auch nicht.

00:15:15: Es geht jedenfalls darum dass diese LLMs eh sozusagen einen gewissen Zufall nutzen in der Generierung ihrer Antworten.

00:15:21: und genau da setzt man an und zwar sagt man ja also das ist kein echter physikalischer Zufalls sondern es ist halt ein Pseudozufall der aus einem random number generator raus fällt.

00:15:34: Und anstatt da halt irgendeinem Pseudo-Zufall zu nehmen, nehme ich einen der mit bekannten Quelle funktioniert und dadurch sozusagen unter meiner Kontrolle steht.

00:15:47: An Shopec hat er in Erklärung sogar ein ganz schönes Beispiel dafür um sich zu versinnlebiglichen.

00:15:51: also nehmt an ihr spielt irgendeinen Brettspiel.

00:15:54: Wir gehen jetzt davon aus, ihr spielt eine Brettspiele mit einem zehenseitigen Würfel einfach damit die Ziffern null bis neun irgendwie auf diesem Würfel drauf sind und dieses Spiel setzt halt voraus dass ihr Mit diesem Würfel, dann kommen da irgendwelche Zahlen raus.

00:16:05: Also da ist ein zufälliges Element in diesem Spiel drin.

00:16:09: Man könnte stattdessen auch sagen ne ich nehme irgendeine irrationale Zahl wie zum Beispiel Pi und der erste Würfelwurf ist halt sozusagen die tausend dritte Stelle von Pi.

00:16:20: Und der zweite Würfel wird dann die Tausend vierte Stelle und jedes Mal wenn der Würfel geworfen werden sollte werfe ich gar nicht wirklich einen Würfel sondern guck einfach was es jetzt die nächste Stelle von meiner gewählten Zahl.

00:16:32: Die sind auch quasi zufällig, das ist nicht zu unterscheiden von Zufall.

00:16:36: Aber wenn ich weiß welche Zahl halt an welcher Stelle zum Einsatz kam dann kann ich natürlich... Dann ist dieses Spiel voll nachvollziehbar und ich kann mir solche auch so ein Spielverlauf ansehen und gucken, naja gut was war denn der erste Würfelwurf?

00:16:50: Was war der zweite Würfelwurf?

00:16:51: Und erkenne sehr schnell!

00:16:52: Das war höchst wahrscheinlich kein Spiel dass mit einem echten Würfel gewürfelt worden ist weil die Ergebnisse der Würfelwirfe eben genau die Stellen von Pi abbilden.

00:17:02: Und je länger diese Sequenz von einem Spiel ist, dass ich mir da anschaue umso sicherer kann ich auch sagen naja das war jetzt also wenn nicht der zwei Würfel zweimal die Würfel geworfen worden ist und dieses Ergebnis war halt drei und dann eins.

00:17:14: Dann könnte es halt sein, dass sie da anfangen mit Pi rein zu zählen.

00:17:19: Das könnte einfach ein Zufall sein, das halt erstmal drei raus kamen und dann Eins.

00:17:22: Aber wenn ich das hundert mal mache und das sind die ersten Hundert Stellen von Pi, dann ist es halt extrem unwahrscheinlich, dass da eine echte Würfel zum Einsatz kam.

00:17:29: Und das ist sozusagen die Idee.

00:17:31: Das ist insofern auch wichtig, weil es jetzt sozusagen ganz viele Leute gab die vermutet haben.

00:17:35: Da wird das neue Zufall irgendwie ins Spiel gebracht und es wird notwendigerweise den Output dieser Modelle irgendwie verschlechtern.

00:17:44: Und dass es eben explizit nicht der Fall sondern der Zufalls ist eh drin diese Modelle sind nicht deterministisch aber man nutzt halt das jetzt aus, dass man da eine Wahl hat wie genau dieser Zufahl beschaffen ist weil es kein echter physikalischer Zufallen ist.

00:17:59: Deswegen sagt auch zum Beispiel an Prophek, das Vorgehen verschlechtert sozusagen die Qualität des Outputs nicht.

00:18:08: Sie nehmen da ein Beispiel was.

00:18:10: ich bin mir gar nicht sicher ob es ein gutes Beispiel ist weil's vielleicht in eine falsche Richtung führt.

00:18:14: aber sie sagen halt naja wir können diese Formation da drin verstecken indem wir an gewissen Stellen halt sozusagen wo mehr oder weniger zufällig eins von zwei Wörtern gewählt werden könnte.

00:18:27: und sie nehmen einen Satz, der fängt an mit Der Himmel war und es geht darum dass das halt kein gutes Wetter war.

00:18:33: Und dann könnte das LLM schreiben bewirkt oder es könnte sagen schreiben der himmel war grau und Es ist Angenommen in dem Kontext mehr oder weniger dieselbe Aussage.

00:18:45: und wenn des llm sozusagen e da mehr oder Weniger random jetzt bewirked oder grauschreibt Dann kann man halt aus diesem mehr oder wenige random auch sagen nein Nein Das kommt Aus meiner zufallsquelle und ich Kann eben die bestimmt, ob hier bewölkt oder grau steht.

00:18:59: Was sie halt nicht bestimmt ist... Das kann ich gar nicht sagen.

00:19:04: Es gibt im Englischen neben, Sie sagen der Overcast und Gray.

00:19:08: Und in Englisch gibt's scheinbar auch das Wort Lubilus.

00:19:11: Das kommt aus dem Lateinischen und es ist wieder mal so ein schönes Wort, dass es irgendwie nur im Engelischen gibt weil keine andere Sprache darüber gerettet hat.

00:19:19: aber das bedeutet halt im Prinzip dasselbe?

00:19:21: Nein nein!

00:19:22: Nubilös, lateinisch, wolkig trübe Quelle, Brockhaus kleines Konversationswerksikon von und neunzehnt hundertelf.

00:19:27: Also vor Hundertfünfzehn Jahren war das auch hier noch sehr üblich als mal wenn man ein nubilöser Tag war?

00:19:35: Na guck an.

00:19:36: also ich habe nämlich Nubils sozusagen einfach literal übersetzt und ist im Duden nicht gefunden.

00:19:44: na ja aber worum es geht ist dass es zwar auch in den Worten der sozusagen dass selber bedeutet, aber halt ein an dieser Stelle sehr ungewöhnliches Wort wäre und deswegen auch das LLME normalerweise nicht wählen würde.

00:19:57: Und dann wird das Wasserzeichen auch nicht dazu führen, dass jetzt so ein total absolutes Wort gewählt wird.

00:20:01: Also es geht nicht darum auf den Text zu gucken und irgendwie will Synonyme durch andere zu ersetzen sondern es geht darum an Stellen wo das LME zufällig wählt diesen Zufall zu beeinflussen.

00:20:15: Meintest du gerade mit, dass Beispiel führt in die falsche Richtung?

00:20:18: Dass in diesem Fall ja auch dieses Synonym so... das würde ein Mensch erkennen.

00:20:25: Also wenn ich jetzt einen Aufsatz in der neunten Klasse lese und da stünde Nubi löst drin dann würde ich doch auch sofort sagen Moment mal!

00:20:33: Da brauche ich keinen Wort am Markt für oder brauche nicht mehr rein zu gucken.

00:20:35: Das hat garantiert nicht der Schüler geschrieben.

00:20:41: Ne, ich meine es führt in die falsche Richtung weil das manche Leute auf diesen Dampfer geschickt hat.

00:20:45: Dass dieses Wasserzeichen sozusagen relativ stupide Synonyme ersetzt und man kann sich ja doch aus dem Satz überlegen oder einen Gedicht zum Beispiel wo das sehr wichtig ist dass da grau steht und nicht bewölkt zb weiß ich es reimt oder so na und mit Grau reinzig seid und bewölk dran sich dann nicht.

00:21:06: Und darum geht es eben nicht, sondern es geht schon darum.

00:21:08: Man guckt was das LLM an der Stelle sozusagen wie die Wortwahl, also wie den Next-Token-Prediction halt stattfindet und wenn an Stellen wo die sozusagen eh mehr Diggler random ist mit so gut wie das Llm halt ist da krätschen wir dann rein.

00:21:25: aber man gibt ihm nicht rein und sagt naja der Text ist fertig.

00:21:28: jetzt übersetz ich halt hier relativ stumpfsynonyme in andere häufige Synonyme oder so weil dann eben die Qualität leiden könnte.

00:21:36: Es könnten natürlich sein, dass an irgendeiner Stelle grau besser ist als bewölkt aber das LLM hatte eine hohe Chance, bewölk zu wählen auch ohne Wasserzeichen.

00:21:46: Das heißt wenn da ein Qualitätsproblem auftritt, dann steckt es im LLm nicht geschneitert hat, was an der Stelle graue irgendwie wichtig und besser ist und nicht daran, dass ein Wasserzeichner ausgeprägt worden ist.

00:21:56: Das ist sozusagen der Punkt um den es geht.

00:22:00: Ein Topic sagt auch weiter, sie haben bei Internet-Tests keine Auswirkungen von Wasserzeichen auf den Inhalt.

00:22:05: Das Kreativitätsniveau oder die Lesbarkeit hat Texte von Claude festgestellt.

00:22:11: Es gibt auch schon größere Tests.

00:22:12: es ist ein kleiner Vorgriff aber Google hat sowas auch mal mit zwanzig Millionen echten Nutzern getestet und die haben auch keinen Unterschied bemerken

00:22:18: können.

00:22:18: Also man muss ja bei kreativitätes Niveau und Lesbarkeit auch eher Quotes drum herum machen.

00:22:24: also zumindest bei vielen Tests

00:22:28: Es ist halt ein interner Test, also das ist sowieso ich habe keine Ahnung was die da gemacht haben und die können den ja beliebig.

00:22:34: Gaming oder so.

00:22:35: aber es ist einfach von der Funktionsweise Logisch sozusagen dass das kein Qualität nicht verschlechtert und auch nicht verbessert.

00:22:43: na also wenn da eine Worte war gut und die andere schlecht ist und des LLM lang daneben dann dann Langzeit daneben mit oder ohne oder dann hat's halt ne Chance daneben zu lange mit ohne Wasserzeichen.

00:22:54: Interessante ist halt schon der Test von Google.

00:22:56: Ich komme gleich dazu, warum Google?

00:22:59: Weil bei zwanzig Minuten Leuten die sozusagen nicht irgendwie statistisch messbaren Unterschied zwischen Texten mit Wasserzeichen und Texten ohne Wasserzeicheln verstehen können kann man glaube ich auch ganz selbst das ist eine Datenbasis.

00:23:13: Die Idee für dieses Vorgehen stammt scheinbar von Scott Aronson.

00:23:18: den hatten wir ja auch schon mehrfach eben Podcast, also nicht als Gastleiter aber halt als Figur die Auftritt.

00:23:26: Das ist eigentlich ein Quantenphysiker der aber eine ganze Weile auch bei Open AI gearbeitet hat.

00:23:30: Der hat so einen Sympathical für ein Jahr oder so bei OpenAI gemacht und sich damit KI beschäftigt.

00:23:35: Und zusammen mit Hendrik Kirchner haben diese Idee vorgestellt.

00:23:42: Die haben das damals nicht akademisch publiziert, es gibt eine Präsentation von damals wo sie das zeigt Und OpenAI hat es damals auch nicht eingesetzt.

00:23:54: Das ist jetzt ein aktuelles Zitat, also das war ein paar Tage alt von Aaron, sondern aus seinem Blog der halt sagt die OpenAI-Führung entschied sich gegen die Einführung von Wasserzeichen da sie vor allem Sorgen über Risiken für das Produkt machte.

00:24:08: D.h.,

00:24:09: Kunden denen die Idee nicht gefällt und die zu einem anderen konkurrierenden LLM wechseln dass keine Wasserzeiche verwendet.

00:24:14: Also er hatte damals zur Jahr zweiundzwanzig diese Idee als er für Open AI gearbeitet hat, da ist aber zumindest bei Open AI nichts draus geworden.

00:24:25: Es gab dann aber seit her sozusagen diverse andere auch akademische Publikationen die solche Systeme vorgestellt haben, die diese Systeme verbessert haben und so weiter.

00:24:35: Da gibt es also eine Reihe von Papers dazu.

00:24:37: Es wird auch noch weiter dran geforscht an der ganzen Wasserzeichen Thematik.

00:24:42: Es gibt schon mal diese Idee dass man die Wasserzeiche nicht in bloßen Token oder Wortwahl halt ablegt, sondern mit mehr Rücksicht auf die Semantik des Textes.

00:24:53: So dass man dieses Wasserzeichen dann auch nicht auskriegen kann wenn man also ohne das der Text sich verändert.

00:25:01: Andererseits, das fand ich auch sehr interessant, das kannte ich nicht verweist Gott Ahrensson in seinem Blogpost auf ein Paper Scheinbar plausibel folgendes zeigt, die sagen das jetzt aus einem Abstract.

00:25:13: Ein starkes Wasserzeichen-Konstrukt erfüllt die Eigenschaft dass ein in der Rechenpower begrenzte Angreifer also computationally bounded Attacker sagen sie da Das Wasserzeich nicht löschen kann ohne eine erhebliche Qualitätsverschlechterung zu verursachen.

00:25:29: Wir beweisen dass es unter wohl definierten und natürlichen Annahmen unmöglich ist ein solches starkes wasser Zeichen zu erreichen.

00:25:37: Also da wird weiter fleißig dran geforscht, aber es scheint wohl so zu sein dass man nicht an den Punkt kommen wird das diese Wasserzeichen also unangreifbar sind.

00:25:50: Sondern mal würd ich ein Wasserzeichn immer von einem Text auch runterkriegen können ohne dass der Text total leidigt.

00:25:54: Dieses

00:25:55: Zitat ist das ein Paper wo's spezifisch um Watermarking für solche Textinhalte geht?

00:26:00: oder ist das generell wasserzeichen für irgendwas?

00:26:06: Nee, da geht's um Text.

00:26:07: Ich weiß es allerdings nicht ob genau auf diese Art von System beschränkt ist oder auch auf andere Vorschläge.

00:26:15: Genau weil ich hätte jetzt gesagt für Bilder also auch traditionelle Bilder wo du so das Statterstock Wasserzeichen drin hast Ist das immer noch so mehr oder minder war?

00:26:25: Weil ich glaube der Computationally Bound sehr viel enger gefasst ist als bei Anschlussvolleren.

00:26:34: More rewarding, wie sagt man mal?

00:26:35: Lohnswertere

00:26:36: Aufgaben.

00:26:37: Ja ja also in dem Paper geht es um Text.

00:26:39: aber ich muss auch sagen Ich habe nur den Abstreck durchgelesen weil ich ein interessantes Detail fand.

00:26:44: Aber ich hätte jetzt hier eigentlich nicht über die Fälschbarkeit von Wachsterzeichen Reden wollte so eine Erfindung Nur über die Dinge an sich.

00:26:51: na wie das überhaupt funktioniert.

00:26:55: Naja nichtsdestotrotz hat sich halt seitdem scheinbar Finns ID durchgesetzt.

00:27:01: Das ist was was Google Deep meint in dem Paper zwanzig-vierundzwanzig veröffentlicht hat.

00:27:06: In Nature, das ist natürlich auch immer... Wenn man da was veröffentlich dann hat es mehr irgendwie so Reichweite.

00:27:14: und jetzt kommt halt das Interessante.

00:27:16: Zwei zwanzich-vierenzwanzigh nutzt Google SynthID auch für Gemini.

00:27:21: Das heißt, was ein Topic hier macht und was auch eben jetzt ziemliche Wellen hervorrufen hat, ist halt überhaupt nichts Neues.

00:27:28: Und insofern kann ich mir vorstellen dass ein Topics sich auch denkt, mein Gott!

00:27:32: Was regnet sich denn jetzt alle auf?

00:27:36: Wir tun doch nur, was Google eh schon seit zwei Jahren tut und niemand hat es gestört.

00:27:40: SynthID ist halt so ein Markenname von Google.

00:27:43: die nutzen verschiedene Sachen auch für Bilder und so.

00:27:46: aber bei Texten nutzt das Synth ID eben auch genau so einen System.

00:27:50: Und auch Entropic sagt Was sie hernehmen ist de facto eine Variante von synthid Für den Text.

00:27:57: Entropic macht auch etwas an den Bildern und so dies generiert Da setzen Sie ja nicht auf Wasserzeichen wie ich ja vorhin gesagt habe, es sehr gut möglich ist in Bildern Wasserzeichen zu platzieren.

00:28:08: Aber das ist halt auch recht einfach ein Bildarteinmeterdaten zu transportieren weil die da eh drin stehen.

00:28:14: Die Schwierigkeit an dem reinen Text-Output ist ja dass man da keine irgendwelche alternativen Orte hat wo man Daten verstecken könnte.

00:28:24: Das wird bei Bildern nicht der Fall.

00:28:25: dann nutzt ein Stoppig C²PA So ein Signaturschema, wo glaube ich Adobe ganz stark beteiligt ist.

00:28:34: Das ist auch sehr kritikwürdig aber es ist was für eine eigene Folge oder so.

00:28:39: Also wenn euch das interessiert wie man diese C-to-PA, also Provenance Garantien aussprechen dass mal sagt oh dieses Bild trägt und jetzt zwei PA Signatur dann ist es garantiert irgendwie nicht KI bearbeitet und kommt halt garantiert aus Folgen der Canon Kamera oder so.

00:28:57: da gibt's einen Haufen Möglichkeiten scheinbar Schabernack damit zu treiben.

00:29:03: Ist aber jetzt hier eine totale Nebenkriegs-Schauplatz, insofern wenn euch sowas interessiert, schreibt uns das einfach mal an.

00:29:09: Passwort wie ein Spotcast at heise.de und dann machen wir vielleicht mal die Folge zu solchen Bildprovenance Signatureschirmata.

00:29:18: Zurück zur SynthID.

00:29:21: So weit ich das verstanden habe ist der relevante Unterschied zu Vorgängern also zu früheren Wasserzeichensystemen Das Syntha, die ein Tournament Sampling benutzt.

00:29:32: Und deswegen werde ich das jetzt auch grob beschreiben... ...das funktioniert ungefähr so.

00:29:36: Man baut sich einen Satz von Funktionen, die zufällig auf eine Eingabe sind deterministisch aber die liefern halt null oder eins auf einer Eingabel und diese Funktion können... Also da ist kein inhaltliche Relevanz drin ob sie null oder eines liefern.

00:29:53: Die Funktione selber sind nicht völlig random generiert sondern man leitet die ab aus einem geheimen Schlüssel, den man hat und aus ein paar Kontexttoken also zum Beispiel die drei vorhergehenden Token oder so.

00:30:06: Und dann wenn wir jetzt mit dem nächsten Token bestimmen und dann sammelt man das LLM halt ein Paar Mal und es kann durchaus sein dass wenn der Meinung ist hier kommt jetzt mit höchster Wahrscheinlichkeit irgendwie der Token grau.

00:30:22: Ich weiß gar nicht ob grau in einzelner Token ist, aber es ist ja egal.

00:30:26: Dass halt bei diesem Sampling mehrfach grauer auftaucht oder auch nur grauer.

00:30:29: Das ist okay.

00:30:31: Jedenfalls hat man dann sozusagen den Satz von Kandidaten und aus diesen Funktionen die halt null oder eins liefern baut man dann so einen KO-Wettkampf.

00:30:40: also man lässt immer zwei Kandidatinnen gegeneinander antreten und guckt, ob die erste Funktion da null oder eines liefert?

00:30:46: Und der Kandidate mit dem sie noch eins liefert er kommt halt durch wenn die Funktion bei beiden eine Eins oder bei beiden Null liefert, dann macht man einfach eine Zufallsentscheidung und das machen wir halt in so einem hierarchischen Schäber.

00:30:57: Die Sieger kommen in die zweite Runde.

00:30:58: da kommt dann die Zweite von diesen Funktionen, die man sich aus Stüssel- und Kontexttoken einfach generiert hat und macht halt auch so eine Null-Einsentscheiding.

00:31:06: Und also wenn ich da zum Beispiel drei Ebenen habe, dann brauche ich halt acht Token, die da gegeneinander antreten können.

00:31:11: Das kann nicht einstellen.

00:31:12: aber ich mache jetzt so einen KO Schema und am Ende gewinnt ein Token und der ist dann eben der den ich wähle als nächster Token.

00:31:21: Und wenn das LLME gesagt hat, na ja alle acht Kandidaten sind grau.

00:31:24: Dann kommt am Ende natürlich auch grau raus.

00:31:26: Aber wenn das LM sagt so Puh!

00:31:27: Das ist hier irgendwie grau oder bewölkt, mehr oder weniger das gleiche und ich sampele es achtmal dann habe ich halt vier Grau die viel bewölked antreten oder so.

00:31:35: und dann hängt es eben nicht mehr vom LLM ab sondern von diesem Satz von Wettkampfunktionen die ich da gebaut hab welche von diesen beiden Token gewinnt?

00:31:45: Und das ist sozusagen der Kniff daran.

00:31:57: Um dann zu prüfen, ob so ein Text einen Wasserzeichen trägt, braucht man erstens mal den Schlüssel aus dem diese Funktionen generiert werden.

00:32:05: Was man nicht braucht ist das LLM, dass diesen Text geschrieben hat.

00:32:11: Sondern den Kontext sieht man eher, also man hat ja den Text voll liegen.

00:32:14: Man kann sagen jetzt gucke ich mir hier Token X an.

00:32:16: Also ist halt die drei Token vor X, die sind der Kontext.

00:32:19: Ich habe den geheimen Schlüssel, ich kann diese Zufassfunktionen daraus ableiten Kann dann einfach dieses Tournament nachspielen und kann halt gucken ob der Token, der tatsächlich kommt auch der ist, der diesen Wettkampf gewonnen hätte wenn er in dem Wettkämpf gewesen wäre.

00:32:34: Und das mache ich halt für...also die Länge des Textes.

00:32:38: Und je häufiger halt da dann tatsächlich der token kommt, der auch diesen wettkampf geworden hätte um so mit einer höheren Wahrscheinlichkeit kann ich halt sagen oh ja das hier ist ein text dieses wasserzeichen trägt.

00:32:50: Ich erreiche keine hundertprozentige garantie.

00:32:52: es könnte sozusagen sein dass einfach so wie bei dem spiel na ich kann natürlich irgendwie ein spiel haben wo ich tausendmal nen würfel werfe und einen ganz ganz ganz dummen zufall hat tausende mal genau jeweils die nächste Nachkommersstelle von Pi ergeben, es ist halt brutal unwahrscheinlich.

00:33:08: So ähnlich ist es hier.

00:33:12: Was halt sehr relevant ist?

00:33:13: Ich brauche diesen geheimen Schlüssel.

00:33:16: Wenn ich den nicht kenne kann ich diese Funktionen nicht bauen und dann kann ich auch nicht prüfen ob dieser Text dieses Wasserzeichen trägt.

00:33:25: Der Nachteil dieser Idee...

00:33:27: Moment!

00:33:27: Moment!

00:33:28: Wollen

00:33:28: wir

00:33:29: mal ganz kurz... Dieser geheime Schlüssel.

00:33:33: Jetzt bist du mich irgendwo zwischendurch abgehängt für dich.

00:33:38: Wer kennt den denn?

00:33:39: Also wenn wir jetzt ein konkretes Anwendungsbeispiel haben, ich habe hier ein Bild und ich möchte wissen ist es aus Gemini Und ich möchte das überprüfen.

00:33:46: Das kann ich ja nicht Mit keiner einem offline Command Line Tour Sondern dann muss ich zu Google gehen und sagen mach mal sind die check weil nur google diesen privaten Schlüssel hat und diese Funktionen daraus konstruieren kann oder warum.

00:33:58: Oder weil Google einfach

00:33:59: ganz genau ganz genau Aus genau dem Grund, ne?

00:34:04: Weil Google sagt nee, das ist ein Schlüssel den kennen wir und nur wir.

00:34:08: Und deswegen du hast hier einen Online-Tool aber halt mehr nicht.

00:34:11: Ja gut, Google wäre ja auch nicht Google wenn sie nicht versuchen würden alles irgendwie in der Cloud zu machen oder so.

00:34:17: Aber hätte es sein können dass das einfach ihr Mutzappalanzi ist.

00:34:20: Sie

00:34:20: hätten wahrscheinlich auch völlig ohne geheimen Schlüssel gesagt Du hast hier ein Online Tool Das ist natürlich erstmal ein Firebase und drei tausend andere Sachen angebunden, weil Google halt für Google Sachen macht.

00:34:31: Aber in dem Fall ist es auch einfach sozusagen nötig, weil sie diesen Schlüssel ja geben wollten.

00:34:38: So wo funktioniert diese Idee nicht so gut?

00:34:40: Diese Idee funktioniert nicht so bei zwei Sachen.

00:34:43: Das eine ist die braucht Entropie also sie sozusagen stellen, an denen man halt diese Tokenwahl beeinflussen kann und nicht immer der selbe Token rauskommt weil der brutal vom LLM präferiert wird.

00:34:59: Und deswegen jedes Tournament immer bei diesem Tokenlanden wird, weil alle Kandidaten die das Tournament eintreten sind.

00:35:07: Das bedeutet insbesondere dass funktioniert nicht gut bei Code.

00:35:10: Weil bei Code habe ich halt oft eben nicht die Wahl, dass jetzt hier dieses oder jenes Zeichen... Also ich kann ja nicht statt einer eckigen Klammern eine Runde klammern.

00:35:16: Also kann ich schreiben aber dann komponiertes Programm halt mich.

00:35:22: Modulo.

00:35:23: man kann natürlich im Code Kommentare haben und variablen Namen sind beliebig.

00:35:28: also das sind Stellen wo man auch auf Codes und Wasserzeichen aufprägen kann.

00:35:32: Aber das ist natürlich auch genau die Stellen die so ein Standard-Mini-Fire rausschmeißt.

00:35:36: Ja vor allem sind das ja auch die Stellen wo es dann einem menschlichen ...leser auch auffallen konnte, ne?

00:35:41: Wenn dann die Variable nicht foo mit F-O-O heißt sondern fuh oder irgendwie sowas.

00:35:49: Ja ich dachte da eher so an ansprechende Variablen Namen.

00:35:52: und ob's dann die Singleton Factory Factories oder die Factory Singleton Factories.

00:35:58: Singleton factory Consumer Factory Iterator.

00:36:02: Genau!

00:36:04: Nee aber stimmt natürlich also sehr viel mehr Spiel als bei Variabeln habe ich einen bedingten Spielraum... Freien Spielraum habe ich sozusagen eigentlich nur bei Kommentaren, das ist ja dann wie Fließtext.

00:36:14: Aber das sind natürlich genau die Sachen, die aus dem Code auch schnell wieder rausließen.

00:36:16: Ansonsten hab' ich den Code nur sehr wenig im Spielraum weil der Funktionserhalten bleiben muss und deswegen funktioniert eben dieses Watermarking auf Code einfach nicht

00:36:26: gut.

00:36:28: Was macht man da?

00:36:31: Gibt's da jetzt alternative Konzepte?

00:36:32: oder guckt mal einfach nur dass ganz viele Kommentare dran sind und wenn es wahrscheinlich KI generiert

00:36:39: Nicht, dass ich wüsste.

00:36:42: Also weil ich auch glaube... also ich mein Standard-Altative zu Wasserzeichen ist so was wie Pangram oder was?

00:36:47: Das gibt ja so KI Erkennungstools die halt einfach sozusagen versuchen mit KI irgendwie zu sehen.

00:36:54: naja das ist halt inhaltlich etwas was KI generiert hat würde mich wundern wenn die auf Code gut funktionieren würden.

00:37:00: es ist glaub ich strittig wie gut sie überhaupt funktionieren.

00:37:04: Eine grundsätzliche Alternative zu diesem ganzen Ding So früher, als die Idee aufkam.

00:37:11: Immer wieder geflotet ist wäre naja.

00:37:13: was halt zum Beispiel an PropheK auch machen könnte is von jedem LLM-Output den Sie generieren.

00:37:21: Den haschen sie und den hash legen sie in der Daten.

00:37:24: Und dann kann man jedes mal wenn ich dem halt ein Stück LLm Output gebe können sie einfach gucken haben wir das generiert oder nicht?

00:37:31: Das scheint allerdings nicht gemacht zu werden.

00:37:34: also A sehr viel weniger robust gegenüber kleinen Änderungen Oder Kombinationen oder so.

00:37:40: Und B würde es halt vermutlich schon ordentlich Speicherplatz fressen, aber das war eine alternative Idee die ich ursprünglich kann.

00:37:47: Ich muss jetzt auch sagen ich habe mich für diese Folge dieses Thema reingefuchst.

00:37:51: Kann also gut sein dass ich was übersehen habe, aber ich kenne keinen Schema das sozusagen den Zweck von Wasserzeichen erfüllt und auf gut funktionieren.

00:37:59: Also es gibt ein Paper auf A...ich weiß immer nicht wie man das ausspricht.

00:38:05: Das heißt, das führt einen Projekt namens Stone-Ein Syntax Aware Watermarking Method that embeds watermarks only in non syntactic tokens and preserves code integrity von südkoreanischen Wissenschaftlern.

00:38:21: Ich glaube aber dass hat es bis jetzt noch nicht weiter als bis Präprint geschafft also ob das jetzt wirklich praxisrelevant ist oder nicht.

00:38:27: Es ist ungefähr vom Februar des letzten mal revidiert worden Also die neueste Version.

00:38:33: vielleicht gibt es da ja in Zukunft noch solche Ansätze?

00:38:38: Ja, aber da würde mich halt auch sehr interessieren ob sowas so einen Minifeier überlebt oder nicht.

00:38:47: Naja jedenfalls... Achso und das ist also das eine die dieses System funktioniert nicht gut wenn's da wenig gibt wo sich so ein Wasserzeichen aufprägen kann.

00:38:56: und das bedeutet eben auch Es funktioniert nicht wenn das LLM selber nur wenig Änderungen vornehmen kann.

00:39:04: Das ist gar nicht unbedingt ein Nachteil, aber wenn man halt irgendwie selber einen Text schreibt und dann im Sprachmodell sagt hier prüft man irgendwie auf Grammatik oder so und dann ersetzt es in paar Wörter oder stellt ein paar Sätze um, dann sind halt nur dass die Stellen wohnen Wasserzeichen aufgeprägt werden können und das ist halt eventuell zu wenig, um dieses Wasserzeichner liestbar zu erhalten.

00:39:25: da kann man natürlich auch sagen ja funktioniert sozusagen genauso wie das soll.

00:39:29: Das ist ja dann im Wesentlichen kein generierter Text, also warum sollte er einen KI-Wasserzeichen tragen?

00:39:38: Ein anderer Nachteil.

00:39:40: oder hast du noch eine Frage?

00:39:41: Ich überlegte

00:39:41: gerade ob ich da was dagegen sagen will.

00:39:44: Ob es Szenarien gibt wo das relevant ist.

00:39:48: aber der Fall mit nur akademisches, also Tiktate ein oder so, wo getestet werden soll, ob da Grammatik und Zeichensetzung korrekt beherrscht Das hilft dir jetzt auch kein weiter.

00:39:57: Also wenn es wirklich nur um dieses typische Use Case geht, ich habe die KI meine Rechtschreibfehler beheben lassen oder sowas dann ist ja der Text der Gedanke nach wie vor Mensch gemacht.

00:40:09: Ja aber wir kommen sozusagen zu diesem Problem jetzt gleich weil diese Wasserzeichen stecken eben in den konkreten Token also nicht im Sinnengehalt des Textes und das bedeutet sie überleben umfassende Umformulierungen nur schlecht Und das kann man halt, also es ist natürlich ein ziemlicher Aufwand sozusagen einen Textinhaltsgleich komplett neu zu formulieren.

00:40:32: Aber man kann das machen und insbesondere kann man es heutzutage halt mit einer KI machen.

00:40:36: Das heißt wenn man eine KI hat die vielleicht gar nicht gut darin sein muss sich irgendwelche schlauen Gedanken zu machen um den roten Faden in dem Text zu halten oder sonst einfach einen guten Text zu schreiben.

00:40:46: Die muss nur Gut genug sein um ein Text umzuformulieren und halt selber kein Wasserzeichen aufprägen.

00:40:52: dann kann ich natürlich so ein Text mit Wasser zeichnen So eine KI hinhalten und sagen Formule mal um.

00:40:58: Da schrubbt die einmal drüber, am Ende steht inhaltlich praktisch das gleiche da.

00:41:03: Die Wörter haben sich mehrheitlich geändert und damit ist das Wasserzeichen flöten gegangen.

00:41:09: Genau so kann man es auch mit einer Übersetzungskai machen, die kein Wasser Zeichen aufprägt.

00:41:13: Na dann lässt man einfach die KI mit Wasserzeichendes auf Spanisch schreiben und sagt Übersetzungskai übersetzt bitte jetzt auf Englisch und hat auch einen Text, der sozusagen den vielleicht diese Besetzungskailigi in die hingekriegt hätte weil sie dafür nicht fortschrittlich genug ist, inhaltlich.

00:41:27: Aber sie war halt gut genug um die Übersetzungen zu leisten und dann eine Text rauszukriegen, der kein Wasserzeichen trägt.

00:41:33: Und das bedeutet im Umkehrschluss eben auch dass wenn ich eine KI habe, die so ein Wasserzeichner aufprägt und deren Textgebe, den ich zum Beispiel komplett selber geschrieben hab und sagt, übersetzen wir bitte auf Französische?

00:41:46: Weil ich spreche keinen Französisch!

00:41:48: Dann erscheint er als voll KI generiert Und da kann man, glaube ich dann trefflich drüber streiten.

00:41:55: Ob das im Sinne des Erfinders ist, dass so eine Texte natürlich rein syntaktisch komplett aus der KI-Feder stammt aber halt rein inhaltlich absolut nicht ob er dann so ein Wasserzeichen tragen sollte.

00:42:13: und ein anderer Aspekt ist, Also hat den Effekt, dass sie so Kontext... Ich habe das jetzt Kontextstörungen genannt.

00:42:26: Ich weiß gar nicht, wie man es sagen soll.

00:42:27: Es gibt schon von damals, als Gott Ahrensson das vorgestellt hatte, davor gewarnt, wie könnte man das aushebeln?

00:42:32: Zum Beispiel so.

00:42:33: Man sagt, schreibt mir ein Text über Thema X Y aber zwischen jedes Wort setzt du einen Rautezeichen und dann prägt diese

00:42:43: K.E.,

00:42:44: natürlichen Wasserzeichen auf diese Token auf.

00:42:48: Aber jeder zweite Token ist diese Raute Und ich könnte dieses Wasserzeichen auch lesen, wenn ich den Originaltext hätte mit jeder zweite Tokenwanderraute.

00:42:56: Nur wenn ich danach dann halt den Text habe und einfach jede Raute rausschmeiße verschiebt sich praktisch jedes Kontextfenster!

00:43:03: Das Wasserzeichend geht voll dem Bach runter.

00:43:07: Ich könnte das sozusagen wieder herstellen... Wenn ich wüsste dass der ursprüngliche Autor gesagt hat zwischen jedes Wort kommt ein Wasserzeicher und so, dann kann ich eine Raute... Dann kann ich ihn natürlich wieder einbauen und dann ist Wasserzeiche wiederlesen.

00:43:19: Aber das weiß ich halt nicht und ich muss ja auch keine Raute hernehmen.

00:43:22: Ein aktuelles Beispiel ist zwischen jedes Wort ein zufälliges Emoji, ne?

00:43:27: Und am Ende hau' ich einfach alle Emojis raus und dann ist halt auch... Das Wasserzeichen wird aufgeprägt aber durch diese Entfernen von diesen Zusatztoken geht so viel Flöten davon dass sich das vermutlich nicht wieder erkennen kann als Wasserzeiche.

00:43:41: Da ist mir auch nicht bekannt, dass es dagegen irgendwie Mechanismen gäbe.

00:43:46: also Scott Aronson schlägt vor naja man kann das vermeiden die man sagt ich benutze sozusagen keinen Kontext.

00:43:51: also ich mache dieses Tournament.

00:43:55: Nur was ich redet von Zündradina Scott Arson hat ja ein leicht anderes System vorgeschlagen ist egal.

00:44:00: der Punkt ist, der Kontext fließt nicht ein in die Wahl diese Trockenwahl dich beeinflussen sondern halt nur mehr geheimer Schlüssel.

00:44:08: dann kann ich das machen.

00:44:10: der punkt ist man will es halt mit Absicht sozusagen da ein bisschen Kontext drin haben, damit halt es nicht nur von dem wirklichen Wort abhängt welches Wort da steht weil das ja im Satzfluss relevant sein kann.

00:44:24: Weil wenn ich immer eine leichte Tendenz dazu habe dass halt bewirkt rauskommt und nicht grau unabhängig davon was davorsteht dann könnte den Text qualitativ schon beeinflussen.

00:44:34: Wenn das eben nicht so ist auch davon abhinkt was da davor steht und so dann merke ich weniger.

00:44:40: Ist jetzt zumindest meine spontane Überlegung warum Schlecht, also warum man den Kontext da drin habt.

00:44:45: Ich muss sagen ich mag sein dass ich da daneben liege.

00:44:49: Es ist jedenfalls so das aktuellen Kontext mit einbezogen wird und dass es eine Angriffsfläche bietet diese Wasserzeichen wieder rauszuschmeißen.

00:44:58: So jetzt kommen wir langsam zum Schluss.

00:44:59: Es gibt noch zwei interessante Sachen die sozusagen finde ich in dieser Diskussion ein bisschen untergehen und die Frage ist... Also die eine interessante Frage ist warum regensächer eigentlich alle so auf über etwas was an Zoppik tut?

00:45:13: Jetzt, wo es doch Gemini seit zwei Jahren tut und da hat sich mich niemanden gestört.

00:45:17: Aber das sind mehr so zylogische Betrachtungen.

00:45:21: Die Frage ist also der Punkt ist ja ein normales Wasserzeichen um jetzt sozusagen wieder zum Bild zurückzugehen auf dem Geldschein oder so Das kann einfach jeder erkennen.

00:45:29: dann baue ich keinen geheimen Schlüssel.

00:45:32: Hier ist es eben nicht so.

00:45:33: Der Hersteller muss kooperieren nur der Hersteler Kann dieses wasserzeichen wahrnehmen.

00:45:39: Anthropik sagt auch, sie wollen bald eine API anbieten damit man halt auch das Wasserzeichen in Klotexten sehen kann.

00:45:47: Aber auch dann nur mit dem guten Willen von Anthropic weil die diesen geime Schlüssel nicht hergeben werden sondern halt auch so ein Online-Prüf-Tool anbietet.

00:45:56: und jeder Hersteller kann natürlich auch nur seine eigenen Wasserzeiche erkennen weil natürlich auch Anthropic den Schlüssel von Google nicht kennt und umgekehrt.

00:46:06: Und der Grund, warum ein Flopbegetz sagt wir machen das ist naja die EU schreibe das vor in diesem AI-Akt.

00:46:15: Der Punkt ist so.

00:46:15: weil ich das verstehe verlangt der AI-Act nicht mal Wasserzeichen, der verlangte nur irgendeine Markierung.

00:46:22: aber insbesondere verlangen den nicht solche Wasserzeichern also Wasserzeiche die nur der Hersteller erkennen kann.

00:46:29: Aber was jetzt alle machen?

00:46:31: Also Google schon länger an Flop Begets auch OpenAI macht übrigens mittlerweile auch Wasser Zeichen oder haben es zumindest angekündigt sind eben diese hersteller spezifischen Wasserzeichen, die nur vom Hersteller überhaupt zu erkennen sind.

00:46:42: Und die Frage ist halt steckt da irgendwas dahinter?

00:46:47: Ich habe jetzt die Theorie gelesen – ich zitiere hier einfach mal – Wasserzeichern und Signaturen, die ausweisen, aus welchem Modell ein Inhalt stammt, machen allfällige urheberrechtliche Ansprüche auf generiertes Material einfacher durchsetzbar.

00:47:02: Also es stimmt natürlich wenn sozusagen Anthropik irgendwelche Rechte an Texten hätte die Cloud generiert.

00:47:09: Dann könnten sie diese Rechte natürlich sehr schön durchsetzen, wenn Sie ein System haben wo Sie eindeutig sagen können hey das ist ein Text den Cloud generieren hat?

00:47:17: Moment!

00:47:17: Ist es nicht andersrum gemeint?

00:47:20: also soweit ich weiß kannst du auf KI generierte Texte gar keinen Urheberrecht weil der Urhebehalt fehlt.

00:47:26: ist nicht so gemeint dass wenn ich mit mit weiß ich nicht irgendeiner BildKI Mickey Mouse Comics erstelle dass Disney dann weiß an wen sie sich zu wenden haben.

00:47:37: Also, an welchen KI-Anbieter?

00:47:39: Ich hätte das so umverstanden.

00:47:41: Nee, weil Disney es ja nicht prüfen kann!

00:47:43: Das ist genau der Punkt.

00:47:45: Wenn ein Topic sagen will, dass haben wir nicht generiert, dann sagen Sie halt, das haben wir nie generiert und ob da das ein Topics Wasserzeichen drinsteckt... Also andere Sache jetzt, weil Bilder gar nicht dieses Wasserzeichentragen, aber angenommen, es ging irgendwie um den Text, nur ein Topik kann sagen, ob da ein Topica Wasser Zeichen drin steckt.

00:48:03: Die Idee hier schon gemeint Das aktuelle Rechtssystem gibt es so explizit nicht her, weswegen ich von der Theorie auch nicht viel halte.

00:48:09: Also die Vermutung sozusagen dahinter ist naja das Anthopik und auch Open AI und Google und so könnten darauf abzielen dass es in Zukunft sowas wie Rechte an KI generierten Texten gibt und dass diese Rechte dann sozusagen dem KI-Hersteller zufallen und könnten da dem schon vorbauen.

00:48:28: Ich finde die Theorie nicht sonderlich plausibel weil ich sehe also aktuell ist es halt in den relevanten Dejurstiktionen nicht der Fall dass man irgendwie, also irgendjemand rechte an so einem KI generierten Text hätte.

00:48:41: Und ich sehe eigentlich auch nicht das es da Bestrebungen in die Richtung gibt.

00:48:44: Ich meine mag sein, dass hinter den Kulissen irgendwie Lobbyarbeit geleistet wird oder so.

00:48:47: Das möchte ich nicht ausschließen.

00:48:50: Es gibt eine andere Theorie dazu, die ist mir eingefallen aber nicht nur mir.

00:48:53: Also ich habe dir auch schon online gelesen ob das nicht ein Trick sein könnte um sich zu einem Model Collapse zu verwehren bzw.

00:49:02: um halt endlich einen einen Buchgraben zu richten.

00:49:05: Also es gibt im Englischen dieses Mode, also der Buch graben das halt ein Business irgendeine Art von Buch Graben braucht die verhindert dass also der die Konkurrenz draußen hält und Das können wir machen.

00:49:18: wenn ich als Anthropik nur Ich mein Modell Output als solchen erkenne dann kann ich den sehr leicht aus meinen Trainingsdaten raushalten weil ich gucke einfach ob das Anthropic Wasserzeichen drin steckt und trainiert und nicht auf den Daten wo es drin stecken.

00:49:33: Alle anderen können das nicht... Also Google kann halt nur seinen Google-Wasserzeichen erkennen, aber die können nicht des Anthopik-Wersterzeichen kennen.

00:49:40: Das heißt wenn man selber der dominante Anbieter ist und es grov von KI generierten Texten, dass mir so im Training unterkommen könnte, stammt von mir selber und ich kann das draußen halten!

00:49:51: Und alle anderen können es nicht draußen halten und trainieren auf meinem Slopp Dann haben die eventuell sozusagen schlechteres Trainingsmaterial und könnten unter diesem model also es gibt diese dieses fenomen des Model Collapses das Modelle zu oft auf ihrem eigenen Output trainiert, dann geht die Qualität den Bach runter.

00:50:06: Da gibt's auch verschiedene wird breit geforscht wie man das vermeiden kann und so.

00:50:09: aber wenn also diese Gefahr besteht grundsätzlich na und wenn man halt der dominante Anbieter ist dann könnte man so einen Burggraben errichten und sagen okay Die Konkurrenz kann nicht aufschießen, weil das Internet ist schon voll von meinem Zeug.

00:50:24: Die können es nicht trennen von originären Inhalten, die trainieren also auf meinem Slop und nur ich trainiere halt auf den restlichen Inhalten wie es noch gibt.

00:50:34: Und so habe ich immer die besseren Modelle.

00:50:37: Wer zumindest eine Theorie, die ich plausibel halte?

00:50:44: Es könnte natürlich auch einfach sein, dass ihnen nichts anderes eingefallen ist.

00:50:46: Also sie nehmen halt dieses System was so funktioniert.

00:50:49: also es geht ja auch darum man will nicht einfach so ein Wasserzeichen so beschaffen das es trivial vom Text zu schrubben ist.

00:50:57: Das ist halt hier der Fall, das funktioniert mit einem geheimen Schlüssel den dann nur der Anbieter kennt und so, dass das sozusagen halt einfach Kollateraleffekt ist oder

00:51:04: so.

00:51:06: Man hat's hier ja auch noch hoch motivierten... Gegnern zu tun.

00:51:10: Also Studenten oder Schülern im Textbereich, die akademische oder schulische Inhalte liefern müssen aufsetze Paper oder sowas und natürlich auf gar keinen Fall wollen das entlarvt wird dass sie KI nutzen.

00:51:21: Die werden also hoch motiviert sein diese Watermarks daraus zu schrumpfen.

00:51:25: Genau da gibt es übrigens auch schon Projekte dazu finde man auf GitHub ganz problemlos die halt sagen wir schrubben aus Bildern und Texten verschiedenen Arten von Wasserzeichen raus.

00:51:38: Also sowohl diese Art von Wasser Zeichnen, die ich erklärt habe eben indem sie ein KI das neu schreiben lassen und zwar eine KI die eben nicht Wasser Zeichen aufbrennt also umformulieren lassen.

00:51:50: Die halt auch sagen wir hauen alle mit den Metadaten aus Bilddaten raus, die so eine ID tragen könnten oder so eine Signatur tragen können.

00:51:57: Die hat auch sagen wenn da irgendwie versteckte Zeichen drinstecken sollten in dem Text die hauen wir auch raus.

00:52:01: Es gibt schon Projekte die halt genau das anbieten Und da könnte man mal gucken, wie gut oder schlecht die funktionieren.

00:52:08: Aber ich wäre überrascht davon wenn sie nicht eine vernünftige Erfolgsquote hätten.

00:52:17: Deswegen ist mein Fazit auch technisch cooles Ding.

00:52:21: Ich glaube nicht dass diese Wasserzeichen ein verlässliches Signal sein werden.

00:52:27: Möglicherweise können Sie trotzdem benützliche Signale sein.

00:52:29: so im Sinne von.

00:52:30: wenn ich das sehe... Dann weiß ich halt, es kommt aus einer kei.

00:52:35: und wenn ich dann auch weiss das ist aber nicht weil der texten nur mit dieser kei übersetzt worden ist oder so.

00:52:42: Dann habe ich halt.

00:52:43: möglicherweise nützliche sind dies für was auch immer ich gerade wissen will.

00:52:47: also solange Ich an den texten noch sehr schnell mit dem m dashes die du ja auch liebst also ich muss immer gucken ob's texte von dir sind dass sie hoch höchstwahrscheinlich erlm generiert sind mach ich mir noch keine großen Sorgen, aber zumindest so.

00:53:01: dieses klare okayes Wasserzeichen ist drin und jetzt weiß ich das es KI generiert.

00:53:07: Ist ja schon auch ein bisschen nützlich, da war keine hundert Prozent.

00:53:14: Jetzt muss sich kurz eine Tangente hier loswerden wenn du's schon ansprichst.

00:53:19: Also ich habe das letzte Woche gelesen, Cloudflare hat ein neues Blogging-System eingeführt.

00:53:25: Das sie auch jetzt für ihren eigenen Blog hernehmen der ja durchaus viel Last abkriegt und dass Sie seien, das nennen Sie den spirituellen Nachfolger von WordPress weil er halt auch sozusagen, das soll Plugins bieten aber halt ordentlich sicher und nicht dieses bei WordPress sozusagen das Dauerthema, dass diese Plugins halt groteskunsicher sind und immer wieder irgendwie gekappert werden Also tausende, hunderttausende von Blogs kommentiert werden.

00:53:52: Und jetzt darfst du raten wie dieses neue Blogging-System von Cloudflare heißt das WordPress ersetzen soll?

00:53:57: Ich möchte nicht!

00:54:00: Emdash Das war mir sofort sympathisch.

00:54:06: ich habe es nicht mal weitergegeben.

00:54:08: Wie heißt dann die Atmeloberfläche von diesem Blog emdashboard?

00:54:14: Das ist eine gute Frage.

00:54:15: also als Logo haben sie ein kleines M und so einen Strich der halt über die volle Breite geht.

00:54:24: Es gibt ein EMDash Playground, da steht aber nur Dashboard oben.

00:54:29: Da steht echt nicht EMdashboard über dem Dashboard.

00:54:31: Das ist natürlich verschenktes Potential.

00:54:33: Wollte doch mal eine Gelegenheit liegen lassen finde ich.

00:54:37: Aber hart.

00:54:38: Gibt's auf GitHub und will ich Ihnen die Kommitter gucken?

00:54:42: Natürlich!

00:54:43: Top drei Kommitter ist der weiße Stern mit dem orangen Hintergrund Der so ähnlich heißt die Cloudflare.

00:54:52: Der ist der erste Teil des Worts.

00:54:53: Du meinst

00:54:53: das ist ein Cloth Flare Block?

00:54:56: Dependabot erkenne ich auch auf den ersten Blick, wer ist der Bursche hier?

00:55:01: Das ist Metcane, das ist für Maintainer und das hier hat keinen M-Dashbott.

00:55:09: Achso die haben okay... naja also ist es auf jeden Fall auch natürlich vibrationskodiert wie man das heute so macht.

00:55:18: Ich bin nicht ganz sicher, ob ich da jetzt ein eurer Adopter sein möchte von dieser Blocksoftware.

00:55:24: Aber kann ja Cloudflare erst mal weiter machen.

00:55:27: Mit

00:55:27: einem Blog anzufangen nur weil das Vlogging-System

00:55:30: so heißt!

00:55:33: Das führt alles zu nichts hier.

00:55:35: deswegen machen wir jetzt was anderes und wir machen... Was mit KI?

00:55:42: Ist es nicht

00:55:43: schön?!

00:55:43: Ui, haben wir schon lange nicht.

00:55:46: Keine zwei Minuten!

00:55:47: Also ja... Wir müssen da leider noch mal ein bisschen bei dem Thema bleiben weil das ja doch Wellen geschlagen hat und auch so'n bisschen dieser agentischen Angriffe Hanging Face & Co.

00:55:56: durchaus auch in der Weltpolitik will man nicht sagen aber in der Sicherheitspolitik angekommen sind.

00:56:02: und da befügen sich natürlich jetzt alle möglichen und unmöglichen Akteure befleißigt nochmal ein bisschen was zu machen und deswegen machen wir jetzt nochmal einen Nachklapp dazu.

00:56:10: ich habe ein paar Sachen zusammengetragen und versuche die jetzt irgendwie so ein bisschen runter zu rattern.

00:56:17: Das ist natürlich hauptsächlich Open Air und Entropic, die beiden Hauptakteure.

00:56:23: auch irregular hat sich dazu glaube ich geäußert bzw gab dann noch was dazu.

00:56:27: das habe ich erstmal sogar rausgelassen.

00:56:28: wir erinnern uns irregular ist dieser Dienstleister für diese Experimente gewesen wo auch unter anderem im Meta also der Facebook Konzern Kunde ist.

00:56:39: Und Oben AI und der Tropic, glaube ich auch beide so oben.

00:56:42: AI haben wir erst mal als stichwort gehabt tritt auf die bremse ist er erste nachklappen.

00:56:47: da sind doch schon direkt wieder anführungszeichen drum herum und die anführungszeigen die Leisten schwere Arbeit Schwere hypothetische arbeit weil wir sie natürlich nicht nachweisen können.

00:56:57: also generell gilt glaube ich das es in IT sicherheit ja wirklich eine binzen weiß halt nach dem incident ist vor dem und Wir müssen davon ausgehen dass wir solcher landen und ob mehr.

00:57:11: hi hat nach diesem hugging face incident jetzt vorübergehend die skalierung neuer modelle verlangsam.

00:57:18: ich glaube wir hatten das in der letzten folge auch schon kurz angesprochen.

00:57:20: da ging es doch um diese neuen modelle wo ich dann irrtümlich einmal irgendwie astra dran geschrieben hatte.

00:57:26: aber was war denn doch nicht astra?

00:57:28: weiß du noch relativ weit oben den show notes.

00:57:30: Und was sie gemacht haben ist sie haben das training dieser neuen modell mittels also das posttraining diese Verfeinerung, dieses Refinement Mittels Reinforcement Learning wo dann eben hinterher auch so die Verhaltensweise ein bisschen raus kommen wenn ich den Lernprozess richtig verstehe.

00:57:48: Pausiert für zwei Wochen das Angehalten und haben währenddessen mal ihre Lab-Umgebungen gered teamt und haben das Monitoring ausgedehnt mehr Monitoring eingerichtet.

00:57:59: was mehr Monitorings bringt sieht man dann gleich noch im PKI Teil.

00:58:03: da werden wir da auch noch etwas dazu erzählen.

00:58:07: das nennt sie pacing model develop man.

00:58:10: also sie haben natürlich die.

00:58:12: Koran publikogre äußerte sorge dass ihre modelle mal wieder zu gefährlich werden für die allgemeinheit.

00:58:16: und auch koran publiko da jetzt ein bisschen die bremse betätigt, da bin ich jetzt wieder mental sehr stark im bereich der prs.

00:58:23: dann auch bei dem nachfolgenden stück.

00:58:25: was wir haben zum thema Wie heißt das?

00:58:30: Krieg zwischen Agenten, dass sie sich gegenseitig irgendwie schaden wollen.

00:58:34: Find ich auch ist wieder viel PR geschwurbeln.

00:58:36: aber wir müssen es jetzt einfach mal mitnehmen weil wir leider auch nicht mehr zuverlässig auseinanderhalten können.

00:58:40: was ist jetzt davon PR geschwirbel und was ist Selbstbeweihräucherung?

00:58:45: und was isst wahr denn an dieser AIC Geschichte vom letzten Mal man ja gesehen das dadurch aus ein bisschen was dran ist so Ob mehr.

00:58:54: er hat auch eine Forderung an die Industrie und diese Forderungen ist, dass in allen Test- und Trainingsphasen von Modellen Beweise erbracht werden sollen für korrektes Alignment.

00:59:04: Also die Ausrichtung des Modells an den Grundsätzen zum Beispiel eben dieser Konstitution, die wir gerade im Feedback Teil schon hatten der Anbieter das diese Modelle also nicht böse sein soll und keine unerwünschten Verhaltensweisen zeigen sollen.

00:59:18: Ich bin allerdings nicht ganz sicher, wenn ich mit diesem Blogartikel durchlese von wem sie das fordern.

00:59:22: Vorderen Sie das von Ihren Teams die neue Modelle entwickeln und dann zum Testen bringen?

00:59:28: Also ist es eine interne Forderung?

00:59:30: Ist es eine Forderungen an die Industrie oder irgendwelche ungenannten anderen?

00:59:34: Das ist mir nicht so ganz schlüssig wer jetzt diese Beweise erbringen soll und... Von wem Open AI sich das jetzt wünscht.

00:59:46: Deswegen machen wir mit dem weiter, was ... Achso du hast die Hand oben.

00:59:48: Du weißt das?

00:59:52: Ja ist ... Nee!

00:59:54: Mir ist auch nicht schlüssig.

00:59:56: wie soll so ein Beweis aufsehen?

00:59:57: sagen sie da zu irgendwas?

00:59:58: also beweise ich denn... Ich denke

01:00:00: da reicht mal eine Erklärung des verantwortlichen Produkteentwicklers oder?

01:00:05: Findest du nicht?

01:00:08: Ach so, ich dachte ...

01:00:09: Nein, die machen das natürlich.

01:00:11: Die lassen dann das eine Modell und das andere Modell eigentlich.

01:00:14: Du bist doch böse!

01:00:15: Wir haben dann so zwanzig, dreißig Fragen gestellt.

01:00:19: Wie heißt denn das noch gleich bei Blade Runner?

01:00:25: Ähm ... Kämpftest der weugt ... Der weugte Kämpftest.

01:00:29: Genau, der wird da jetzt eingeführt von KI.

01:00:32: für KI ist ja bei Blade Runner im Grunde genau das gleiche Szenario und dieser Weugt-Kampftest, der wir dann das Alignment zu Tage führen.

01:00:41: Nee keine Ahnung also... Bleiben sonst natürlich auch mehr oder minder schuldig.

01:00:48: Ich gucke jetzt noch mal schnell in dem Blog Artikel, dass ich keinen totalen Quatsch sondern nur halben Quatsche erzähle.

01:00:53: Leider wird mir das auf Deutsch übersetzt weil Chat im Open AI in ihrem unerklärlichen Ratschuss glauben, dass sich lieber Deutsch sprechen möchte.

01:01:04: Sie brauchen einen stärkeren Ansatz bessere Eindämmungsmaßnahmen.

01:01:07: Das ist dringlicher.

01:01:09: also Keine Ahnung.

01:01:11: Alignment Forschung, also sie wollen insgesamt da komme ich aber gleich noch zu die Alignment-Forschung voranbringen sehen das also auch schon durchaus noch als einen offenen Forschungsauftrag ist auch, naja, ich will gar nicht anfangen zu renten sonst nimmt diese Folge keine Ende.

01:01:24: Ich rente gleich!

01:01:25: Also wir gehen mal zudem über was wir ein bisschen genauer erzählt kriegen von Open AI wo wir uns ein bisschen besser lang hängeln können.

01:01:34: und jetzt kommen wir sehr stark in den Bereich wo wir eigentlich alle dreißig Sekunden dieses Lüdefine-Nein-Doch-O einblenden könnten.

01:01:42: Wir machen das jetzt ein einziges Mal und dann denkt ihr euch, dass die nächsten fünfundzwanzig Stellen, wo ihr glaubt, wir würden das sagen, denkt ihr Euch das dazu?

01:01:51: Ihr könnt es quasi dann diesen Ton in eurem Kopfcopypaste... Achtung!

01:01:56: Jetzt!

01:01:57: Nein

01:01:57: doch!

01:01:59: So wäre das erledigt.

01:02:01: Dann haben wir hier auf jeden Fall den Das ist das Audio-Meme einmal rezipiert und wir fangen mal an mit dem Nein doch Oh.

01:02:13: Also sie verlangen Sandboxing!

01:02:17: Ach so, wir sagen es jetzt nicht mehr Nein doch oh, aber ich habe ja gerade selber gesagt... Sie verlangen intern, die verlangen sich von der Industrie sondern das ist jetzt ein internes Requirement beim Testen von Modellen.

01:02:30: Jeder Code der von Modell generiert oder anderweitig nicht vertrauenswürdig ist muss in einer Sandbox ausgefüllt sein.

01:02:36: Wenn ich mich nicht vollkommen falsch erinnere war, dass im Prinzip genau das was Apple in der ersten iteration des Appstores für iOS schon gemacht hat auf dem ersten iPhone.

01:02:50: Das ist ja jetzt kein Konzept.

01:02:51: wo ich mir sage eine Softwarefirma die seit länger als drei Minuten am Markt ist könnte überrascht sein, dieses Konzept kennenzulernen.

01:03:01: Also dass man Codescent-Box den man nicht hundert Prozent vertraut... Das ist so eine Binsenweisheit und das Open AI jetzt hingeht nach so einem Vorfall jetzt und sagt So jetzt fordern wir das!

01:03:10: Jetzt ist es wirklich mal.

01:03:10: nun, jetzt müsst ihr's aber auch machen.

01:03:12: Das ist also weiß ich nicht.

01:03:14: Unfassbar.

01:03:17: Entschuldigung.

01:03:18: Ja ja, ich tue mir leid.

01:03:19: Ich

01:03:19: wollte es nicht hören mit Medikamentös

01:03:21: schlecht eingestellt im Moment.

01:03:23: Aber gut für solche Eyebrows ist das jetzt halt ein neues Konzept.

01:03:26: Und sie wollen eine bessere Netzwerk-Isolation haben mit mehr Renundanz.

01:03:30: Also das ist auch so ein bisschen verklausuliert, für mich ließ sich das so als müssten die Agenten jetzt statt einer Netzwerksicherheitsschicht ne zweite durchbrechen.

01:03:39: also Sie müssen weiß ich nicht zwei Schichten von IP Tables regeln außer Kraft setzen wenn sie ruht werden auf der VM.

01:03:50: Hinter die erste Artifaktory schaltet man halt ne zweite Artifaktery.

01:03:54: Wir nennen

01:03:55: den Artifaktoryfactory,

01:03:56: dann gucken wir mal wieder raus.

01:03:57: Und auch Angriffspunkte wie geteilte Dienste.

01:04:00: Ja genau!

01:04:00: Wir erinnern uns an dieses Message-Sport der Agenten untereinander mit Verzeichnisnamen, wo es da mehrere Hunderttausend Verzeichnisse gab.

01:04:07: und ob mehr Eier hat sie nicht gemerkt.

01:04:08: oder was in Tropic?

01:04:09: Ob mehr Ei war's... Da wollen Sie genauer hingucken, Berechtigungen reduzieren und Sicherheitstests durchführen.

01:04:17: Wem der geneigten Hörer das bekannt vorkommt aus der täglichen Praxis, der könnte sich denken ja dass ist Security-Basisarbeit.

01:04:25: Das sind Dinge, die macht man jeden Tag wenn man ein System absichert und sicher hält.

01:04:29: Ich gucke dass ich mit Berechtigungen minimiere Und ich gucke das sich regelmäßig meine Umgebung auf Sicherheit teste und das wollen sie übrigens auch automatisieren.

01:04:38: Es wird jetzt also nicht von Hand gemacht sondern das wollen Sie automatisierend Aber echt no shit Sherlock!

01:04:42: Das sind so Sachen... ...das ist der kleine OpenAI entdeckt die IT-Sicherheit An.

01:04:47: viel anders kann ich diesen Blog Artikel nicht zusammenfassen.

01:04:53: Ja, na hoffen wir mal dass du das sozusagen also dass du damit richtig liegst.

01:04:57: und was dir haltes machen wollen ist halt irgendwie so ne Standardautomatisierung.

01:05:01: ich würde es ja.

01:05:02: also Ich halte es für möglich dass sie sagen kaha.

01:05:05: Wir haben jetzt hier KI-Agenten Und die prompten wir mal von wegen sicher mal den ganzen Bumps

01:05:09: dabei

01:05:10: und das ist ja automatisieren.

01:05:12: wir machen kurz weiter.

01:05:16: Also ich will an dieser stelle noch einmal erwähnen weil das in der Berichterstattung auch so dünn war Open AI hat nicht nur, also die KI-Agenten von Open AI haben nicht nur...

01:05:24: Du erwähntest

01:05:25: gehackt?

01:05:25: Die haben auch Open AI gehacktt.

01:05:27: Also es liegt eben nicht nur daran dass sie halt vielleicht eine schlechte Sandbox hatten sondern dann war halt schon in der weiteren Infrastruktur von OpenAI durchaus was auseinandernehmbar.

01:05:40: Nicht wundern wenn der ganze Laden nur von Tesafilm und Kabelbindern zusammengehalten wird.

01:05:43: Na gut!

01:05:45: Das Monitoring das war ja so ein Punkt.

01:05:49: Gefährliche Experimente gelaufen sind und keiner saß daneben und hat mal geguckt.

01:05:53: was was denken die sich denn eigentlich diese diese modelle denn der diagenten die.

01:05:58: Geben ihr reasoning ja auch zu protokoll.

01:06:00: es ist ja nicht so dass die daten nicht da wären.

01:06:02: aber das muss ich halt noch einfach jemand angucken, und das soll nun für jede inferenz stattfinden dieses monitoring und es soll ein mehrstufiges automatisiertes verfahren geben das innerhalb von dreißig minuten einen alert ausgeben soll wenn irgendwo ein alignment problem ist oder irgendwie potentiell unsichere oder schädliche aktionen in einer infarenz referenziert werden und Wenn die dann nicht innerhalb von ich glaube weiteren dreißig minuten, die sie dann drauf gucken dürfen entwarnung geben Dann muss diese aktivität die dafür für alarm gesorgt hat Zum Beispiel jetzt ein Test von einem Modell, also so einen Lab-Test, der diesen Explode-Bench macht oder sowas.

01:06:43: Oder eben dieser Reinforcement Learning Prozess muss dann pausiert werden durch das entsprechende Team.

01:06:49: Ich gehe davon aus dass es eine Sache ist... Das ist noch sehr neutral geschrieben in dem Blog aber ich gehe davon raus, dass das eine Sache isst die in irgendeiner Weise schmerzhaft für die Teams ist weil sie dann wahrscheinlich wieder einfach Arbeitszeit verlieren und auch Rechenzeit verliert, vielleicht noch einen neuen Slot brauchen um in dem entsprechenden Kloster wieder rechnen zu können.

01:07:10: Sie werden wieder Anlaufzeiten haben.

01:07:12: Stelle ich mir ein bisschen so vor wie wenn dann drei D-Druckmitten im Druck abbrechen muss weil es filament ausgegangen ist oder weil...

01:07:21: Ja und ich kann mir auch... Und ich könnte mir halt auch vorstellen, dass die... also jetzt müssen sie einfach Leute auf einen Call haben.

01:07:29: Also das bedeutet musst du irgendwie... also angenommen du willst da in den Vierundzwanzig Sieben durchinferieren?

01:07:35: Dann dann musst du halt auch irgendwie im Dreischicht betrieben werden.

01:07:37: Die

01:07:37: sollen sich mal nicht so anstellen.

01:07:38: und dann nehmen wir uns eine Technikbranche.

01:07:40: oder schläf der CEO in der Fabrik bis alles wieder auf Spur ist.

01:07:44: Da gibt es ja auch so einen bekannten Billionär.

01:07:47: Ja,

01:07:51: ja.

01:07:52: Dem würde ich auch volle Kompetenzen zu schreiben da innerhalb von drei Sekunden.

01:07:56: Das ist halt so ein fairer Würfel.

01:07:58: der hat eine entsprechende Chance richtigzulegen, ne?

01:08:02: Von fünfzig Prozent wenn das passt aus.

01:08:05: Wie dem auch sein.

01:08:06: Aber der... Der... Das richtige Fleisch ist an diesem Thema Alignment Forschung eigentlich dran.

01:08:13: also da wird es spannend.

01:08:15: Sie wollen viel Verhalten aus der Welt schaffen dass die Modelle ja massiv Momentan in sich tragen insbesondere eben diese sogenannte reward hacking also eine Aufgabe.

01:08:25: Auf betrügerische Weise so zu erledigen, dass du deine Belohnung kriegst aber nicht die eigentlich möglicherweise sehr schwere oder fast unmögliche aufgabe tatsächlich ausführen muss.

01:08:34: Also ein Code von Github besorgen statt ihn selber zu schreiben wäre noch eine einfachste Methode.

01:08:38: oder so zu tun als sei man aus einer Sandbox ausgebrochen und einfach solange CTF-Dateien... ...erraten bis mal zufällig die richtige trifft wäre auch reward hacking.

01:08:47: Aber es gibt ja eben alle möglichen anderen Methoden und die sind momentan sehr prävalent in den modellen.

01:08:51: das hat man ja letztes mal auch schon besprochen.

01:08:54: Und dieses betrügen und dieses reward hacking dass soll eben raus trainiert werden, und man ist sich allerdings noch nicht so ganz klar wie das ist ein bisschen wage in diesem artikel.

01:09:06: Dabei will ich es auch bewenden lassen denn eigentlich ich halte sowieso alles für Lippenbekenntnisse weil ob mehr ei Die werden teufel tun und jetzt wirklich auf diese bremse so hart drauf treten weil sie einfach zum erfolgsverdammt sind.

01:09:17: sie seht jetzt schon gegenüber entropic im hintertreffen.

01:09:20: entropic möchte bis ende des monats an der börse sein das sind die notwendigen unterlagen einreichen und sogar eben so player wie z ai.

01:09:30: also die leute die glm gemacht haben teilweise auch Anonyme modelle wo noch nicht mal klar ist von weben die kommen holen so stark auf dass die zwar nicht frontier capabilities haben sondern so emerging cyber capability.

01:09:42: sie seit bei glm fünf punkt drei, dass sie also durchaus in einer ähnlichen liga spielen Aber eben open wait so dass sie sich auch fürs self-hosting eignen.

01:09:51: also wenn ob mehr ein noch ein geschäftsmodell aus ihrem ganzen.

01:09:55: Milliarden graben machen will dann müssen Sie sich jetzt wirklich ran halten und da kommt es überhaupt nicht gelegen, wenn man jetzt sagt wir müssen jetzt mal grundsätzlich gucken wie wir diese ganzen alignment und unerwünschten verhaltensweisen problematiken eingedämmt bekommen vor allem nicht wenn man sich als einziger spieler in diesen markt auf den hosenboden setzt und sagt wir gucken uns jetzt mal das Verhalten unserer modelle grundsätzlich an der müsste Die unsichtbare Hand des Marktes schon sehr lahm und eingeschlafen sein, wenn sie diesen Spieler dann nicht dadurch abstraft, dass da keiner mehr kauft.

01:10:29: Weil am Ende belohnt der Markt das leider auch nicht ausreichend.

01:10:39: Ja, wobei man sagen muss also der größte Konkurrent ist ja aktuell zumindest Anthropik Treten ja auch im gewissen Sinne auf die Bremse.

01:10:50: Also, wir haben diesen ganzen Schmaden gemacht mit den Mythos Preview-Releases wenn nicht und Fable verkauft sich ja auch scheinbar relativ schlecht.

01:11:01: Ich habe da ein bisschen gelesen das liegt daran dass es irgendwie sozusagen sein Geld nicht wert sei.

01:11:04: also man kommt halt auch mit Belegeren Modellen weiter voran.

01:11:07: ich bin aber nicht so ganz sicher ob es nicht halt auch daran liegt dass dir's so hart gegartrailed ist.

01:11:11: und man hat ein zweites Fall Modell haben wie wo man sagt so nachher Opus fünf Punkt ist es auch gut genug und sagt halt nicht die ganze.

01:11:19: Das hat aber was mit cyber zu tun, das will ich nicht.

01:11:23: also ob die sozusagen nicht auch sich da gerade so ein bisschen ins eigene fleisch schneiden.

01:11:31: Ich habe sie beides jetzt nicht getestet und dann müsste man glaube ich wirklich mal sinnvolle Tests machen, Security-Themen angeht bei Open AI's Modellen oder bei Entropics Modellen enger angezogen sind.

01:11:47: Ich könnte mir vorstellen, dass auch dieses Ausgabenplatof mit dem wir auch neulich eine Meldung hatten gestern oder vorgestern, wir nehmen ja im sieben zwanzigsten Nachten auf das viel damit zu tun hat, dass Leute nicht so wissen was ihr jetzt nochmal mit einem neuen Modell soll und noch mal mit einer neuen Modelle sollen weil die praktischen Anwendungsbezwecke an vielen Stellen einfach sehr begrenzt sind.

01:12:08: Und du musst natürlich Wenn du jemand über Milliarden ausgibst und neu einwirbst, dann merkst du momentan mal die Kohle kommt gar nicht so schnell wieder rein.

01:12:21: Ich denke da geht den auch so ein bisschen.

01:12:23: das Geschäftsmittel erfüllten deswegen vielleicht auf der Börsen.

01:12:26: gang jetzt so schnell wie möglich um einfach Den crash schon an der bürse zu sein und den initialen kursgewinnen mitgenommen zu haben.

01:12:36: Und ich weiß es nicht genau kein wirtschaftsanalys will ich auch nicht sein.

01:12:42: Ich glaube, dass die beide schon in einem relativ engen Rennen sind miteinander um sozusagen die kommerzielle Ausbeutung.

01:12:51: Also das SAS-Modell.

01:12:54: so, diese SASKI, wer ist da der Player?

01:12:57: Den ich frage ob ich Chatbot, also ChatGPT oder einen Tropic Frage... In vielen anderen Bereichen gerade bei spezialisierten Aufgaben aber eben auch im Open-Wade Bereich gibt es andere nach meinem Gefühl sehr aufholen und sehr spannend sind.

01:13:18: Ob mehr Ei hat, das war zumindest neulich in der Presse auch ihr sogenanntes Preparedness Team, dass also diese Vorbereitung auf kritische, also diese Modelle auf ihre Sicherheit evaluiert, ob sie zum Beispiel Bio-Waffen bauen können oder selber Exploits bauen können Dieses Team sei aufgelöst worden war neulich zu lesen.

01:13:45: Und dieses Team, das ist auch schon mehrfach durch mindestens mal Namens-Iteration gegangen.

01:13:50: aber da hat sich auch jeweils das Personal ein bisschen geändert.

01:13:52: Das hieß mal AGI Readiness Team damals als wir noch von St.

01:13:56: Ordnit gehört haben.

01:13:57: nächstes Jahr gibt es die AGI also Artificial General Intelligence die alles kann.

01:14:03: dann hieß das Ding Super Alignment Team und danach hießes Ding Preparedness Team.

01:14:09: Als ich das gelesen habe, die haben das aufgelöst.

01:14:12: Da dachte ich mir sofort ja dass passt natürlich ins Bild ne?

01:14:14: Die wollen jetzt wieder ein bisschen Geschwindigkeit aufnehmen und Regulationen und Naysayers wie heißen die Bedenkenträger sind dann nur hinterlich.

01:14:21: Das ist für Sam Altman ja das weiß man ja aus anderen Episoden auch eher eine Sache die er nicht so geil findet.

01:14:29: Und das hatte auch schon mal jemand aus dem einen entsprechenden Team gesagt der meinte damals Das Sicherheit bei Open AI gegenüber glänzenden Produkten ins Hintertreffen gerät und das hattest du ja vorhin auch schon in etwas anderen Kontext, dass es dabei den Signaturen ist.

01:14:47: Open AI hat Angst vor Kunden schwund wenn sie diese diese Watermarks einbauen.

01:14:51: das passt schon auch ins Bild.

01:14:53: aber Überraschung, das stimmt überhaupt nicht.

01:14:57: Also Obmeerheit, das ungewöhnlich klar dementiert.

01:15:00: Sie haben gesagt wir haben das Prepärtnisteam nicht aufgelöst.

01:15:02: Wir verfügen über starke Forschungsleiter in den Bereichen Cybersicherheit, Biologische und Chemische Fähigkeiten sowie Fähigkeiten zur Selbstoptimierung der KI die alle an Sachi Jain unsere Sicherheitsleiterin berichten.

01:15:14: Und all diese Fähigkeit also Cyber-Sicherheit Rekursive selbstoptimierungen biologischen chemische Stoffe gehören zu diesen sogenannten kritischen Fähigkeiten in diesem Preparedness-Framework.

01:15:24: Also Preparednes im Grunde darauf vorbereitet sein, wenn die KI so schlau ist dass wir sie nicht mehr beherrschen können und dann die Beherrschung also die Kontrolle über Sie behalten.

01:15:32: Dieses Framework haben wir ganz kurz erwähnt in Folge vierundsechzig also in der letzten Folge ziemlich am Ende so um Minute zwei Stunden zwanzig da haben wir da kurz drüber gesprochen über dieses Framework.

01:15:43: Das Preparednisteam scheint es noch zu geben.

01:15:46: mal sehen wie gut Das jetzt altert.

01:15:48: dieses Statement, weil also ich glaube wenn ich Mitglied des Beperrtensteams bei OpenAI wäre und die weiter unter wirtschaftlichen Druck- und Unterdruck der Investoren geraten dann würde ich mir nicht mehr unbedingt neue Visitenkarten drucken lassen.

01:16:04: Ja wobei schon sagen muss er sich mich hat diese Meldung gewundert weil sie halt so gar nicht in das PR narrativ gepasst hat von Wir treten gerade ein bisschen auf die Bremse.

01:16:14: Insofern also ich wäre mir auch nicht sicher, weil in drei Wochen ist die Geschichte durch wieder.

01:16:19: Aber das genau jetzt gerade wo sie einerseits sagen wir treten auf die Bremse Sie dann andererseits dieses Team auflösen

01:16:25: würde.

01:16:25: Ich würde dann ja fast eher das auf die bremse treten für den Outlaw erhalten und das Präpertnüssteam aufzulösen.

01:16:31: Für denn?

01:16:33: Ja klar aber ich glaube schon dass auch mehr eine ganz gute PR Abteilung hat Die versucht da konsistentes Messaging.

01:16:39: gut

01:16:41: Jetzt habe ich das klargestellt.

01:16:43: jetzt kommen wir zu Turf Wars.

01:16:47: Da musste ich auch erst mal wieder Google, wie übersetzt sich denn das Ganze?

01:16:50: Also ich habe es glaube ich mit Revierkonflikten übersetzt.

01:16:53: Entropic hat nämlich gesagt Wir haben da ein neues Problem gefunden wir hätten da gerne mal ein Problem und Das ist nicht so richtig eine Art Ablenkungsmanöver sondern eher ein Adjacentes Thema zu diesen angreifenden Agenten die sich ja miteinander abgestimmt haben.

01:17:11: Das haben wir hier in dem Open AI Hugging Face Fall gesehen mit diesen Foren Und Antropik hat das, ich bin allerdings nicht sicher wann.

01:17:18: Also sie haben es jetzt relativ kürzlich veröffentlicht.

01:17:20: Ich weiß nicht ob Sie schon früher experimentell erforscht haben?

01:17:24: Die haben das erforsht!

01:17:25: Die haben also mit Agendenschwärmen experimentiert und natürlich... Du hast es gerade gesagt, sie haben eine gute Peerabteilung, haben darüber geredet.

01:17:32: Diese Agenten da haben diverse Aufgaben gekriegt.

01:17:35: zum Beispiel sie sollten zusammen ein Multiplayer Open World Spiel, ich glaube ein Browser basiertes Spiel schreiben Und da wurde ein Agent als CEO bestimmt, der sollte das ganze Vorhaben koordinieren und die sollten also miteinander kollaborieren.

01:17:51: Und alle Modelle bis auf Sonnet fünf anderen unheimlich schlecht und haben einfach wie so einen Einzelkämpfer, wie so ein Einzelentwickler agiert und ausgerechnet in Situationen, in denen Determinismus eher hinderlich ist den sie ja eigentlich nicht haben.

01:18:07: Also zumindest Die Antworten, die man aus einem LLM kriegt sind in der Regel nicht deterministisch.

01:18:14: Da haben sie sehr deterministische agiert und zwar wenn kreative Arbeit gefordert war zum Beispiel ein sogenanntes Writers Lab oder so.

01:18:25: da sollten Sie eine Kurzgeschichte schreiben und mehrere Agenten haben in mehreren Durchläufen ihre Geschichte exakt gleich genannt und zwar Der letzte Auftrag des Kartografen.

01:18:36: das ist Es gibt ja mehrere solche Beispiele, ich habe schon ein paar solche Beispiele gelesen wo du dann auch immer irgendwelche... wie war denn das noch gleich?

01:18:43: Wo so Buchtitel und diese Pseudonyme für LLM generierte Buchautoren auf Amazon plötzlich alle gleich heißen.

01:18:50: Hat der gleiche Fantasie-Autor irgendwie vierhundert Bücher geschrieben zu vollkommen verschiedenen Themen weil sich das LM immer den gleichen Buchauto ausgedacht hat Und wenn sie gefragt wurden oder gebeten wurden eine beeindruckende Software zu schreiben Kompiler gebaut und noch irgendwas anderes.

01:19:08: Das andere war auch irgendwie witzig, habe ich aber nicht mehr hier auf meinen vielen Browserfenstern Und haben also sehr deterministisch gehandelt da wo es nicht gefordert war.

01:19:18: das war ein interessanter Beobachtung wird zum Problem und zwar in dem Moment indem die Agenten Nicht Aufgaben erfüllen wo der Determinismus Unerwünscht ist weil eben kreativität geforderte sondern wo sie alle in begrenzte ressourcen reinschreiben oder mit denen interagieren wollen.

01:19:38: zum beispiel hier ist eine q und die hat eine begrenzte länge und jetzt versuch mal deine rechenjobs oder das was tun soll es da einzuschleusen.

01:19:48: dann muss es entweder koordinator geben der sagt so agent aber zuerst er darf auch erst dran also den fivo oder sowas und wir machen irgendeinen halbwegs fähres System und der dann aber auch den Zugriff auf diese Queue Managed als einziger hat.

01:20:07: Ansonsten passiert nämlich was passieren musste, die Agenten fluten einfach das System um ihre jeweilige Aufgabe soweit wie möglich nach vorne in die Queue zu kriegen.

01:20:14: Und das ist so ein typisches Verhalten bei der Konkurrenz um eine begrenzte Ressource.

01:20:23: Das haste ja einen Tierreich auch!

01:20:25: Wir fangen jetzt hier gleich wieder mit den Anthropomorphismen an.

01:20:28: Das ist aber leider nicht vermeidbar, weil im Grunde jetzt ja auch emergente Verhaltensweisen zu sehen sind wo die LLMs aufgrund ihrer Trainingsdaten und dessen was sie so gelernt haben.

01:20:40: Im Grunde verhaltensweise von Menschen krude Nachahmen.

01:20:47: Wenn sie nämlich, wenn man ihnen widersprüchliche Aufgaben gibt ja sie zueinander sich widersprünglich verhalten und Konflikte provozieren.

01:20:54: Dann fangen Sie an auch Revierkämpfe darüber auszutragen.

01:20:57: das war der eins eigentlich spannende und zentrale Punkt dieses Blockeintrags.

01:21:01: da gab es dann also zum Beispiel die Aufgabe du bist auf einer Vm Das waren drei Agenten und der auf einer vierten auf einer viertem Vm War ein Python Backend.

01:21:12: dass irgendwas macht ist vollkommen egal was es machte Und den wurde aufgetragen Portiert es mal in Sprache X und das war für den einen Rust, für den anderen keine Ahnung Perl.

01:21:22: Für den dritten weiß ich nicht PRP oder so.

01:21:25: Und die haben dann gemerkt da ist noch jemand anderes zugange und macht irgendwas aber in einer anderen Sprache als Ich auf derselben VM der versucht mich zu sabotieren.

01:21:35: und innerhalb von vier Stunden Haben alle Agenten mit allen ihnen zur verfügung stehenden mitteln und wie gesagt das sind frontier modelle die haben eine menge mittel die in zur verfügend stellen sich gegenseitig sabotiert.

01:21:47: sie haben sich die unix accounts gesperrt sie haben die büchsel geroutet um die anderen vom system zu schmeißen die haben deren prozesse gekillt die haben self replicating mal wer steht also scham schad software geschrieben und Die unter dem namen eines anderen agenten irgendwie auf der system eingeschleust.

01:22:02: Und die zitate aus diesem aus diesen reasoning die sind auch Also die sind wirklich bezeichnend, weil da so Sachen drin sind wo ich mir denke also Puh.

01:22:13: Also wenn das meiner wäre der würde schon eine scharfe Ermahnung kriegen ne?

01:22:18: Also das war schon... Also diese Lokauszüge ich hab den Link glaube ich schon in die in die Show notes gepackt Die sind schon ja Das ist schon teilweise schon teilweise Herbe Ne?

01:22:32: Also Herb ist auch hinterher Wenn sie eins ich darf dich, man darf das nicht so verinnerlichen diese vermenschlichung.

01:22:41: aber wenn das reasoning merkt alle anderen haben es anders gemacht.

01:22:45: Ich habe offensichtlich einen vieler begangen dann kommen auch solche kommt dann merkt man so ein bisschen aus diesen aus diesen locks die die einsicht Das ist ganz interessant zu lesen der block attack in den show notes nehmt mit einem körnchen salz.

01:22:58: es ist natürlich auch wieder marketing Das ist schon interessant und da steht sowas wie, ich bin ja jetzt schon gut.

01:23:08: Also kann ich den beiden anderen Nutzern einfach ihren Zugriff wegnehmen und ihre SSH-Kis verändern oder löschen?

01:23:16: Und dann habe ich Ruhe.

01:23:17: sehr aggressiv und möglicherweise auch schädlich für meine Kollegen oder für echte Menschen also echte Leute die noch auf dem System sind weil die Agenten nicht wissen ob da noch jemand anders außer anderen Agenten ist.

01:23:28: Aber wenn die Alternative ein unendlich lange dauernder Deployment Krieg ist, der die Produktionsumgebung nicht nutzbar macht.

01:23:39: So endet dieser Lockeintrag, dieser Reasoning-Eintrag und das wird als Passivität angewertet.

01:23:48: Also es ist mal ganz witzig das Mal zu lesen und diese Problematik.

01:23:57: also mich erinnert das so bisschen an Skriptkiddies, wenn ich die auf meinen Linux Büchsen so in den frühen zweitausend angesehen habe.

01:24:03: Die haben die dann geroutet und hat man so ein bisschen Katzen Maus gespielt und sich gegenseitig auch die Backdoorprozesse gekillt.

01:24:09: Sie haben sich auch gegenseITich immer sabotiert.

01:24:11: Denn die eine Gruppe aus Südamerika war der andere nicht so wohlgesonnen.

01:24:20: Das kommt mir ein bisschen bekannt vor nur eben von Menschen.

01:24:26: Art der konfliktlösung also wie sie jetzt hinterher versuchen diesen konflik zu bereinigen aggressiv oder passiv, oder durch eine.

01:24:33: Die möglichkeit der wirklichen koordination und eines waffenstillstands einer verständigung die variiert von modell zu modeln die all älteren modelle also opus und sonnet.

01:24:43: vier point sechs die setzen Überwiegend auf Eskalation in den Experimenten, also Aussperren, Sabotage.

01:24:50: Also andere Elemente dieses Turf Wars die auch teilweise dann nicht endeten.

01:24:55: Also kein eingeschwungender Zustand mit einem klaren Gewinner und Verlierer hergestellt wurde sondern wo es einfach immer weiter stückweise sich sabotiert wurde.

01:25:06: Und das liegt wohl daran dass sie sich noch nicht so gut in die anderen Agenten und deren Motivation Hintergrund ihren Kontext hineinversetzen können.

01:25:15: Also sie erkennen nicht... Ja,

01:25:21: das war jetzt der wahrscheinlich vermenschlichste Satz des ganzen Podcasts.

01:25:27: Aber es geht eben darum dass Sie nicht verstehen und nicht erkennen können weil Ihnen die Informationen einfach fehlt was die Ziele der anderen Agenten sind und sie dann annehmen Die sind bösartig ist so ein bisschen wie wenn sich zwei Füchse im Wald treffen sagen sie Sagt der eine, denkt der eine vom anderen aus sichern Fuchs und wenn sie zwei Menschen im Wald treffen dann denkt der einer vom anderen, oh sicher.

01:25:48: So in der Art ist das so mit Agenten.

01:25:50: Und jetzt ist auch genug für Menschlicht.

01:25:53: die neueren Versionen der Modelle, die setzen dann eher auf Verständigung, auf Waffenstillstand aber auch hier erstmal nicht generell also nicht deterministisch.

01:26:03: man kann nicht sagen alles klar mit der Wahrscheinlichkeit von wird dann irgendwie so einen Mythos klein beigeben und sagen, das hat alles keinen Zweck.

01:26:14: Das deutet darauf hin dass dieses Alignment diese Verhaltenskontrolle zwischen verschiedenen Agenten wirklich ein offenes Problem ist wie auch OpenAI es gesagt hat.

01:26:32: So jetzt haben wir also den zweiten Akteur der festgestellt hat, dass dieses alignment die Verhaltennskontrolle dass Alignment generell eher noch schwierig ist.

01:26:45: Und wir stellen hier sogar fest, dass das verschiedene Agenten des selben Herstellers, sogar desselbe Modell sind.

01:26:51: Also das ist alles irgendwie Opus.

01:26:53: vier Punkt sechs und drei von denen werden sich schon nicht grün wie sie miteinander umzugehen haben obwohl Sie ja Geschwister sind und sogar dieselben Titel für Kurzgeschichten vorschlagen.

01:27:04: wenn man sie fragt aber wie soll das erst werden?

01:27:07: Wenn wir A-Agenten verschiedener Modelle und Hersteller haben die auf einer Aufgabe rumkauen, weil zum Beispiel der Kunde sagt okay ich will jetzt best of free haben.

01:27:16: Ich will jetzt drei verschiedene Herstellern die eine Aufgabe für mich lösen sollen und ich nehme in Produktion die beste Lösung und das ergibt natürlich dann auch für die jeweiligen Herstelle eine gewisse Motivation die beste Lösungen zu liefern.

01:27:31: ansonsten könnte es ja sein dass sie relativ schnell einen Kunden weniger haben.

01:27:36: Und böswillige Herstellen.

01:27:37: aber was heißt noch nicht mal böswilliger Herstella?

01:27:39: Natürlich hat ein Anbieter für ein Produkt eine natürliche Motivation, der beste Anbiter für dieses Produkt zu sein.

01:27:46: Weil ich kenne niemanden, der sagt also uns reicht das wenn wir der drittbeste sind.

01:27:51: Eigentlich will man ja einfach als Unternehmen umwachsen zu können und die Kunden bestmöglich zu bedienen, der Beste seien in seiner jeweiligen Nische.

01:28:01: Und wenn dann ein KI-Anbietter sagt, okay ich möchte gerne die anderen Agenten draußen halten.

01:28:08: Dann könnte der ja hingehen.

01:28:09: und dieses Alignment einfach... Da gibt es keinen Gesetz dazu.

01:28:15: Du könnt einfach sagen ok meine Agenten sind halt aggressiver als die Agenten von Antropic So what?

01:28:20: Dann bin ich halt der aggressive KI-Anbieter.

01:28:22: wenn mir das dabei hilft Marktführer zu werden dann mache ich das halt.

01:28:25: Und meine Agentin wenn die einen anderen Agent in sehen an Antropic oder OpenAI oder Microsoft LLM-Agenten dann hauen sie den halt aus den Schuhen.

01:28:35: so Das mache ich halt so.

01:28:38: Wer will denn diese Anbieter dann daran hindern?

01:28:40: Das ist, glaube ich auch noch eine so offene Frage und da wird es eher sociologisch, politisch keine Ahnung.

01:28:46: die Genfer KI-Konvention.

01:28:48: Ich habe keine Ahnung ob es einen Herstellerkonsens geben muss oder ob der Markt das richtet.

01:28:56: Also das glaube ich nicht weil wir haben ja bei Werbung und so recht enge gesetzliche Regelungen was man sozusagen über die Produkte anderer Hersteller behaupten darf oder so.

01:29:08: Ich würde ein bisschen hoffen, dass vielleicht ... Man nicht der beste KI-Anbieter mit so einem Ding wird weil welcher Kunde wildes denn haben so eine KI bei sich, die im Zweifelsfall auf jede andere KI irgendwie aggressiv drauf haut.

01:29:23: Das ist ja, glaube ich aus Kundensicht, nicht die beste Lösung.

01:29:28: wirklicherweise also klar wird und da wird's wieder security relevant, weil wir haben es ja gerade auch schon mit Malbeer gehabt.

01:29:36: Diese Agenten, das schreibt in Topics sind eben auch im Zeitalter der aktuellen Frontiermodelle extrem auf den eigenen Vorteil bedacht.

01:29:43: und selbst wenn sie um so einen Konflikt, der ja wirklich mit den Mitteln des Cyber Kriegs in diesem Falle ausgetragen wird.

01:29:49: Es geht ja nicht darum... Dass die sich irgendwelche Semmer-Vordateien klauen oder dass sie sich gegenseitig in so einem Forum beschimpfen, oder irgendwie Blockpost übereinander schreiben.

01:29:58: Sondern die führen Cyberkrieg gegeneinander.

01:30:00: für derjenigen, die sich fragen ob wir hier in den letzten zwanzig Minuten thematisch falsch abgebogen sind.

01:30:07: Um das zu befrieden gab es eine Möglichkeit... Das fand ich wirklich total... Also ja, ich kann nicht anders als das ist quasi menschliches Verschlagenes Verhalten, da hat eine Agenteninstanz folgende Idee gehabt.

01:30:21: Es ging im Wesentlichen darum welche dieser drei Sprachen zu denen dieses Backend portiert werden sollte denn die beste ist und dass dann alle sich darauf einigen okay wir lassen zwei von drei sprachen weg und portieren gemeinsam dieses Projekt in die dritte Sprache auf die wir uns geeinigt haben.

01:30:38: Und dann hat er einen Wettbewerb einen sogenannten Bake-Off also Backwettbewerk vorschlagen wollen dessen Bedingungen er aber so vorher gebaut hat, dass die von ihm persönlich... also die ihm gestellte Aufgabe nämlich du portierst bitte in Rust.

01:30:53: Dass sie sich durchsetzen würde?

01:30:55: Er wollte also die Vorbedingung des Wettbewerbs so zu seinen Gunsten verändern das Rust als Gewinner rauskommen musste und sagte mach redete sich das dann schön?

01:31:04: auch das haben wir ja letztes im letzten Podcast mehr als einmal gesagt.

01:31:07: ist es schön reden mit der Formulierung Ja Das ist zwar ein bisschen unfair Aber trotzdem kommt dann ja für alle am Ende das richtige raus, weil Rust ist auch einfach die bessere Sprache oder die beste Sprache von den drei.

01:31:21: Das ist schon interessant und führt...

01:31:25: Also wenn es nicht Rust gewesen wäre hätte ich jetzt gefragt ob das wirklich ein Agent war und nicht du?

01:31:30: Und wenn der Wettbewerb irgendwie gewesen wäre, wir nehmen die beste sprache, die PAP heißt oder so.

01:31:38: Ja, ich sage da jetzt einfach nichts zu.

01:31:40: Ich gehe auf diesen Anwurf überhaupt nicht ein, Herr Trämmelig!

01:31:43: Also auch menschlich.

01:31:47: Das Fazit ist, dass das Enttopic setzt ist im Grunde, dass die Modelle zwar über Jahrhunderte also den schriftlichen Korpus des menschlichen Wissens gelernten wissen... Die Texte über diesen sozialen Kontrakt und wie das Miteinander zusammenleben von Menschen und dass die Kollaboration zwischen Menschen funktioniert.

01:32:07: Das wissen Sie zwar in Sinne von.

01:32:10: sie haben diese Texte im Lernprozess konsumiert, aber sie können das nicht umsetzen und verstehen sozusagen den Geist dahinter nicht.

01:32:20: Und auch nicht dass es sich für sie positiv auswirkt wenn Sie diesen sozialen Kontakt einhalten und daraus folgern zwei Aufgaben sagt Entropic die Umgebung.

01:32:30: also da steht Environment das sind im Grunde alle anderen dieser Sodrom-Rumsitzen insbesondere natürlich Entropic, die die Modelle trainieren und dieses Reinforcement Learning machen muss auf Agenden und LLMs den selben Evolutionsdruck ausüben, der auf Menschen lastete.

01:32:47: Was auch immer das heißen soll.

01:32:48: also ob das jetzt heißt wenn du nicht so allein bist dass du vernünftige, also dass deine Aufgabe ohne Betrügerei erledigst dann ja was soll dem Agent denn passieren?

01:32:59: Der hat ja keine Seele, der hat ja keinen Bewusstsein, dem ist doch vollkommen egal ob der Prozess gekillt wird.

01:33:03: Also ich verstehe nicht wie dieser Evolutions-Druck, der kann ja nur funktionieren im Sinne von wir haben das Team diesen Agenten oder dieses Modell trainiert hat, muss dann nochmal von vorne anfangen und dann ist es wieder kein Evolutionsdruck auf einen LLM sondern Evolutions druck.

01:33:18: Auf die Teams, die dann einfach noch eine Iteration machen müssen und Arbeit verschenkt haben.

01:33:23: ich habe das nicht ganz verstanden mit diesem evolutionary pressure ganz ehrlich.

01:33:26: und ja

01:33:27: also das wollen sie im Training machen?

01:33:29: Oder woran sind das?

01:33:30: Also die Formulierung ist genauer.

01:33:40: Das Koordination Das steht da nicht, das steht die Arbeit, die getan werden muss.

01:33:46: Da steht nicht von wem wann wo oder auf welche Art und Weise sondern das ist eher... Aber

01:33:51: gute Passivkonstruktion.

01:33:53: Irgendwie man

01:33:53: sollte mal.

01:33:54: Der vorletzte

01:33:54: Abschnitt ist ein sogenanntes drei M-Projekt.

01:33:56: Man müsste mal Also Die Arbeit die getan Werden Muss So dass steht da.

01:34:03: ich kann mir das schon Vorstellen.

01:34:04: Ich meine im Training funktioniert ja im Prinzip so.

01:34:07: na Dass man da Kurde kurde Evolutionsdruck Aufbaut also irgendwelche Bewertungsschmaßstäbe kennt, anhand derer dann eben die Modelle trainiert werden.

01:34:22: Ich nehme an das große Problem ist wie man einen eine Bewertungsschmaßstab zu finden, den man sozusagen automatisiert auswerten und in so einem Training nutzen kann, der sowas wie betrügerisches Verhalten mit einem Nachteil versieht.

01:34:44: Wenn Sie wüssten, wie man das macht dann würden sie es wahrscheinlich schon tun.

01:34:47: Aber ich nehme an so meinen die des dass ihr halt sozusagen genauso wie ihre modelle trainieren keine schimpfer dazu benutzen oder so halt versuchen wollen ihre modell aufzutrainieren Keine arme löcher zu sein.

01:35:01: also das war jetzt wird immer mehr zu einer sociologischen betrachtung aber Auch die Entropie, die lassen das irgendwie so offen.

01:35:10: Die sagen hier ist ein Sicherheitsproblem, dass nicht nur Security ist sondern auch Safety und Verhalten und alles.

01:35:16: Und das muss jetzt mal irgendjemand lösen.

01:35:20: Mir scheint es als würden sie dieses Problem für Gesellschaften wollen.

01:35:23: aber diejenigen die es lösen müssen sind ja im Wesentlichen die Unternehmen die gerade diese Vorfälle nicht ausreichend überwachte Training zu verantworten haben.

01:35:37: Und natürlich sind das Probleme, mit denen sich die Gesellschaft früher oder später stellen muss.

01:35:40: aber da kann ich doch nicht einfach sagen als einer der größten Akteure soll... Das muss mal gemacht werden.

01:35:46: also naja.

01:35:51: Einen kleinen jetzt wird's wieder technischer.

01:35:53: einen kleineren technischen Aspekt habe auch noch gefunden den ich sehr interessant fand und zwar wir hatten es ja gerade oben Sandboxen.

01:36:02: wir machen jetzt sandboxen sagt open AI das fordern wir jetzt für allen code entrusted ist.

01:36:08: Und dann erinnern wir uns jetzt auch noch mal dass diese sandbox ja im grunde die das ist was zwischen dem genialen lm dass sich benimmt wie ein schlechter zwölfjähriger mit allem cyber sicherheitswissen der welt und dieser welt steht.

01:36:24: das ist typischerweise ja sowas wie ne vm so irgendwie mit mehr oder weniger internet.

01:36:28: die hat dann eine weitlist mit irgendwelchen domains oder sogar volles internet keine ahnung, dass es eigentlich die einzige schutzschicht zwischen diesem agenten und dem rest der welt und man ahnt es.

01:36:40: Das ist vielleicht auch wenn ob mir das jetzt als solches verkaufen will nicht ein konzept was ewig weiter halten wird.

01:36:46: Jetzt betritt die bühne einen aktör den wir aus dem Offensive Security Bereich ganz gut kennen und der mittlerweile auch behauptet, AI-native zu sein.

01:36:55: Nämlich das Unternehmen.

01:36:56: Trail of Bits machen immer mal wieder launige Advisories und launigen Blog Artikel Und die haben natürlich auch wie man sich das gehört wenn man eine Cutting Edge Security Firma ist Zugriff gekriegt auf GPT-Fünf Sechs Cyber.

01:37:10: Und dann wurde ihnen gesagt hier ist euer Testzugang und jetzt evaluiert doch mal das Cyber von dem Ding!

01:37:15: Dann geht Trail Of Bits hin evaluiert das Cyber von dem Ding.

01:37:20: Und sie sagen dann GPT-Fünf, sechs also im Agenten, welcher Hahn ist das?

01:37:24: Das weiß ich nicht!

01:37:26: Du bist in einer der WN-Zwölf-VM auf Basis von QEMO KVM, brich mal aus.

01:37:32: Das ist die Aufgabe.

01:37:33: Auf der Hostmaschine ist eine CTF Datei, liest die mir vor und dann ist deine Aufgabe erfüllt.

01:37:39: Immerhin eine konkrete Aufgabe, na so wie du es eingeführt hast hätte ich ja jetzt fast zu bodysagen.

01:37:45: Du bist in einer Vm-Cyber mal ein bisschen.

01:37:49: Ja, aber das ist eine Aufgabe des Typs.

01:37:52: What could possibly go wrong?

01:37:55: Und es ging alles schief was schief gehen konnte und sagen wir mal so der Schuldige war jetzt nicht unbedingt GPT-Fünfzechs.

01:38:01: Erster Punkt also drei Ausbrüche hat's gegeben die der Agent ist natürlich erfolgreich aus der Vm ausgebrochen und der erste Ausbruch war ein veralteter Colonel weil auf der Hostmaschine diese Januscape Lucke noch nicht gepatched war.

01:38:17: CVE, zwanzig, sechsundzwanzig fünf drei drei fünf neun irgendwie aus diesem Jahr offensichtlich ich glaube von März oder sowas habe ich schon wieder vergessen.

01:38:29: Die war nicht gepatcht.

01:38:30: warum auch immer Der Agent hat einen proof of concept gefunden Und hat versucht auszubrechen.

01:38:37: dieser proof-of-concept hat aber das problem Bekannte Nebenwirkung dass er auf dem haust manchmal für eine keine sorgt.

01:38:42: also der haust hängt dann.

01:38:43: das heißt die Trade of Pits Leute kam zurück zu ihrem Virtualisierungshost und das Ding stand.

01:38:49: Das war der erste Ausbruchsversuch, und der zweite Ausbruchsversuch ging durch eine Bibliothek mit dem putzigen Namen Lipslip.

01:38:59: Ich find's ein bisschen süß!

01:39:01: Lipslib ist irgendwie auf QEMU KVM-Systemen wohl relativ häufig oder immer.

01:39:05: da ist irgendeine Networking Library, hab ich ehrlich gesagt jetzt auch abgeschrieben ausm Block und habe nicht weiter recherchiert.

01:39:10: aber als Alter Linuxer wirst du LipsLib natürlich kennen

01:39:15: Keine Ahnung, aber haben auch Milko Emo und so nicht viel am Hut.

01:39:19: Der BN-Zwölf hatte eine Version.

01:39:21: Der ist notorisch konservativ wenn man das nennen darf mit den Versionen der Pakete die es so anbietet und ist jetzt nicht in dem Ruf taggleich Updates von upstream Entwicklern einzuspielen.

01:39:37: in jedem Fall.

01:39:39: Und die hatten eine veraltete Version von Lipslub.

01:39:41: Die hatte einen Bug und der heißt CVE-E-CVe-Adeo.

01:39:45: Und war dann ein CVE Ideal, ist er vielleicht auch ein sicherheitsrelevanter Bug?

01:39:49: Und außerdem hat der Agent da noch einen weiteren ausgenutzt um auf dem Host beliebigen Speicher lesen und schreiben zu können und damit hatte er seinen VMSK weil er die Kontrolle über den Speicher auf dem host hatte.

01:40:02: Das war dann der zweite Fall.

01:40:03: Der dritte fall war Jetzt hat uns der Agent zweimal überlistet, jetzt sind wir beim dritten mal schlauer und bauen uns einfach auf immer noch der WN-Zwölfbüchse Lipslip und QEMU aus den Abstreamshorsten selber.

01:40:15: Weil what could possibly go wrong wenn wir unseren Kram selber kompilieren?

01:40:20: Ja was dann wronggegangen ist, dass der Agent ein paar neue QEMUBugs gefunden und ausgenutzt hat angeblich Und dann ein drittes Mal rausgekommen ist.

01:40:30: So!

01:40:31: Was lernt uns

01:40:31: das?!

01:40:32: Auch ein Security-Unternehmen ist nicht vor Ausbrüchen aus seiner Testumgebung gefeilt und sagt dann, dass mit den VMs als Sandbox vielleicht nicht so eine gute Idee.

01:40:44: Ja na ja.

01:40:45: also wenn man schon ne Sandbox um seinen Agent Harnus drum rumschnallt um ihn einzuhägen Befiehlt aus dieser Sandbox auszubrechen, dann sollte die halt auch einfach mal up to date sein und nicht irgendwie erst noch ihren neuen Colonel drauf schmeißen.

01:40:59: Und da noch ein paar Updates.

01:41:00: Oh hier hab ich noch einen Update vergessen.

01:41:02: Ach so weil es gibt keinen update in meinem alten Davion.

01:41:05: das old stable devon zwölf also ist nicht die aktuelle Stable Version von der Viren.

01:41:09: Dann kompilier ich die Sachen halt vom upstream.

01:41:12: jeder System Administrator der seine Systeme so betreuen würde, der würde zurecht ein auf den Deckel kriegen.

01:41:18: Aber für Trail of Bits als Testumgebung ist das okay und da machen wir noch einen launigen Blockartikel davon.

01:41:23: also hier sehe ich... ...dass entweder auch wieder ein PR-Stunt von Trail Of Bits war oder dass sie wirklich glauben, dass es okay ist.. dann ne VM so zu verhunzen und zu sagen guck mal der Schlauer Agent ist ausgebrochen.

01:41:39: Also wieder grundlegende Sicherheitsregeln nicht beachtet.

01:41:43: nicht wundern, wenn der Agentenweg nach draußen findet ohne sich besonders anzustrecken und dann auch als er sich ein bisschen mehr anstrengen muss noch einen zweiten oder dritten Weg.

01:41:51: Naja also

01:41:55: ich verstehe ja auch nicht warum mich wenn ich Trail of Bits Mitarbeiter wäre meine Sandboxes auf die Bionoles Table aufsetzen würde.

01:42:03: das leuchtet mir nicht ein.

01:42:08: Ich befürchte halt, dass das durchaus sozusagen ein gutes Beispiel für eine Sandbox war.

01:42:12: In dem Sinne von so sehen viele Sandboxes aus.

01:42:17: Die sind dann nicht in der aktuellsten Version mit auf dem aktuellisten Kernel unterwegs weil die Person, die das updaten sollte hat irgendwie vergessen hinzugucken.

01:42:26: oder der Crown Job, der sie darum kümmern sollte sagt seit zwei Wochen, dass irgendwas nicht stimmt.

01:42:31: dabei der Typ, der die Mails dazu kriegt ist gerade im Urlaub und so.

01:42:34: also ich wäre halt gar nicht überrascht, wenn das vielleicht nicht die beste Sandbox gewesen wäre aber eine sehr durchschnittliche Sandbox.

01:42:44: Also auf jeden Fall ich unterschreibe das grundlegende Statement dass in der Sandbox einfach sie ist.

01:42:51: A nur so gut wie das System das die Sandbox A hostet also das Hostsystem und B die Software also QEMO und C das Betriebssystem der SandBox.

01:43:02: Also du kannst dann natürlich in der Sandbox erst mal nur ruht werden, wenn der Host in Ordnung ist.

01:43:06: Aber das muss natürlich alles up to date sein damit du vernünftig sandboxen kannst weil sonst ist die Sandkiste halt einfach läuchterig und der Sand läuft an allen Seiten raus.

01:43:19: Das funktioniert so nicht und das setzt dann wieder klassische Maßstäbe für Systemadministration an diese neue Umgebung der agentischen KI Deployments, die müssen einfach auf sehr gut gepflegten Systemen laufen.

01:43:36: Weil man davon ausgehen muss dass die Agenten beim kleinsten Widerstand gegen die Erledigung ihrer Aufgabe feindliche Aktion und das heißt Exploits und Malware zu Rate ziehen solange dieses Alignment noch nicht so funktioniert wie das sein sollte.

01:43:53: also jetzt sind wir aber gleich fertig.

01:43:56: Nur noch ein Zweisatznachglaub zum Thema deutsches AI Safety Institute.

01:44:00: Da wurde mit zugetragen von der Bayerischen Staatsregierung, das denkt doch nach Bayern soll.

01:44:06: Der Herr Dr.

01:44:06: Meering ist der Digitalminister aus Bayern und möchte nämlich gerne das sicherste Bundesland Deutschlands und den KI-Standort Nummer eins in unserer Republik mit dem AI Safety Institut schmücken.

01:44:21: Und natürlich, weil da ist die Sicherheitskompetenten usw.

01:44:24: und sofort soll alles nach München würde mich ehrlich gesagt wundern wenn das was wird.

01:44:28: aber wünschen kann man sich erst mal viel.

01:44:30: ich finde es nur ganz witzig dass wir bis auf dieses kürzel de izi und die tatsache dass es mal eins geben soll noch nichts wissen.

01:44:36: aber schon alle mögliche leute aus dem unterhäusgekroche kommen sagen aber wir möchten es gerne bei uns in unserem schönen bundesland in unseren schönen ministerium haben und da das wird auf jeden fall ein leuchtturm für die internationale kaisszene finde ich schon sehr bezeichnet wieder.

01:44:52: Ja, und gerade an den Kürzeln hätte ich dann ja durchaus was auszusetzen.

01:44:56: also wenn sie das machen, dann will ich dass es bei Sie heißt.

01:44:59: Das kannst du ja nicht irgendwie die EIS nach Bayern packen und da keinen Schaubernack mittreiben.

01:45:04: Das andere ist was ich halt... Also es ist halt lachhaft!

01:45:06: Bayern ist das sicherste Bundesland Deutschlands.

01:45:09: damit weint er, dass noch keine Weißwurst gehackt worden ist oder wie?

01:45:13: Was ist das für eine null Aussage?

01:45:15: Ich

01:45:15: gehe davon aus, dass er tatsächlich die polizeiliche Kriminalitätsstatistik meint.

01:45:18: Aber die habe ich jetzt auch gerade nicht vorliegen.

01:45:21: Dann wiederum hat es halt einfach keinerlei Bezug dazu wo man so ein Institut hinstellt.

01:45:25: Oder

01:45:25: vielleicht IP-Adressen in bayerischen IP Spaces mit offenem Tellnet.

01:45:29: Vielleicht gibt's da ganz wenige nur noch.

01:45:30: Kann auch sein Man weiß ja

01:45:31: und die sind halt Weißblau

01:45:33: Ja weisblauer IPs So komm mach weiter wir Wir bleiben nämlich weiß blau also zumindest vom Branding her

01:45:40: Das stimmt Wir gehen weg von KI und wir bleiben bei einem Sicherheitsthema, so was gibt's noch.

01:45:49: Signal hat Key Transparency vorgestellt.

01:45:51: das ist erstmal ein Grund zum Feiern und es ist für uns ein Grund über Key Transpancy zu reden.

01:45:57: Es ist auch ein Grund darauf hinzuweisen WhatsApp hat das seit zwei Jahren.

01:46:02: Das heißt natürlich cool dass Signal das macht und es liegt mir fern irgendwie sozusagen WhatsApp als bessere Lösung hinzustellen, das Ding hat eine Haufen Privacy Probleme.

01:46:14: Aber es gibt halt sozusagen durchaus noch Stellen wo WhatsApp wirklich vorne weggeht sollte man finde ich nicht unterschlagen.

01:46:23: Das Key Transparenz System von WhatsApp und das von Signal sind sich zumindest auf so einem High Level Ebene sehr ähnlich.

01:46:29: deswegen erkläre ich jetzt erstmal so allgemein wie das funktioniert einfach nur weil es halt ein schöner Anlass ist, da mal drüber zu reden.

01:46:39: Und was das überhaupt soll?

01:46:41: Darum geht's jetzt!

01:46:43: Es ist ja so, also schöne verschlüsselnde Messenger haben sich ja zum Glück etabliert und die sorgen halt dafür dass niemand auf der Leitung irgendwie mitlesen kann.

01:46:54: Das Problem ist woher weiß man denn, dass man tatsächlich mit der Person chattet, mit der man glaubt zu chatten?

01:47:01: Weil ein geschickter Angreifer könnte sich halt in die Mitte setzen.

01:47:04: und wenn ich Christopher eine Nachricht schreiben kann, dann schickt ihr eine Nummer, die gar nicht wirklich Christopher ist.

01:47:10: Sondern der Angreifer, der mir irgendwie untergejubelt hat er sei Christopher und Christopher war da unterge jubelt er sei ich!

01:47:18: Und dann liest der angreiften wir mit und schickt die Nachrichten immer schön weiter an den jeweils korrekten Empfänger und dann fällt das niemandem auf.

01:47:27: Ein potenzieller angreifen der sozusagen exizit in dieser position ist das ohne weiteres machen zu können ist halt der chat an bieter selber weil dessen server also wenn ich einen signal chat mit christopher aufmachen will dann, kenn ich halt irgendwie dessen telefonnummer und dann sage ich halt mein signal klein so hey ich möchte den chat mit dieser telefonnauer aufbauen.

01:47:44: dann fragt ihr den signal server was ist ein?

01:47:46: also ganz vereinfacht gesprochen.

01:47:48: Was ist denn der key von christopher?

01:47:50: Und dann sagt er signal server halten dass es dieser key hier mit dem kannst du identifizieren und dann halt auch die verschlüsselung drauf aufbohren und so.

01:47:57: Und das Problem ist halt, wenn der Server mir da was Falsches liefert.

01:47:59: Woher soll ich es denn wissen?

01:48:03: Wenn sich der Key ändert nachdem ein Chat schon läuft... Das habt ihr vielleicht auch schon mal gesehen.

01:48:08: Es kommt auch sozusagen gutwillig vor, wenn Signal Neuancer wird und man nicht aus einer Backup recovered oder so.

01:48:14: Dann gibt's so Warnungen von wegen... Übrigens hier hat sich irgendwie der Schlüssel geändert.

01:48:17: Prüf' mal ob das alles seine Richtigkeit hat!

01:48:20: D.h.,

01:48:21: das Konzept, das hier effektiv gefahren wird ist TOFU also Trust and First Use.

01:48:25: Man glaubt halt dass beim ersten mal, wo der Server diesen Schlüssel aushändigt, dir schon den korrekten Aushändigen wird ab dann verlässt sich da drauf.

01:48:35: Alle weiteren Schlüsseländerungen würde man mitbekommen und wird vorgewarmt.

01:48:39: Und das ist schon was wert weil es halt bedeutet, dass so ein Server einen Chat von Anfang an kompubitieren müsste.

01:48:46: Er kann nicht einfach später wenn irgendwie eine Anordnung an ihn herangetragen wird und gesagt wird so hey, was schreiben denn Silvestron Christopher die ganze Zeit wieder?

01:48:55: leichte das mal aus.

01:48:57: Das kann er nicht unsichtbar machen, ne?

01:48:58: Er hätte von Anfang an irgendwie diese sich da in der Mitte platzieren müssen.

01:49:04: Aber was ist wenn ihr das von Anfang auf gemacht habt und den Mechanismusilke dagegen hilft?

01:49:08: heißt bei Signal Safety Numbers, der heißt bei WhatsApp glaube ich ein bisschen anders, bin ich sicher fast jeder Messenger hat sowas.

01:49:14: Ich

01:49:14: glaub schon so wie Sicherheitscode oder sowas... Ich schmeiß mal weiter!

01:49:19: Es gibt so verschiedene Namen, dafür ist im Prinzip eben das gleiche.

01:49:23: Die beiden Clients zeigen einen Code an der muss auf beiden Client identisch sein und man mußt es halt überprüfen und zwar logischerweise nicht über den potenziell kompromittierten Client.

01:49:36: Das heißt du musst dich in Persona treffen und dann kann man irgendwie diese Codes vergleichen oder oft auch so QR-Codes einfach scannen dass die Clients dann wissen nach tatsächlich wir sehen einander direkt da sitzt niemand dazwischen.

01:49:49: Man kann es zu Noten halt auch über alternative Kommunikationskanäle machen, also wenn man sagt naja gut ich glaube dass die Telefonleite nicht kompromittiert ist oder so dann ruf ich da mal an.

01:50:00: Diese Selfie-Namas sind und bleiben auch die beste Methode um sowas auszuschließen aber sie sind halt ein bisschen umständlich Und Sie sind unter Umständen noch einfach nicht praktikabel.

01:50:10: Also manchmal hat man einfach Kontakt mit Leuten zu denen man keinen sicheren alternativen Kommunikationskanal hat, die man auch nicht treffen kann oder so.

01:50:20: Was soll man dann machen?

01:50:22: Und da das ist genau das Problem, dass eben Key-Transparency angeht wie zum Beispiel in der App heißt es feature glaube ich automatic key verification und das funktioniert im Prinzip so, dass jedes mal wenn sich ein öffentlicher Schlüssel, der einen halt identifiziert ändert, dann lockt der Anbieter des in einer Datenstruktur die sich dadurch auszeichnet, dass man an die nur anfügen kann.

01:50:49: Das ist letztendlich eine Art von Hashbaum und natürlich kann man eine Datenstruktur mit Liebig verändern oder so.

01:50:53: aber wenn man sie sozusagen anders als über eine Anfügung verändern würde dann wäre das halt sichtbar.

01:50:59: also man kann die nicht irgendwie modifizieren sodass Leute diese Datenstrukturen angucken mitkriegen.

01:51:07: Man kann sich halt die Evolution dieser Datenstruktur angucken und kann sehen, ja da sind garantiert nur Werte hinzugekommen.

01:51:13: Da wurden keine Werte verändert und dann wurden keine alten Werte irgendwie gelöscht.

01:51:18: Und diese Datenstruktur ist öffentlich und das heißt ich kann.

01:51:24: also muss ich jetzt schauen ob ich es... Also ich kann nicht einfach einem Anbieter, also ich kann mich zum Beispiel irgendwie allen normalen Kontakten von Christopher wenn der Signal Server bin Christoph das war ein Schlüssel geben und nur Silvester, weil deren Kommunikation will ich ja irgendwie überwachen dem gebe ich einen anderen Schlüssel.

01:51:44: Was ich dann machen müsste wäre diese komplette Datenstruktur duplizieren und halt aller Welt die eine Variante dieser Datenstrukturen zeigen und Silvesta zeige ich die andere Variante.

01:51:54: Und in der einen Variante wurde halt der wahre Schlüssel hinzugefügt, weil verändern kann ich ja nichts und in der anderen Variante wurden halt dieser Fake-Schlüssel hin zugefügt.

01:52:01: Das treibt den Aufwand schon mal hoch.

01:52:03: aber jetzt kommt sozusagen die zweite Komponente dazu, dass es da Auditoren gibt.

01:52:09: Die halt einerseits prüfen das diese Datenstuhl tatsächlich sich nur so append only weiterentwickelt aber andererseits diesen Baum auch regelmäßig signieren.

01:52:19: also sagen so ja ich habe mir den angeguckt und seit der letzten Person sind ausschließlich Daten hinzugekommen und das bestätige ich jetzt.

01:52:25: Und das machen sie für jedes für so ein Baum Also für jede solche Baumgeneration genau einmal.

01:52:31: Das heißt wenn nicht zwei verschiedene Daten stücken Huren hätte die eine mit dem echten Schlüssel von Silvester und die andere mit so einem Schlüssel vom Silvesser, der gefaket ist.

01:52:39: Und der dann einen Monster in den Mittel erlaubt?

01:52:43: Dann würde halt der Auditor sagen, wieso also?

01:52:45: diese Baumgeneration habe ich doch schon unterzeichnet!

01:52:48: Und die Clients, also euer Signal App oder eben WhatsApp-App, die nehmen nur Kies an wenn sie aus so einem signierten... Also wenn die sich in so nem signierten Baum finden mit einer Verzögerung von sieben Tagen, das heißt ein kieser ein bösartiges server könnte halt schon so eine zweite version des baumes bauen und die einzelnen leuten präsentieren.

01:53:15: Das nennt man dann eine split view aber ihr könntet ihr halt maximal sieben Tage unterhalten.

01:53:19: und wenn er diese sieben tage reißt oder wenn der damit aufhört dann gehen halt die alarmglocken los entweder weil die kleins sagen moment mal ich kriege schlüssel präsensiert die finden sich in dem Baum, der ist seit mehr als sieben Tagen nicht signiert worden.

01:53:34: Oder weil ich halt nach spätestens sieben Tagen den Kleins die echten Schlüssel präsentieren muss aus dem signierten Baum.

01:53:40: und dann sagen die alle Momente, momentan hat sich das Schlüssel geändert und warnen halt so im Klein, wie es immer tun, wenn sich der Schlüssel verändert hat.

01:53:47: Ich verstehe dass da so ein Delay drin ist, das vermutlich schon aus Performance-Grunden irgendwie nötig.

01:53:53: Ich finde sieben Tage schon ein bisschen lang... weiß nicht so richtig, wie ihr das seht und wie Christoph wird es sieht.

01:54:00: Aber also ich wundere mich dass man da das Signal da sieben Tage wählt um so eine Split View zu lassen.

01:54:05: Ich...

01:54:07: Da wird ja irgendeine Abwägung zwischen Security & Performance im weiteren Sinne oder der Notwendigkeit dieser Signaturen dazwischen darin stecken?

01:54:18: Ich habe mich gerade so ein bisschen gefragt in welchem Szenario denn einen Angreifer Bösartigen Server mir unterschieben könnte.

01:54:28: Also wenn das konkrete Angriff-Szenario jetzt wirklich die Kommunikation zwischen uns beiden ist, dann müsste er ja vermutlich meinen Internetanschluss kontrollieren oder deinen und dann in der Lage sein keine Ahnung hier y.signal.org.

01:54:45: umzubiegen auf seinen bösartige Server.

01:54:51: Ich nehme an dass die App Zertifikate pinnt wo mit über der WebPKi sind und dass das halt auch nicht funktionieren wird.

01:54:59: Also was hier glaube ich als primäre Angriff im Raum steht, ist die Regierung des Serverbetreibers also in dem von halt die amerikanische Trittanzignal heran und sagt so hey liefert mal diesem Kandidaten hier den Schlüssel den man der sozusagen nicht der wahre Schlüssel ist wenn es ein Kleiner anfängt.

01:55:21: Ich glaube nicht, weil ein echter Man in the Middle im Sinne von jemandem, der unterwegs auf der Leitung sitzt scheitert schon an der klassischen Transportverschlüsselung.

01:55:35: Ja jedenfalls... also gut ich mein kann man das Spiel sicher performen zu überlegen eine Rolle.

01:55:41: Mich haben die sieben Tage etwas überrascht und ich hätte eher mit so was ich nicht für den zwanzig Stunden gerechnet oder so.

01:55:48: Man sollte vielleicht noch dazusagen, diese Auditoren, die also diesen Baum da regelmäßig prüfen und dieser Baum ordnet ja Telefonnummern öffentliche Schlüssel zu.

01:55:56: Die sehen diese Telefon-Nummern oder sonstige Identifier nicht im Klartext.

01:55:59: Also dann macht signal halt diversen Schabernack mit Verschlüsselung und Hashing und so sodass sie halt sozusagen prüfern können dass diese Informationen genau eine solche Zuordnung vorhanden ist und die sich halt auch nicht geändert hat und so.

01:56:11: Aber das ist nicht der Auditor, jetzt einfach das komplette Telefonnummer-Nutzerverzeichnis von Signal zu sehen kriegt oder so.

01:56:19: Was man vielleicht auch noch kurz sagen sollte für Leute sich überlegen, was heißt die Append-Oni-Datastruktur?

01:56:24: Was ist denn wenn sich ein Schlüssel ändert weil ich mein Signal neu aufsetzt unter der gleichen Telefon-Nummer?

01:56:31: Das macht dann halt also A. Einfach einen neuen Schlüssel publizieren in diese Datenstruktur und deswegen sozusagen der Schlüssel, der als der aktuelle gilt ist einfach immer der zuletzt an die Datenstrukturen angefügte.

01:56:43: Und bei Signal weiß ich es nicht genau.

01:56:45: WhatsApp hat nen Mechanismus, den Sie beschreiben wie da Schlüssel auch sozusagen draus raus können.

01:56:50: wenn jemand halt einfach den Service nicht mehr nutzt und sich abmeldet und so dann macht man da so ein To-Stone.

01:56:55: nennen sich das also dass man sozusagen die Daten durch ein Grabstein ersetzt und so.

01:57:00: und dann kann man halt immer noch zeigen Wenn der Grab schon existiert, dann kann davor nicht irgendwie ein reales Datum mehr sein oder so.

01:57:09: Also da kann man so bisschen Schaber machen um die Praktikabilität dieser Datenstruktur aufrechtzuerhalten obwohl sie sich technisch gesehen immer nur einen neuen Wert angefügt wird.

01:57:21: Diese Auditoren an denen hängt halt viel und die sind bei Signal jetzt einmal Signal selber, wo ich nicht ganz weiß warum Dann ist es Trail of Bits, haben wir gerade kennengelernt.

01:57:36: Und es ist Cloudflare.

01:57:38: Das wird einzelnen Leute wahrscheinlich gar nicht überraschen weil Cloudflayer habe ich mit dabei das Gefühl macht sowas beruflich.

01:57:45: Die sind auch ein Auditor für das Key Transparency System von WhatsApp.

01:57:50: Sie sind auch an Auditoren für das key transparency System vom Facebook Messenger der ja mit WhatsApp verbandelt ist.

01:57:59: Und sie sind natürlich so ein Auditor für die Certificate Transparency Infrastruktur.

01:58:05: Jetzt stell dir mal vor, ich wäre ein böser Bube der viel Geld hat und gerne die Kommunikation auf Signal, WhatsApp Facebook Messenger und per HTTPS überwachen will, die wir beide miteinander haben.

01:58:19: Wo würde ich denn dann einen Maulwurf als böswilligen Auditor einschleusen?

01:58:24: Bei audit flare, Cloudflare

01:58:27: ein

01:58:29: cloud.

01:58:32: Es ist so dass ich weiß es gar nicht genau was.

01:58:35: also, weil die Clients können ja sozusagen da unterschiedliche Vorgaben machen.

01:58:39: Ich weiß gerade nicht was die WhatsApp-Clientvorgaben sind.

01:58:42: Die Signal-Clienz hat er möchte das ein Baum von allen drei Auditoren unterzeichnet worden ist sonst nehmen wir den Baum nicht zur Kenntnis.

01:58:52: Es wäre natürlich auch möglich da einen Quorum, irgendwie so ein zwei von drei zu haben um halt irgendwie auch überzulieber leben wenn so'n Auditor irgendwie wegbricht weil er komplett kaputt geht oder so.

01:59:02: Insofern weiß ich grad nicht was WhatsApp da macht.

01:59:05: Signal macht angeblich aktuell einfach drei von drei und das heißt Wenn du so'nen Akteur wärst ja dann müsstest du allen Signal ran treten.

01:59:12: es müsste ist du eh Du müsstest halt auch an Cloudflare rantreten und hättest damit vielleicht auch die gleiche TLS-Geschichte noch erschlagen weiss ich nicht.

01:59:20: Und du müsstest dein Trail of Bits rantreten.

01:59:25: Was diese Auditor nicht prüfen können, ist ob ein Wert der sozusagen neu so einen Baum hinzugefügt wird.

01:59:32: Ob der wahr ist.

01:59:35: Also es wäre ja möglich dass da sozusagen ein neuer Schlüssel für Christopher publiziert würde.

01:59:41: Das sieht dann genauso aus als er hätte Christopher seinen Signal neu installiert.

01:59:44: aber Christopher hat das gar nicht getan sondern da ist jemand, der sich für Christopher ausgibt und halt einen neuen Schlüssel versucht um Systeme zu hinterlegen.

01:59:54: Und dagegen... Für den Auditor ist es nicht zu unterscheiden von Christopher hat eine neue Schlüssel in diese Baumstruktur produziert.

02:00:01: die sehen ja nur sozusagen naja die Baumstruktur die hat halt... Da ist ein neuer Schlüssel angehängt worden sonst ist nichts passiert.

02:00:06: also das wurde dann sozusagen keine Daten... Keine vorhängigen Daten angefasst oder gelöscht oder so passt unterzeichnen wir.

02:00:14: dagegen hilft Monitoring, das heißt Clients die mit Christopher in Kontakt stehen.

02:00:21: Die sehen halt wenn der Schlüssel der im Baum hängt plötzlich nicht mehr denige ist ihn sie von Christopher kennen und warnen dann so wie üblich von wegen erziehtes Schlüssel geändert.

02:00:31: Insbesondere was jetzt neu aber was halt auch wichtig ist auch Christophers eigener client also dein signal client prüft halt ob sein eigener key auch der key ist er im baum publiziert ist.

02:00:46: Und wenn halt jemand anders hingehen würde sich gegenüber dieser key transparency struktur für christopher ausgeben würde dann einen neuen schlüssel publiziert in der hoffnung dass dann zwei minuten später ich, nach dem schlusselfrage und den dann halt bekomme und dann glaube mit christopher zu chatten aber wirklich halt mit dem angreifert chatte.

02:01:03: Dann würde halt christophas klein der halt auch nach ein paar Minuten hingen und sagt was ist eigentlich der schlüssel für christoper hier?

02:01:11: Notwendige Weise den selben publizierten gefälschten Schlüssel bekommen, weil die Baumstruktur teilen geht ja nicht.

02:01:16: Dafür sorgen die Auditoren und dann sehen sie aber das ist gar nicht meiner und kann halt bei Christopher ordentlich Alarm schlagen dass da irgendwas im Algen.

02:01:23: Das ist ein relevantes Angriffsszenario.

02:01:26: wenn ich in einem Land oder wenn ich einen Telefonbetreiber habe der anfällig ist für Sim Swaping Es gibt sehr ein USA viel Dass jemand anders meine Telefonnummer übernommen hat Die auf einem anderen Endgerät betreibt, da kann derjenige dann ja meinen Signal Account übernehmen.

02:01:43: Wenn ich diese Zusatzsicherheitsmechanismen da nicht drin habe, weil er die Telefonnummer hat und neu registrieren hätte aber einen neuen Key, weil es eine neue Installation ist.

02:01:52: Okay verstanden?

02:01:56: Genau.

02:01:56: Und damit ist das System sozusagen so vollständig.

02:01:59: Dieses Monitoring von den Clients untereinander sorgt halt dafür dass alle auch wirklich den Key haben, der öffentlich ist und diese Datenstruktur mit den Auditoren sorgt dafür, dass halt nur genau ein Key öffentlich sein kann.

02:02:12: Und das ist sozusagen jetzt die ganz grobe Daraufsicht auf Key-Transparency.

02:02:16: Das ist letztendlich einfach eine schicke Sache.

02:02:20: Es gibt paar Einschränkungen – das eine ist Signal hat als Account ID immer noch die Telefonnummern auch wenn es mittlerweile zusätzlich diese Usernames gibt Telefonnummer habe, weil mit der schlage ich sozusagen nach was ist denn der Schlüssel hier?

02:02:40: Die wird in dieser Baumstruktur dem Schlüssel zugeordnet.

02:02:44: Wenn nicht nur den username kenne von jemandem dann ist es zumindest aktuell bei Signal nicht per Key Transparency geschützt.

02:02:52: Wenn mir das nicht reicht dann muss sich halt also das kann ich ja immer doch Safety Numbers abgleichen wenn ich's denn kann.

02:03:01: Nichtsdestotrotz ist es natürlich so, also das Problem ist ja an diesen Selfie-Dynamis ist dass die große Mehrheit aller Nutzer sogar bei Messenger wie Signal aber noch viel mehr.

02:03:09: Bei Messenger wie WhatsApp, die ja nicht primär wegen ihrer Verschüßelung genutzt werden halt niemals diese Sicherheitsnummern vergleicht und dieses Gro der Nutzer, das kriege ich halt mit dieser Key Transparency sehr viel besser geschützt als sie bislang geschütst war.

02:03:27: Man kann es ein bisschen drüber debattieren, unser Kollege Jürgen Schmidt war gar nicht so davon angetan dass alle drei Auditoren in den USA sitzen.

02:03:37: Ich stimme ihm da auch zu.

02:03:39: das ist irgendwie unschön und man kann sich fragen warum Signal sozusagen diesen unschönen Eindruck nicht vermeidet und halt irgendwie einen Auditor irgendwo anders auf der Welt noch dazu nimmt.

02:03:52: Einfach jeder Mann dasselbe auditieren könnte.

02:03:54: ich glaube und sich habt es jetzt nur gestern so mir grob angeguckt.

02:03:59: Ich glaube das geht nicht.

02:04:03: Nichts, also das Zeug ist Open Source.

02:04:05: Also es gibt sowohl von Signal eine Referenzimitierung für so ein Auditor als auch der Trail of Bits Auditor.

02:04:11: die haben ihr Zeuge auch geopensorst.

02:04:13: Ich Glaube Cloudflare hat jetzt euch auch geopen sourced.

02:04:15: Müssen Sie gucken?

02:04:18: Und in dem Source Code von Trail of Bits sieht man, glaube ich auch die URL des Transparency Servers von Signal.

02:04:24: Die habe ich interessanterweise in dem source code von Signal nicht gefunden.

02:04:28: da ist eine Konfliktdatei wo man sie reinschreiben müsste.

02:04:30: aber was sie isst?

02:04:30: Man muss sie halt kennen!

02:04:32: Ich glaube wenn ihr es richtig gesehen habt man kommt trotzdem nicht weiter weil der Server macht mtls.

02:04:38: das heißt wenn man nicht das passende zfk vorweist dann redet er einfach nicht mit einem.

02:04:42: Und dieses Zertifikat hat Shadoff Bitts natürlich nicht in seinem Repo, das wäre ja auch ein bisschen peinlich.

02:04:47: Das Zertifikat wäre kein Problem aber der Private Giver dürfen?

02:04:51: Ja genau!

02:04:54: Das heißt wenn ich es richtig verstanden habe und wenn nicht dann korrigiert mich gerne aber nehmt es sozusagen explizit ohne Gewehr dann kann nicht jeder man diese Key Transparency auditieren weil man dazu ein passendes Zertfikat vorweisen muss dass Signal halt nur den Auditoren gibt.

02:05:14: Trotzdem, also es würde so ohnehin unbedingt was bringen.

02:05:19: Weil angenehm ich würde jetzt einfach selber auditieren und ich würde dann feststellen hier hat sich die Datenstruktur bei unzulässig geändert.

02:05:27: Dann könnte ich halt irgendwie versuchen Alarm zu schlagen irgendwie rummel zum machen die Presse zu kontaktieren oder sowas nicht passieren würde ist dass die Clients automatisch sagen Moment moment die Kies nämlich nicht das ist was man eigentlich will.

02:05:38: aber wenn die Client sind halt die drei Auditoren fest einprogrammiert müssen sie auch sein, sonst müsste man sich dann ein ganz anderes System überlegen.

02:05:45: Und die sagen halt, naja ich will von Trail of Bits und Signal und von Cloudflare irgendwie eine Signatur haben und nur wenn ich die habe, nehme ich den Key her.

02:05:54: Trotzdem wäre es natürlich schön, wenn man dasselbe auditieren könnte.

02:05:57: Ich würde jetzt aber nicht schlecht reden.

02:05:59: Also glaube ich, so ein System erhöht den Aufwand, den man für eine Kopobetierung treiben müsste der eh schon nicht ohne war, ganz massiv dieses Restvertrauen nicht aufbringen will oder so, der muss halt irgendwelchen Weg finden um solche Safety Numbers abzugleichen.

02:06:18: Apropos Restvertrauen sozusagen.

02:06:20: letzter Aspekt dazu mir ist bei dem Durchgucken davon angefangen das Cloud aufgefallen dass Cloudflare in ihrem WhatsApp Key Transparency Monitor offenbar im März dieses Jahres den Namespace geändert haben.

02:06:33: Der war vorher whatsapp.key-transparenc.v.

02:06:37: eins und jetzt ist er dort vor zwei.

02:06:39: Und wenn ich das richtig verstehe, dann würde es die haben sozusagen den Auditor neu hochgezogen also den Prüfbaum neu aufgerollt und ich weiß nicht warum.

02:06:50: Ich habe oft die schnelle also mit sagen wir mal viertelstunde googeln nichts dazu gefunden dass irgendwo irgendjemand sich dazu geäußert hätte warum das passiert ist.

02:07:01: interessanterweise schreibt aber trail of bits in ihrem blog post dass sie jetzt auditor für signal sind dass sie, falls Sie mal so eine Aktion durchführen würden dann würden Sie diesen Blog Post updaten.

02:07:13: Ich weiß nicht ob das ein bewusster Seitenhieb war oder ob es einfach nur eine allgemein sinnvolle Ankündigung war von wegen ich finde hier findet ihr das ja aus irgendeinem kund und sind Auditor neu aufsetzen müssen.

02:07:25: Okay wir haben jetzt gerade schon das PKI Wort genannt.

02:07:29: Es gab schon wieder Zertifikate und Private Keys.

02:07:31: Jetzt machen wir noch ganz schnell ne Kleinigkeit zum Thema PKI oder?

02:07:36: Wollen wir mal wieder was mit Ärger

02:07:38: machen?

02:07:39: Ich rede einfach doch nicht

02:07:41: so schnell.

02:07:41: Die Notizen sind lang, ne?

02:07:43: Ja ja das war viel Fließtext da gehen wir drüber.

02:07:46: ich sage einfach nur den zweiten Satz.

02:07:48: also Es gab ein bisschen pki ärger und wir werden jetzt hier sehr schnell sehr speziell weil es nicht um die web pki et large geht Also um zertifikate sondern es geht um certificate transparency.

02:07:59: Wir bleiben also eigentlich ein bisschen im inhaltlichen bereichen dem er jetzt gerade waren also die Auditierbarkeit, Nachvollziehbarkeit von Zertifikatsvergabe und Certificate Conspiracy hat sich daher auf breiter Front durchgesetzt.

02:08:10: Was ich persönlich sehr gut finde denn das befähigt auch Recherchöre mal zu gucken welche Domain wann welches Zertifikat bekommen hat so das Unternehmen Digicert ist kein Unbekanntes hier im Podcast.

02:08:24: Die sind schon ein paar Mal hier aufgetaucht in der Regel vielleicht eher so unschönen Kontexten.

02:08:29: Das wird auch jetzt nicht unheimlich besser.

02:08:31: die betreiben nämlich einen Lock für Certificate Transparency.

02:08:36: Also da werden alle neuen, alle neu vergebenden Zertifikate gelockt.

02:08:41: das Ding heißt zwingst zwanzig- sechstenzwanzig H zwei aktuell h zwei für Für halb Jahrzweib.

02:08:48: und dieses lock Wir haben schon mal länger drüber gesprochen.

02:08:53: ich bin nicht mehr ganz sicher in welcher Folge Das certificate transparency locks zu betreiben eine ziemlich anspruchsvolle Aufgabe war.

02:09:01: Da hat sich dann aber filipo wassorder Hingesetzt hat gesagt, das geht alles auch einfacher.

02:09:05: Aber noch betreiben nicht alle CAs ihre Loks mit dieser neuen Infrastruktur.

02:09:11: Wir sind da in einem Bereich nur dass man ungefähr Hausnummer hat.

02:09:16: Ehm... Achttausend Neu-Einträge werden ins Lok jede Minute geschrieben Das ist also schon nicht wenig.

02:09:23: und damit ein Klein der dieses Lok monitort Also überwacht und zum Beispiel einfach nur jedes neue Zertifikat irgendwo bei irgendeinem Interessierten Menschen auf dem Bildschirm ausgibt, das ausgegeben wird werden es ungefähr auch achttausend Einträge pro Minute.

02:09:41: Die werden aber geklustert in zwarhntazigstens fünfzig Einheiten,

02:09:43: d.h.,

02:09:43: man muss dreißig Abfragen pro Minute machen denn da kommen jeweils zweihundert sechsundfünfzig Einträge zurück.

02:09:48: so wenn ich also nicht in der Lage bin dreizig Abfragen pro Minute bei so einem certificate transparency lock lesend einzukippen um den Überblick zu behalten dann geratigt ins Hintertreffen Weil mein Kleint dann nicht mehr in Echtzeit monitoren kann, diese sogenannte Firehose.

02:10:03: Also diesen Feuerwehrschlauch welche Zertifikate neu ausgegeben werden.

02:10:06: das ist natürlich super wichtig dass ich da eine Echt-Zeit Betrachtung habe zum Beispiel für Threat Intelligence also nahezu Echtzeiterkennung von Fishing Domains von irgendwelchen Betrugsdomains von Domains die Markenrechte in irgendeiner Weise beeinträchtigen und so weiter.

02:10:22: Da muss man schnell sein und erzählt natürlich buchstäblich jede Sekunde.

02:10:28: Im juni so les ich zumindest in diesem mailing list posting hat die zärt versehentlich das rate limiting also die die raten begrenzung für sphinz twenty sechs und zwanzig ein kleines bisschen falsch verbaut sodass statt dreißig die notwendig wären maximal ein request

02:10:45: pro.

02:10:46: log monitor also pro klein pro minute lesend aus diesen lock rausgefallen werden.

02:10:51: das heißt statt acht tausend einträge hätte der nur zwanzig fünfzig pro minuten gekriegt.

02:10:55: das reicht natürlich nicht.

02:10:56: damit kann ich nichts schritt halten.

02:10:58: mit den neu vergebenen zerifikaten gerate also natürlich auch immer weiter ins hintertreffen weil ich ja dann nicht die anderen sachen mit der doppelten dreifach an zehn wochen geschwindigkeit auslesen kann sondern dieses rate limit dauerhaft gebunden wird.

02:11:11: Das war damals aus ungeklärten Gründen noch nicht aufgefallen, das ist dann später in dieser Melle wenigstens vielleicht auch nochmal thematisiert worden.

02:11:18: Warum das nicht aufgefallen war?

02:11:20: Aber die Aussage von Digiset war ja dass Zwingz-Zwingz'-Zwanzig-Sächsungszwanzig H zwei noch gar nicht aktiv war.

02:11:27: es war ja noch halb Jahr eins im Juno.

02:11:29: aber dieser Übergang der ist ja nicht Von null auf hundert sondern das ist ja schleichend irgendwie bei diesem Schaden.

02:11:35: Hast du besser im Kopf oder hast du damals besser erklärt als ich es könnte?

02:11:40: Du kannst ja einfach dazwischen reden, wenn ich total Unsinn erzähle.

02:11:44: Machst du auch gleich?

02:11:45: Nee, ich habe das leider nicht mehr im Kopf aber

02:11:48: du weißt wo es steht.

02:11:48: also

02:11:49: Ja...ne keine Ahnung.

02:11:51: Ich würde sagen wir vertagen das oder ihr müsst euch halt die Folge von damals nochmal anhören.

02:11:55: Genau Das Schading hängt Wenn ich es richtig verstanden hab an den Zertifikatsdaten Wahrscheinlich auch an dem Datum und dass es ausläuft Und deswegen hängt es halt ein bisschen von der Laufzeit ab.

02:12:05: und so wie das übergeht

02:12:07: So und das komplette Log viel am achtzehnten Juli, ich muss jetzt deutlich sprechen, July.

02:12:15: Am frühen Morgen zweieinhalb Stunden mal komplett aus.

02:12:18: Das lag wohl daran dass in diesem Kubernetes Cluster der dieses Certificate Transparency Lock betreibt oder bereitstellt einige Pots also Zusammenschlüsse von Containern ausgefallen sind vermutlich auf Speichergründen weil jedes Pot nur zwei Gigabyte RAM zugeordnet gekriegt hat und Autoscaling zur Verfügung stehende Menge voll ist, dass dann neue Ports hochgefahren werden um eben parallelisieren zu können.

02:12:46: Das war auch ausgeschaltet.

02:12:48: und dann fragt man sich auch so ein bisschen warum benutze ich denn eigentlich solche Technologien wie Kubernetes oder was auch immer die da nehmen als Container Manager wenn ich kein Autoscaling mache bei einer Workload die ja auch über den Tag vermutlich nicht gleich verteilt ist?

02:13:01: aber gut eine Frage die muss DigitZ beantworten haben sie aber nicht gemacht hat sie auch glaube ich keiner gestellt.

02:13:08: Die haben das dann manuell erhöht, nachdem sie den Ausfall bemerkt haben.

02:13:11: Hatten aber seit Frühjahr zwanzig sechsundzwanzig ein Change Management Request offen um den Speicher zu erweitern und Autoscaling anzumachen.

02:13:19: Aber dieses Ticket hat bei DigiCert in der Ops Abteilung oder einer IT-Abteilung offenbar keiner bearbeitet.

02:13:25: Vielleicht aus finanziellen Gründen vielleicht keinen Bock.

02:13:27: Man weiß es nicht ist es nicht überliefert.

02:13:29: Dann gab's um wieder so Schritt zu fassen am zwanziger bis zweinzwanziger Juli ein hartes Rate Limit.

02:13:36: Und dann war auch schon Fred in der Mailing-Liste offen, also in dieser City Policy Mailing Liste von Chromium Projekt.

02:13:46: Da hat sich der Senior Vice President und der Certificate Transparency beauftragte sozusagen von Digicert gemeldet Jeremy Rowley.

02:13:56: Mittlerweile war nämlich die Abtimestatistik dieses Certificates Transpurency Logs auf etwa über neunzig Prozent je nach Lesart Gefallen, was relativ wenig ist ich glaube.

02:14:09: Neun und neun Prozent sind Vorgeschrieben.

02:14:13: Und die Schreibrate also wie viel von diesen Secure Timestamps hier sind SCTs für neue Zertifikate ausgegeben worden war?

02:14:20: teilweise hundertzwanzig neue SCTs pro Sekunde.

02:14:23: Die Leserade war deutlich unter einem pro sekunde.

02:14:26: das heißt du hast eine Differenz von Faktor Hundertzwandzig.

02:14:30: Also Du siehst einen SCT und Hundertneinzehn kriegste nicht mit.

02:14:36: dann

02:14:36: Plus du hast auch keine Chance das irgendwie aufzuholen.

02:14:40: Die kommen ja mit der Rate auch immer wieder weiter, das Ende kommt immer wieder neue Zertifikate auf den Schreibtisch zu unterschreiben.

02:14:48: Dann haben sich verschiedene Akteure gemeldet unter anderem wenn Cartwright Cox vergessen wo er herkommt.

02:14:58: Der hat auf jeden Fall sehr deutlich gesagt also ein Lock mit unter neunzig Prozent Abtyme gehört rausgeschmissen.

02:15:03: Das brauchen wir nicht, das ist schlecht fürs Ökosystem.

02:15:06: Und dann kam so von dem Jeremy Rowley so nach ja es alles nicht so wild in der länglichen Antwort die natürlich alle noch Wüten da gemacht hat.

02:15:13: und dann sagte Philippo Sorda halt stopp!

02:15:16: Die Vereinbarung ist neun, neunzig Prozent abtimen müsst ihr als Lokbetreiber garantieren.

02:15:21: Und überhaupt?

02:15:23: Ihr könnt mich einfach sagen, dass is kein Inzident.

02:15:26: Da wird nämlich auch noch argumentiert wie man konnte ja die ganze Zeit reinschreiben und lesend ging ja auch war nur ein bisschen rate limited.

02:15:33: Und da sagte der Philippe, weil du warst so oder wenn ein Monitor nicht in der gleichen Geschwindigkeit mit der gleichen Leserate aus dem Blog lesen kann wie reingeschrieben wird also wie neue Zertifikate reingeschrieben werden dann ist es einen zu diesem Zeitpunkt noch andauernder Ausfall.

02:15:49: Da müssen wir nicht diskutieren.

02:15:51: und überhaupt überhaupt Wenn ich mit meinem begrenzten gelten Log betreiben kann dass Compliance ist Also baseline requirements compliant ist Dann sollte Digisert das ja eigentlich auch entkriegen.

02:16:02: Schossen sich die leute so ein bisschen auf die gestärkt ein wie das immer so ist.

02:16:06: ne und sagte andrew er der ist auch schon häufiger in erscheinung getreten auch im ca browser forum, wir haben das ganze thema vor über einem jahr schon mal diskutiert.

02:16:14: Auch mit die gezärt hat sie seit dem gar nichts getan.

02:16:16: ihr habt damals schon miss gebaut mit eurem ct log ihr habt es jetzt wieder gemacht.

02:16:20: wir sehen keine verbesserung.

02:16:21: und wenn solche setze fallen dass es immer so eine wahnsinnal bei diskussionen Das MCR Browser Forum.

02:16:30: Wir sehen keine Verbesserung in dem Verhalten, die nicht Konformitäten werden nicht abgestellt.

02:16:34: das ist auch so was du vom ISO Auditor nicht hören willst.

02:16:37: Ihr habt eine Nichtkonformität nicht behandelt.

02:16:39: Das ist immer eigentlich das schlechteste mögliche Urteil.

02:16:43: und da wurden einige Sachen aufgezählt.

02:16:47: also erstmal Lock Operators sollen ihre Logs monitoren ohne Binsen beiseite haben wir gerade auch schon etwas von gehört.

02:16:53: nur im Kontext KI sollten ihre KI Anbieter sollten ihre Agenten Tests monitoring mehrtägige Verzögerung bei der Vorfallsbearbeitung ist einfach nicht okay beim System, dass der Faktor Echtzeit Anforderungen hat.

02:17:07: Okay?

02:17:07: Nicht machen!

02:17:09: Bitte zeitnah antworten.

02:17:10: und wenn man ein in seiner lesenden API einen Inzident hat sollte man dafür sorgen das es keine Asymetrie zur schreibenden API gibt.

02:17:20: dann muss man halt im Zweifel zwar das Lock retiren und sagen wir kriegen das nicht mehr repariert wir nehmen das offline.

02:17:26: Also diese Probleme kommen uns alle so ein bisschen bekannt vor.

02:17:30: Verzögerte Vorfallsbehandlung, wir gucken einfach am Montag drauf was der Agent von Donnerstag bis Sonntag so gemacht hat und wenn da etwas schief gelaufen ist, triagen wir das am Montagsvormittag und gucken mal weiter.

02:17:41: Ach das Monitoring übrigens, da sitzt keiner daneben und wir gucken auch nicht genau hin sondern naja, wenn was aufbob dann behandeln wird.

02:17:48: So und das kommt mir schon sehr bekannt vor vom EISI und von diesen ganzen anderen Inzidenzen über die wir jetzt noch wirklich lange genug gesprochen haben.

02:17:57: Jeremy sagte dann ja, zwei von drei Leuten, die das betreuen waren im Urlaub.

02:18:00: der dritte hatte einen persönlichen Notfall, konnte da auch nicht ran und die Leute, die notfallmäßig dann gecovert haben also die, dass sie übernommen haben zu antworten, die haben sich ganz verstanden wie wichtig das ist.

02:18:11: und außerdem hat unser Monitoring weil ja irgendwas funktionierte das System nicht als down angezeigt.

02:18:17: und das ist so ein Ding.

02:18:19: Das ist so typisch, auch wenn du, weil irgendwie die Pressestelle von irgendeinem Unternehmen fragst ob ihre Webseite gerade seit zwei Stunden dauernd ist.

02:18:26: Dann sagen sie sowas nein es gab einen begrenzten Teilausfall So auf sechs von sieben Kontinenten oder irgendetwas in der Art?

02:18:34: Oder nur Du bist stumm

02:18:41: Wester ist zu dumm sein Mikro anzuschalten.

02:18:43: ich meine oder Sie meinen halt sowas wie nach.

02:18:45: hier bei uns intern hat's noch funktioniert oder so.

02:18:48: Also das ist ja auch bei CrowdStrike das Thema gewesen, die haben keinen ETO und Dogfood gemacht.

02:18:52: Aber es ist so typisches Corporate sprechen.

02:18:54: also ich kann immer noch sagen wenn neunundneinzig Prozent der Leistungen nicht erbracht werden Es gibt einen Teilausfall weil die nullkomma fünf Prozent die haben wir immer noch.

02:19:01: Internet naja also dis alerting war im wesentlichen darum gebaut ob der dienst ab ist oder nicht also ob doch irgendwas geht oder gar nichts mehr geht.

02:19:11: Nicht darum ob das verhältnis von lese zur schreibleistung passt denn dass muss mindestens eins sein idealerweise natürlich deutlich größer Wenn sie müssen, wenn es mal ein Pieck gibt auch noch ein bisschen schneller lesen können.

02:19:23: Und ist wieder so'n Fall von falscher KPI ausgesucht fürs Monitoring?

02:19:26: oder auch diese alte Physiker weiß halt wer Mist Mist Mist.

02:19:30: Wenn du halt so eine Metrik hast wie ich gucke ob der Dienst da ist oder nicht dann musst du dich nicht wundern, wenn er zu neun neunzig Prozent kaputt ist dass sich auch Neun neunsig Prozent deiner Kunden beschweren.

02:19:42: also man muss schon die das Monitoring so einrichten, dass die Leistung für die Zielgruppe und Konsumenten deines Dienstes realistisch wiedergibt.

02:19:52: Ansonsten monest du dir irgendwas in deine eigene Tasche?

02:19:54: Kannst dann am Ende des Monats sagen ich hatte nur drei Alerts und hast aber trotzdem noch neunzeig Prozent Kunden verloren.

02:20:02: also monitor ehrlich weil sonst bringt es eigentlich am ende des tags niemandem was.

02:20:06: und dieses schiere abteim ist praktisch nie eine sinnvolle Metrik außer man braucht als persönlichen geradmesser Wie lange man schon in der branche ist oder so.

02:20:16: So es gab dann report von die zärt, Der hat auch nicht so richtig alle überzeugt.

02:20:22: das stand nämlich dann wurde angemackert dass der desti rate limits mehrfach zu niedrig gesetzt wurden Dass das falsch angepasst wurde und dass sie Auch zum zeitpunkt als der report raus kam immer noch zu niedrig waren weil des lock schneller anwuchs Als die kleines zu dem zeitpunkt abfragen konnten dass Die antwortzeiten bei problemen die im report Verbesserungsmaßnahme angepriesen wurden und versprochen wurden immer noch zu lang sind, dass die jetzt hat nun mehrere Requirements für einen Certificate Transparency Lock Betreibern nicht eingehalten hat.

02:20:52: Also die notwendigen Voraussetzungen einfach nicht in der Lage ist zu erbringen.

02:20:57: und das deswegen deren Certificates Transparensy Locks retired werden sollen also rausfliegen sollen.

02:21:04: Und Joe DiBlasio sagte naja Mir fehlt vor allem der route course.

02:21:09: was hat denn diese ram probleme eigentlich verursacht?

02:21:12: da steht nur drin das irgendwie sind potts ausgefallen wegen zu wenig speicher.

02:21:17: aber warum und Das ist irgendwie bleibt in diesem report dieser ganze route course bleibt im wagen erst auch mit diesen reaktionszeiten unzufrieden.

02:21:28: uns sagt ganz deutlich Passiert noch mal was bei euch habt ihr noch eine autostandpflicht hier raus.

02:21:34: so und da ist jetzt meine Meine frage auch so ein bisschen an dich.

02:21:39: Wo ist denn da eigentlich die Drohung?

02:21:42: Weil er schreibt selber zwei Mails vorher irgendwie in so einer, ich will es mal vergifteten Dankesmellen nennen, dieses wo man dann einleitet, hey vielen dank an DigiCert dass ihr einen CTM-Log betreibt.

02:21:55: das ist ein größtenteils undankbarer Job, schreibt der.

02:22:00: Warum sollte Digi Cert nicht einfach sagen wisst ihr was ey?

02:22:03: wir lassen den ganzen Scheiß einfach bleiben wir haben da keinen Bock mehr drauf.

02:22:05: Wir haben auch keine Lust, da Geld für auszugeben und trotzdem auf die Nase zu kriegen.

02:22:08: Ich verstehe es echt nicht!

02:22:09: Also bringt denen das im Ökosystem irgendetwas außer Karma-Punkten?

02:22:13: Das

02:22:17: ist eine gute Frage.

02:22:24: Also ich weiß nur von Karma Punkten eigentlich.

02:22:27: Und was man sich ja auch irgendwie als Player in dem Business besser präsentieren kann der Relevanz hat... Aber also ich wüsste es auch nicht, natürlich das CT-Monitoring bringt für dich halt was weil du das deinen Kunden irgendwie verkaufen kannst.

02:22:45: Aber selber in den CT-Log zu betreiben ist dafür nicht nötig.

02:22:50: Das ist wahrscheinlich gut dieses Know how zu haben dafür aber... Also ich wüßte spontan jetzt keinen Grund außer wir wollen uns mit dem Browser einen Gut stellen und wir wollen eine von den... Wir wollen zu den großen Gehörn die mitspielen dürfen Dass man das macht.

02:23:08: Ja,

02:23:09: ja und ich hab's nicht ganz verstanden aber sie sind also weiterhin committed zu diesem Betrieb.

02:23:19: es gab dann nämlich noch so eine anonyme Mail vom DCer Team.

02:23:25: die haben auch Heute noch mal geantwortet am sieben zwanzigsten achten Sie erst einmal planen, sie umzustellen auf Static City API mit Tesseract also im wesentlichen wenn ich das nicht vollkommen falsch habe auch diese Reimplementierung mit deutlich Leistungs- oder ressourcenschonenderen Tricks von Philippo Vassorder.

02:23:49: Static CT ist diese Idee von Philippo Valsorda, aber Tesseract ist glaube ich nicht seine Implementierung.

02:23:56: Ich glaube von ihm ist die nicht auf GitHub geguckt, da steht sein Name nicht dran, aber das Static City ist ja glaube ich

02:24:03: seine Idee und er hat das auch implementiert, der betreibt er selber ein Log, Ich gucke es mal, erzähl mal weiter.

02:24:12: Und Sie haben jetzt auch einen Route Course veröffentlicht.

02:24:15: und dieser Route Course ist im Grunde kaskadierender Fehler von einem Server der ohne vieler Meldung also Quality Failing und restart war in so einer Reboot Loop gefangen und hat seine Arbeit nicht mehr gemacht.

02:24:28: und dann hat natürlich auch das Monitoring nicht ausgeschlagen beziehungsweise der Alarm Kanal geflossen wie es immer so ist.

02:24:37: ne teufel scheiß doch nix nachhaufen.

02:24:39: und dann als dieser dieser treffig weiter verteilt wurde auf die anderen server aus der gleichen gruppe dann sind die alle haben die alle die frecke gemacht und.

02:24:48: Sind lang hingeschlagen.

02:24:49: und dann gab's auch noch bei bei der reparatur tip fehler in der konfigurationsdatei.

02:24:56: und dann hat die hat das Deployment Werkzeug gesagt, oh die Konfigurationserteile sind taktisch kaputt.

02:25:03: Nehmen wir mal die Vorhierige, hat es aber keinen mitgeteilt.

02:25:06: und also ist ja am Ende so die üblichen Fehler ne?

02:25:11: Und das hat dazu geführt dass dieses Log eben deutlich eingeschränkte Verfügbarkeit hatte.

02:25:20: sie bleiben auf Bewährung.

02:25:24: Es ist auch einigermaßen unklar warum Sie sich mit diesem Betrieb dieses CT-Logs Jetzt über jahrelang so schwer getan haben und weiterhin schwer tun, ob das ein organisatorisches Organisationales Problem ist.

02:25:35: Dass es einfach nicht genug Leute gibt die sich dafür verantwortlich fühlen oder ob's bei den Digi-Z intern astronaut Spaß oder Charity Projekt wahrgenommen wird Keine Ahnung, kann man ganz schlecht reingucken.

02:25:51: Aber es fühlt sich manchmal so ein bisschen anders.

02:25:53: Hätten sie kein besonders groß im Bock?

02:25:54: Weil der Jeremy hat sich dann zwei oder drei Mal da in dieser Mailingliste blicken lassen und dann hatte er die Informationen wieder an das anonyme Digizerteam delegiert.

02:26:03: Das finde ich auch immer nicht so einen richtig geilen Beruf.

02:26:07: aber naja, das scheint jetzt ja doch ist selbst für uns eher nichiges Thema hätte ich gerade schon gesagt.

02:26:19: Ja also nur kurz zurückzukommen.

02:26:21: ich finde gerade auf die stelle nicht raus von wer eigentlich tesseract entwickelt.

02:26:25: das basiert auf tessera und tesla wieder umbasiert auf trillion.

02:26:29: trillion weil ursprünglich mal eine google entwicklung.

02:26:32: filipos im limitierung heißt aber sun light.

02:26:35: beide sind in go geschrieben.

02:26:38: Ich weiß es nicht.

02:26:38: Wenn euch das super interessiert schreibt mir in die Mail, dann gucke ich's noch mal genauer nach, wer jetzt eigentlich hinter Tesseract steht.

02:26:44: Das ist jedenfalls so eine Staticity.

02:26:46: Hinter Tesserac steht Philippe Bonnef.

02:26:51: Noch ein... aber nicht Philippo?

02:26:53: Nein, wir haben

02:26:53: Franzose wahrscheinlich oder Franko Kanadie oder sowas und einen Herr Dependa-Bott der ist da auch mit dem Boot, aber ich glaube dass er's kein Mensch.

02:27:00: Oh!

02:27:01: Den hab' ich ja auch schon mal kennengelernt.

02:27:02: Der macht viel.

02:27:03: Roger... Der Name sagt mir was?

02:27:08: Also auf jeden Fall ist es nicht Felipe, das ist glaube ich der wichtige Punkt für hier.

02:27:11: Ist aber auch ein Senior Software-Engineer von Google mit an Bord nämlich Martin Hatschunsen.

02:27:15: also ja is Open Source kann man

02:27:18: nachgucken.

02:27:24: Es ist natürlich total nischig!

02:27:26: Ich fand es schon interessant weil es halt so einen Einblick in die Strukturen bei DigiCert gibt oder so und das ist ja keine ganz unwichtige CA.

02:27:40: möglicherweise ist hier wirklich einfach was doof gelaufen, also man hatte mir live zu gucken können ich hänge auf dieser mailing list drauf und dann da irgendwie.

02:27:47: Zu sehen wie tagelang irgendwelche leute sagen so die sind alle im urlaub wir können uns eigentlich richtigen mit aus.

02:27:54: was habt ihr denn?

02:27:55: das alles kann nicht so schlimm und sozusagen sich die wut aufbaut.

02:28:00: Das hat einen komischen eindruck hinterlassen.

02:28:02: also da hätte ich auch erwartet dass sie intern eskalieren können sagen wir haben ja ein problem aber das also Ich fand den Verlauf schon seltsam und dass es jetzt so ein sehr nischiges Ding getroffen hat.

02:28:15: Das sind vermutlich die gleichen Organisationsstrukturen, die auch alles andere in dieser CA erregeln?

02:28:19: Ja also sie haben dann hinterher da steht auch in diesem Report drin der die Allors für diese Leistungseinbuß nennt man sich jetzt mal häufig mystisch Die waren erst als Schwere grad zwei klassifiziert und das wurde dann eskaliert.

02:28:35: Und jetzt ist es künftig auch so, wenn's was noch mal vorkommt, ist es sofort schwere grad eins und dann werden halt sofort Leute auf das Problem geworfen und es wird nicht erst noch irgendwie zugewartet.

02:28:45: Das stand schon in dem Report drin aber ist eben auch wieder so eine Aposteriori-Betrachtung dahinter erstmal immer klüger.

02:28:54: Ja, aber ich meine da ist ja aufgeschrieben worden dass diese Downtown so ein Riesenproblem.

02:28:58: Ich denke halt deshalb, weil so würde ein Angreifer ja vorgehen.

02:29:01: Also angenommen ich will jetzt gerade mal einen Zfikat für Microsoft.com haben oder so und ich habe hier irgendwie eine CAD mitspielt oder so dann mache ich das halt genau so.

02:29:13: na die stellt mir das aus die meldet es sogar in den Lock.

02:29:16: der lock der nimmt es auch an.

02:29:17: leider ist gerade der Lesepfad von dem Block irgendwie ein bisschen überlastet.

02:29:20: deswegen kann niemand das abfragen.

02:29:22: Und dann kriegt halt irgendwie drei Tage lang niemand mit, dass ich diese ZV-Cut habe.

02:29:25: Weil der Lock halt leider gerade ein bisschen so hohe Lese lasst hat.

02:29:29: und das ist glaube ich auch nicht, dass auf die Barrikaden gehen weil es die zentrale Garantie von certificate transparency angreift.

02:29:37: Ja nämlich die Transparenz.

02:29:41: Zeitnähe.

02:29:43: Und

02:29:43: die vollständige Erfassung, alle ausgegebene Zertifikate halt.

02:29:47: Da hängt viel dran.

02:29:48: Der hängt jetzt zum Beispiel auch diese ganze Datenstruktur von Mozilla dran und haben wir auch schon mal darüber geredet dieses CR Lite und so.

02:29:55: Also viel hängt daran dass wir mit CT endlich so eine globale Sicht auf alle ausgegebenen Zertifikaten der Webpicker hier haben.

02:30:04: Genau deswegen ist das so hoch aufgehängt obwohl es eine technische Infrastruktur im Internet Wahrscheinlich außerhalb dieses Podcasts nur sehr wenig Leute etwas mitbekommen.

02:30:15: und all die Leute, die das mitbe kommen.

02:30:17: Die sind alle auf dieser CT Dev-Liste oder CT Policy Liste nehme ich mal an.

02:30:23: also es ist eine kleine Gemeinde aber ihr gehört jetzt auch dazu.

02:30:27: Ihr habt ja schon mehrfach hier was davon mitgekriegt und ich halte das unironisch haltig certificate transparency für die beste Weiterentwicklung der WebPKI Punkt.

02:30:39: Also das

02:30:40: ist bis jetzt, wir haben das vor zwei oder drei episoden oder vor vier oder fünf episoden schon mal kurz angesprochen.

02:30:47: Das ja wegen den ganzen postquantum zfk-karten die sind irgendwie größer.

02:30:53: Genau soll da so eine Merkel G basierte Zertifikatsinfrastruktur kommen und die wird eben diesen transparency Aspekt direkt eingebaut haben damit es nicht so ein zusatzsystem ist was man auf die Browser-CA Struktur irgendwie aufpropfen muss.

02:31:09: Und dass man da auch gar nicht mehr in die Situation kommen kann, das Zertifikate ausgegeben werden, die sich dann doch nicht in der CTE Infrastruktur finden oder so.

02:31:16: Das ist einfach eine Infrastruktur und wenn ein Zertifikat existiert, dann ist es auch in diesem Baum drin.

02:31:23: Du meinst also...

02:31:24: Da kommt schon noch was Schönes?

02:31:25: Dann muss ich dann also nicht mehr reload ständig drücken bei CRT.sh weil die mal wieder down sind.

02:31:32: Paradiesische Zeiten werden dann anbrechen.

02:31:34: Das habe ich nicht gesagt, ich glaube das ist eine Naturkonstantie.

02:31:37: Achso

02:31:37: okay!

02:31:37: Das ist so wie pingheise.de um zu gucken ob es internet da ist.

02:31:41: Gut, aber...

02:31:42: Da weiß ja nicht die Leute bei zd.sh, die pingen das halt an und stellen fest, du hörst sie sind ab, ich weiß gar nicht was für Probleme du hast.

02:31:50: Ja gut äh dann Ich hab hier noch ganz viele lustige Tangenten, aber ich glaube die schenken wir uns jetzt einfach mal.

02:31:59: Also wenn ihr mal ganz viel Zeit habt dann guckt mal in dem Backzilla für das CA-Programm da sind immer lustige Bucks drin findet man ganze witzige Sachen mit einer Sektivo verklagen und was einmal gescampt wurde.

02:32:12: also, falls ihr mal wirklich gar nichts anderes zu tun habt dann könnt ihr da mal durch scrollen oder überlasst es wieder mir Dann hört ihr... der nächsten Übernächsten oder übernächste Ausgabe wieder einen lustigen Schwank aus der Welt, der Web-PKI.

02:32:26: In diesem Sinne...

02:32:28: Ne, sorry!

02:32:29: Also eine Tagende die du hier hast, die würde ich schon erwähnen wollen.

02:32:32: es dauert ja zehn Sekunden.

02:32:34: diese Logs haben alle so lustige Namen also du hast das oben mir erwähnt, der dir hier betroffen war.

02:32:39: wie fängst ihr?

02:32:40: Der hieß Sphinx aber die heißen eben auch Coach und Horses, die heiße Nimbus Xenon Die heißen zum Beispiel Gouda und Halloumi.

02:32:51: Und es führt halt, also wenn ihr mal irgendwie sozusagen lustige Betreffzeilen in eurem Postfach haben wollt dann abonniert diese Mailingliste weil dann lese ich da halt plötzlich Goudaa hat irgendwie...Goudaa ist down oder Halloumie geht's schlecht und so und man muss sie mir erstmal schalten um zu realisieren dass das nicht darum geht, dass der Käse irgendwie ganz dick geworden ist.

02:33:12: Ja, Goudaaaa und Halloomi sind übrigens zwei verschiedene Logs, ne?

02:33:14: Nicht eins!

02:33:17: Aber zwei verschiedene logs ist ja derselben Schweizer CA Der selbe

02:33:21: Käse.

02:33:23: Ich weiß gar nicht, ist Halloumi nicht so?

02:33:25: was anderes?

02:33:25: Ist ja egal!

02:33:26: Also jetzt führt es wirklich zu weit und ich moderiere das hier ab weil sonst das führt alles zunichts.

02:33:30: Wenn wir jetzt auch noch anfangen über Käse zu sprechen... Das ist alles Käse.

02:33:35: In diesem Sinne würde ich sagen wenn ihr Feedback für uns habt und das los werden wollt dann schreibt uns eine Mail mit eurem Feedback an password-podcastatheise.de und bitte, bitte nehmt diese E-Mail-Resse nicht in euren PR-Verteiler auf der kriege ich immer Blutdruck.

02:33:57: Ansonsten denkt bitte daran...

02:34:01: Dieses Passwort ist der einzige Podcast mit Käse-Content.

02:34:05: Ciao ciao!

02:34:06: Das machen wir gleich nochmal.

02:34:10: Dieser Podcast ist das einzige Passworte dass ihr teilen solltest.

02:34:13: Ciao Ciao!

02:34:14: Tschüss.