「Golden Data」を活用したRAGの精度向上サイクルの構築おける記事。参考になるね。 エクサウィザーズ社のブログより。 RAGに入力する情報は日々追加していきたくなるから、運用設計も含めて考えていく必要があるね。 その中で、情報を追加していくと精度劣化が起きてユーザビリティが下がるというのはよくある話。 そこで精度検証の原点になる「Golden Data」を作って、精度検証を定期的に行える状態にしておくことが大事という内容。 また、「Golden Data」自体もHuman in the loopの中で追加していくことが必要であるという考えはいい考えだと思ったよ。 RAGに関しては、構築してからより、運用する方が大変になってくると思うから、この運用プロセスを深く考えていくことは大事な取り組みだね。 自社データを取り込んで生成AIを活用していくためにはデータサイエンティストの存在が必要になってくる。 RAG周りはデータサイエンティストが初手で学ぶべきスキルだと思うよ。

そういえば当初、開発環境をDockerコンテナで作って開発者に提供しようとしたら、 「Dockerインストールが難しすぎてできません！」 って断られたんだよな…そんなことあるぅ？

手順全部自動化して設定ファイルとシングル処理に分割した。 分かるように手順書作ってくれって仕事から逃げたカスに言われたから「yamlも読めない奴をこの作業に加えるリスクを許容できない、やるならお前の責任だと明言しろ」って伝えてから返事が無い。 誰でも〜なんて寝言よりもより安全にを選ぶ。