待って、ChatGPTってまさか入力画像のファイル名をカンニングしてる？ ChatGPTに視力検査の記号を読ませてたんだけど、画像のファイル名を左方向.jpgにしてたら何回試しても左と答えていたのに、ファイル名を右方向.jpgに変えただけで右としか答えなくなった………。

RT @yamazombie1: もっと早く知りたかったAWS公式サイト選手権 最優秀賞 全サービスのIAM連携方式が分かる表

普段は生成AIの一次情報を頑張って発信してるのに、サラッと投稿したAWSのポストの方が伸びてて複雑な気持ちだ…。 でもせっかく色んな人に見ていただいているので、AWS公式ドキュメントを読む際に重要な英単語60選を載せておきます。

@osakasnkers34 RAGの仕組みを実装できただけで「RAGなんて誰でもできる」と豪語する方をよく見かけますが、それがRAGシステム全体の1割にも満たない事実は意外と知られてないですよね…。 実際は文書やクエリの加工処理も奥が深いし、ピンクで示した運用保守も含めると寧ろアーキテクト人材の素養が求められますね！

「本当に関係してるだけじゃないの？」と思う人もいるかもしれないので、架空の会社名で試した結果も載せておく。同じようにハルシネーションが発生する。 もちろん再現性に多少の違いはあるけど、それはモデルの精度やペルソナの与え方にも大きく依存するので、生成AI自身に確認するのは筋が悪い。

RT @yamazombie1: RAGシステムの精度改善フローを描いてみた。 生成AIを企業で本格的にシステム導入する場合、継続的に精度を測定・改善する運用設計が重要。 これからのITエンジニアは簡単なRAGを実装するだけでなく、生成AIシステムの運用保守まで考慮したアー…

@yokusuru100 企業データは固有の用語や業務単位を含み100GB以上あるので、その辺の単純な教師なしアプローチでは扱えないと思いますね…。効果は一般化できないですが、回答精度は20%以上変わると思います。 平易な言葉で書かれた少量データであれば、わざわざ自前でRAGを実装する必要はないという点は同意です！

@kawa11japan こちらこそコメントありがとうございます☺️

@kisukesantamari ですね！代表例だと以下もありますね： ユーザ入力：質問時にフィルタ条件を指定させる、質問と関連度の高いFAQやプロンプト例を提示して良い入力を想起させる（入力の加工は検索ロジックの役割かなと） データ加工：Officeファイルのテキスト抽出方式やOCR、構造化（MarkdownやMermaidなど）

ありがとうございます！ 機械学習案件の経験がある方ならよく分かると思うのですが、精度は飽くまで「業務目的の達成度」が正なので、AIシステムの運用は業務知見者が協力する必要があるというのが盲点になりやすいと思ってます。

@keraleralera とんでもないです！RAGの精度はほぼ検索精度で決まるので、インデクシングは一番重要ですし、(適用領域を選んだうえで) 適切に行えば充分実用に耐えうると思います。 単にチャンクサイズを調整するだけでなく、文書を検索しやすいように加工する工夫も重要です。例えばAWSの手法は参考になりました！

「RAGを使えば何でもできる」と過度に期待する企業はかなり減って、現実的な適用範囲で実機化するフェーズに移りつつある。 技術領域でいえば、精度監視などの運用系、インデクシングなどのデータエンジニアリング系の重要性が増している印象。

@kisukesantamari 更に言えば、よくあるベクトル検索やらハイブリッド検索を試すのもいいですが、データ中心なアプローチ (大雑把に言えばユーザのクエリ起点ではなく、データ側を充実させることで精度を上げる手法) こそが重要だと考えています！ 例えばAWSが出したRAGの論文は非常に参考になりました。

@keraleralera 私の周りを見ている限り、寧ろRAGはPoCを一通り終えて、現実的な適用範囲で実機化するフェーズに移ってる印象ですね。 実際、AWSやAzureもRAG系サービスの開発を盛んに行っており、特に精度監視などの運用系、インデクシングなどのデータエンジニアリング系の重要性が増しているように感じます。